Big Data is een term die de enorme hoeveelheid data beschrijft die wij als mens dagelijks creëren. Computers, mobiele apparaten en sensoren creëren dagelijks zettabytes aan data. Organisaties zetten deze gegevens in voor onder meer het ondersteunen van besluitvorming, verbeteren van processen en beleid, en creëren van klantgerichte producten, diensten en ervaringen. Het wordt niet alleen ‘big’ genoemd door zijn omvang, maar ook door zijn gevarieerde en complexe aard. Het gaat uiteraard veel verder dan wat traditionele databases verzamelen, beheren en verwerken. Daarnaast kan het van iedere locatie en elk ding komen dat wij digitaal monitoren.
Het belang van Big Data analytics
De echte waarde wordt gemeten door de mate waarin u deze kunt analyseren en begrijpen. Kunstmatige intelligentie (AI), machine learning en moderne databasetechnologieën maken het in realtime visualiseren en analyseren mogelijk, wat tot actiegerichte inzichten leidt. Met behulp van analytics zetten bedrijven hun data aan het werk. Het helpt hen bij het ontdekken van nieuwe kansen en creëren van nieuwe business modellen.
Wat is gestructureerde en ongestructureerde data?
Datasets zijn over het algemeen verdeeld in drie categorieën op basis van hun structuur en hoe eenvoudig (of juist niet) zij kunnen worden geïndexeerd.
- Gestructureerde data: van alle soorten gegevens kunt u deze data het eenvoudigst organiseren en zoeken. Het kan gaan om onder meer financiële gegevens, logbestanden van machines en demografische details.
- Ongestructureerde data: deze categorie data omvat onder meer social media-posts, audiobestanden, afbeeldingen en open reacties van klanten.
- Semi-gestructureerde data: Semi-gestructureerde data is een tussenvorm tussen gestructureerde en ongestructureerde data.
Bronnen van Big Data
De hoeveelheid dingen die data genereren groeit in een verbluffend tempo en varieert inmiddels van satellieten tot broodroosters. Voor categorisatie worden databronnen doorgaans echter verdeeld over drie categorieën:
- Sociale data: Sociale data worden gecreëerd door reacties, posts, afbeeldingen en in toenemende mate video op social media-platformen. Ondanks dat trends in social media elkaar razendsnel opvolgen en onvoorspelbaar zijn, blijft de hoeveelheid data die social media-platformen creëren stijgen.
- Machine data: IoT-apparaten en -machines zijn uitgerust met sensoren en kunnen gegevens digitaal versturen en ontvangen. Onderzoeksbureau IDC voorspelt dat in 2025 zo’n 40 miljard IoT-apparaten in gebruik zijn wereldwijd. Naar verwachting zijn deze apparaten verantwoordelijk voor de helft van alle digitale gegevens die wereldwijd worden gecreëerd.
- Transactionele data: Deze gegevens behoren tot de meest snel veranderende en groeiende data wereldwijd. Als je denkt aan alle aankopen en banktransacties wereldwijd, krijg je een beeld van het immense volume aan data dat wordt gecreëerd. Transactionele data bestaan in toenemende mate uit semi-gestructureerde gegevens en omvatten bijvoorbeeld afbeeldingen en reacties. Dit maakt het beheer en de verwerking complexer.
Vijf kenmerken die Big Data definiëren
Dat een dataset groot is, betekent niet automatisch data het om Big Data gaat. Voor een kwalificatie zijn er vijf kenmerken waarnaar je kunt kijken:
- Volume: Hoewel volume zeker niet het enige kenmerk is het ‘big’ maakt, is het een belangrijk kenmerk.
- Snelheid: Data die voorheen werden gecreëerd moesten – vaak handmatig – worden ingevoerd in een traditioneel databasesysteem voordat deze geanalyseerd of opgevraagd konden worden.
- Variëteit: Datasets die uitsluitend bestaan uit gestructureerde data zijn niet per definitie Big Data, ongeacht hoe groot de datasets zijn.
- Waarheidsgetrouw: Hoewel bedrijven met behulp van moderne databasetechnologie verbazingwekkende hoeveelheden gegevens kunnen verzamelen en analyseren, zijn deze alleen waardevol indien zij accuraat, relevant en tijdsgebonden zijn.
- Waarde: Moderne technologieën bieden de mogelijkheid tot het verzamelen en opvragen van gegevens die meetbare voordelen kunnen opleveren voor de bottom line en operationele veerkrachtigheid.
Meer weten? Bekijk de video.
Voordelen van Big Data
- Snelheid en nauwkeurigheid: Met behulp van moderne oplossingen kunnen bedrijven met een ongekende snelheid en nauwkeurigheid ruwe data omzetten in relevante inzichten.
- Ontwikkeling van producten en diensten: Productontwikkelaars kunnen analytics inzetten voor het analyseren van ongestructureerde data, zoals klantreviews en culturele trends. Zo kunnen zij snel inspelen op de markt.
- Predictief onderhoud: Het analyseren van Big Data van verbonden machines dringt de onderhoudskosten tot 40% terug, blijkt uit internationaal onderzoek van McKinsey.
- Customer Experience: Groeiende bedrijven verzamelen actiever gegevens over klantervaringen dan bedrijven die geen groei kennen, blijkt uit onderzoek van Gartner uit 2020. Met behulp van Big Data analytics kunnen bedrijven de klantervaring verbeteren en personaliseren.
- Veerkracht en risicomanagement: Big Data-inzichten helpen bedrijven bij het anticiperen op risico’s en voorbereiden op het onverwachte.
- Kostenbesparingen en efficiëntie verbeteren: Het toepassen van Big Data analytics op alle processen binnen de organisatie helpt bedrijven niet alleen bij het identificeren van inefficiëntie, maar ook bij het implementeren van snelle en effectieve oplossingen.
- Verbeterde concurrentiepositie: Met behulp van inzichten uit Big Data kunnen bedrijven kosten besparen, klanten tevredenstellen, betere producten maken en de bedrijfsvoering innoveren.
Kenmerken van Big Data
AI en Big Data
Het beheer is afhankelijk van systemen die de kracht leveren voor het verwerken van grote hoeveelheden losse en complexe informatie, en destilleren van waarde hieruit. Big Data en AI zijn dan ook onderling met elkaar verbonden. Big Data zou weinig praktisch nut hebben indien AI deze niet kan organiseren en analyseren. AI is tegelijkertijd afhankelijk van de breedte van de datasets die onderdeel uitmaken van Big Data voor het leveren van actiegerichte inzichten via analytics.
Machine learning en Big Data
Machine learning-algoritmes definiëren de inkomende data en identificeren patronen hierin. Deze inzichten ondersteunen besluitvorming door de business en het automatiseren van processen. Machine learning gedijt op Big Data. Hoe robuuster de datasets die worden geanalyseerd, hoe groter de kans dat het systeem hiervan kan leren en zijn processen verder kan ontwikkelen.
Big Data-technologieën
Verschillende technologieën zijn gerelateerd aan en helpen bij het profiteren van de voordelen hiervan. Enkele technologieën op een rijtje:
Big Data-architectuur
Net als architectuur in de bouw levert het de blauwdruk voor het fundament op basis waarvan het bedrijf zijn gegevens beheert en analyseert.
Big Data-analytics
Dit proces maakt betekenisvolle datavisualisatie mogelijk dankzij het gebruik van datamodellering en -algoritmes die specifiek ontworpen zijn.
Big Data en Apache Hadoop
Hadoop is een opensourceraamwerk voor het beheren van gedistribueerde verwerking van Big Data op een netwerk van verbonden computers. In plaats van één grote computer voor het opslaan en verwerken van alle data, zetten Hadoop-clusters meerdere computers in die de gegevens parallel analyseren. Zij maken onderdeel uit van een nagenoeg oneindig schaalbaar netwerk.
Datalakes, datawarehouses en NoSQL
Traditionele SQL-databases in spreadsheet-stijl worden gebruikt voor de opslag van gestructureerde data. Ongestructureerde en semi-gestructureerde Big Data vereisen een unieke opslag- en verwerkingsmethode, aangezien deze gegevens zich niet lenen voor indexatie en categorisatie. Datalakes, datawarehouses en NoSQL-databases zijn allen databronnen die niet-traditionele databases kunnen beheren.
In-memory databases
Traditionele disk-gebaseerde databases zijn ontwikkeld met het oog op SQL en relationele databasetechnologieën. Hoewel zij geschikt zijn voor de verwerking van grote hoeveelheden gestructureerde gegevens, zijn zij simpelweg niet ontworpen voor het opslaan en verwerken van ongestructureerde data. Met in-memory databases vindt de verwerking en analyse volledig plaats in het RAM-geheugen, waardoor de data niet vanaf een disk-gebaseerd systeem hoeft worden opgevraagd.
Hoe het werkt
Het levert waarde op indien het relevante en actiegerichte inzichten aanreikt die de business meetbaar verbeteren. Bij hun voorbereiding op een transformatie moeten bedrijven zeker stellen dat hun systemen en processen voldoende klaar zijn voor het verzamelen, opslaan en analyseren.
Meer weten? Volg hier de belangrijkste datatrends!
Of lees hier verder over data en datawarehouses
