Hvad er Big Data?

Hvordan

VedRyan Dube

Sidst opdateret den26. marts 2020

Gennem årene bliver mange buzzwords moderigtige i mange brancher. Der er få, der er blevet så populære og så længe som store data. Men hvad er big data, nøjagtigt?

Big data refererer til et virtuelt hav af information fra forskellige kilder, analyseret og filtreret på en sådan måde, at der udvikles meningsfulde og handlingsmæssige resultater.

Processen med at konvertere "big data" til meningsfulde resultater kan virke kompliceret og vanskelig. Når du først har forstået, hvad big data er, og hvordan de fungerer, forstår det ikke så kompliceret at forstå, hvordan man gør dem meningsfulde.

Hvad er Big Data?

Når du hører folk tale om "big data", er det som regel med en masse håndsvingende og store ord. Men når du koger ned hele hyperbolen, er de faktiske "data" faktisk mange flere datainputstrømme.

For at forstå dette kan et eksempel hjælpe. Lad os sige, at du driver en paraplyfremstillingsvirksomhed. Din marketingafdeling er på udkig efter en måde at bedre forudsige, hvornår markedets efterspørgsel er ved at styre.

Før big data-dage studerede marketingfolk markedstendenser, udsendte kundeundersøgelser og mange andre aktiviteter.

De ville indsamle alle disse data og gemme dem på deres egen virksomheds interne databaser. En person er måske endda ansvarlig for at opdatere marketingundersøgelsesdata på årsbasis eller kvartalsvis.

Fremkomsten af ​​big data udvider imidlertid muligheden for at udføre denne form for forskning. Især er big data især effektiv til at identificere vigtige tendenser eller begivenheder i nær realtid.

Dataindgange til denne type "big data" -analyse kan omfatte realtime-datastrømme ved at skrive kode, der tilsluttes Application Programming Interface (API) af mange forskellige virksomheder, der har offentliggjort disse data:

• Twitter og Facebook: Identificer hvornår og hvorfor folk diskuterer køb af paraplyer.
• Vejr: Identificere vejrforhold eller forudsigelser, der kan blive til højere paraplysalg.
• Aktiemarked: Sæsonmæssige ændringer i prisen på råvarer til fremstilling af paraplyer.
• Brug af kundens web: Brug af oplysninger fra computer cookies af mennesker, der besøger firmakataloget for at forstå købsadfærd.
• Kundens købshistorik: Sporing af geografi og sæsoner for salgsudviklingen fra detailhandlere.

For at bruge big data skal dette selskabs marketingteam i nogle tilfælde installere nye teknologier.

Big Data og Internettet

Dette kan omfatte Internet of Things (IoT) -teknologien hos detailhandlere, der sporer og rapporterer om forbrugernes adfærd. Eller det kan indebære, at en programmør skriver den kode, der kræves for at interface med Twitter's API, for at filtrere alle tweets, der nævner "paraplyer" eller firmanavnet.

Hver af disse teknologier er nu tilgængelig takket være internettet. Internettet giver enhver mulighed for at benytte strømme af data fra hele kloden.

Sådan fungerer opsætningen i vores eget eksempel i dette tilfælde.

Dette diagram viser, hvordan data flyder ind i virksomhedens "datasø" fra mange forskellige kilder. De indkommende data kan være struktureret forskelligt, men det vigtige er at samle så mange data som muligt fra alle kilder.

Hvad er en datasø?

I modsætning til en database, der indeholder strukturerede data, der er organiseret i specifikke kolonner og rækker, er en datasø et massivt arkiv for mange forskellige former for data.

De data, der er gemt, kan være struktureret eller ustruktureret. Betyder det kan have strukturerede rækker og kolonner, eller det kan måske ikke. Dataene kan være strenge, der bruger specifik formatering til at adskille data. Hver datakilde kan indsende data til en datasø, uanset hvilken form den kan lide.

Forestil dig en datasø som et massivt bibliotek, der indeholder mange former for medier, som bøger, billeder på mikrofiche og video på dvd'er.

Forestil dig digital intelligens og dataanalytiker som beskyttere for det bibliotek. Disse lånere kan digitalt trække data ud af bøger, mikrofiche og DVD'er og finde måder at blande og kombinere disse data og lære ting fra, hvordan dataene korrelerer.

Ud af disse læringer kommer faktisk, handlingsfri intelligens. Nogle af disse fra vores eksempel kan omfatte:

• Chatter på Twitter og Facebook indikerer en nærmer storm i New York City, hvor tusinder af kunder planlægger at købe paraplyer.
• Computer-cookie, der køber data og detailsalgsmaskiner, tyder på, at købere i Californien er villige til at betale mere for designer-paraplyer end folk i Virginia er.
• Et stort stormmønster nærmer sig, at det meste af østkysten vil være dækket med regnvejr i en hel uge.

Alle disse erfaringer kan få marketingteamet til at investere i mere geografisk reklame, hvor efterspørgsel efter paraplysalg er meget stærkere. Produktion kan også flytte deres produktionsindsats til de områder i verden tættere på, hvor salget er mere tilbøjeligt til at stige.

På denne måde, ved hjælp af big data, kan enhver virksomhed strømline deres markedsføring og drift.

Hvad er Hadoop?

Det næste spørgsmål er, hvordan behandler virksomheder så store datamængder og identificerer tendenser?

Denne type dataknusning kræver enorme computerressourcer. Så meget, at virksomheder ikke længere bruger store mainframe-computere på stedet, som de plejede at gøre. Mange af disse tjenester køber nu fra skyen. Cloud data intelligence-tjenester som Apache Hadoop tilbyder mange computernoder på et stort sky-netværk. Hver af disse noder bidrager til den behandlingsstyrke, der kræves for at analysere massive strømme af data fra flere kilder.

Denne form for behandlingskraft er hjertet i maskin eller digital intelligens og dataanalyse. Hadoop er den software ramme, der gør hele dette netværk af massivt computerstyrke arbejde som krævet til digital intelligens ingeniører.

Når computermotoren producerer handlingsbar intelligens, leveres disse normalt til virksomheden i form af instrumentbræt eller rapporter.

Big Data er ikke kun Buzzwords

Sandheden er, at "big data" er mere end bare firmalingo. Mange virksomheder lærer, at de ved at udnytte data bedre er i stand til at opnå adskillige resultater.

• Producenter kan forbedre kritiske produktionsmålinger som udbytte, kvalitet og effektivitet.
• Detailhandlere kan bedre tilpasse markedsføring, reklame og forretningsinvesteringer baseret på markedssignaler.
• Distributører er i stand til at forudsige potentielle problemer i en forsyningskæde til preemptivt at udvikle beredskabsplaner.
• Nyhedsorganisationer kan hurtigt identificere nyhedsværdige begivenheder ved at analysere offentlige signaler på internettet.
• Cybersikkerhedseksperter bruge signaler over internettet til at identificere cyberangreb, mens de er i gang.

Selvom meget af det, big data har opnået i de senere år, forbliver næsten usynligt for offentligheden, har big data faktisk haft en betydelig indflydelse på hverdagen for mennesker over hele verden.