In zakaj je to velika stvar?
"Veliki podatki" so nova znanost razumevanja in napovedovanja človeškega vedenja s preučevanjem velikih količin nestrukturiranih podatkov. Veliki podatki so znani tudi kot "napovedna analitika".
Analiziranje objav Twitter, Facebook virov, eBay iskanja, GPS sledilcev in bankomatov so nekateri veliki primeri podatkov. Preučevanje varnostnih videoposnetkov, podatkov o prometu, vremenskih vzorcev, prihodov letal, zabojnikov stolpov v mobilnih omrežjih in sledilcev srčnega utripa so druge oblike. Veliki podatki so neredna nova znanost, ki se tedensko spreminja, le nekaj strokovnjakov pa to razume.
Kaj so nekateri primeri velikih podatkov v rednem življenju?
Čeprav je večina velikih podatkovnih projektov zelo nejasna, obstajajo uspešni primeri velikih podatkov, ki vplivajo na vsakdanje življenje posameznikov, podjetij in vlad:
Napovedovanje izbruhov virusov: znanstveniki zdaj s preučevanjem družbeno-političnih podatkov, vremenskih in podnebnih podatkov ter bolnišničnih / kliničnih podatkov napovedujejo izbruhe mrzlice mrzlice dengue s predhodnim obvestilom v štirih tednih.
Homicide Watch: ta veliki podatkovni profil prikazuje žrtve umorov, osumljence in kriminalce v Washingtonu. Oba kot način spoštovanja umrlih in kot vir zavesti za ljudi je ta velik podatkovni projekt fascinanten.
Načrtovanje tranzitnega potovanja, NYC: radijski programer WNYC Steve Melendez je skupaj s časovnim programom potovalnih prog programiral spletno podzemno železnico. Njegova kreacija omogoča Newyorčanom, da kliknejo svojo lokacijo na zemljevidu in prikaže se napoved časov potovanja za vlake in podzemno železnico.
Xerox je zmanjšal izgubo svoje delovne sile: delo klicnega centra je čustveno naporno. Xerox je s pomočjo profesionalnih analitikov proučeval podatke o podatkovnih zbirkah, zdaj pa lahko predvidijo, kateri klicni center naj bi najverjetneje ostal v podjetju.
Podpora protiterorizmu: s preučevanjem socialnih medijev, finančnih evidenc, rezervacij za let in podatkov o varnosti, lahko kazenski pregon predvidi in najti osumljence terorizma, preden storijo svoja zlobna dejanja.
Prilagajanje trženja blagovnih znamk, ki temelji na pregledih družbenih medijev : ljudje odkrito in hitro delijo svoje spletne misli v pubu, restavraciji ali fitnes klubu. Te milijone objav socialnih medijev je mogoče preučiti in družbi posredovati povratne informacije o tem, kaj ljudje mislijo o svojih storitvah.
Kdo uporablja velike podatke? Kaj delajo s tem?
Številne monolitne korporacije uporabljajo velike podatke za prilagajanje ponudbe in cen, da bi povečale zadovoljstvo strank.
- Macy's veleblagovnica , na primer, uporablja velike podatke za prilagoditev svojih cen na letenje za več kot 70 milijonov izdelkov. Na svoje stranke strankam pošiljajo tudi prilagojena e-poštna sporočila glede na to, za kar Macy meni, da jih zanima.
- Policijski odziv na bombardiranje Bostonskega maratona : z uporabo velikih podatkov za preučevanje video in nadzornih slik je policija lahko hitro zožila iskanje po osumljencih.
- Morton's Steakhouse uporablja Cvrkutati, da potegne tržne kaskade, vključno s slavnim letališčem v New Jerseyju dostava zrezkov iz biserov in večerje s kozicami.
- Visa uporablja velike podatke za prepoznavanje in ulov goljufov. Enotni posli, ki tam in tam lahko zlahka prikrijejo nepoštenega uporabnika kreditne kartice, vendar pa skrbno gledajo na milijone transakcij, lahko odkrijejo vzorce goljufij.
- Facebook uporablja velike podatke za prilagajanje oglaševanja . S skrbnim preučevanjem vaših prijateljev FB in navadah brskanja, velikan socialnih medijev ima neroden vpogled v vaš okus. Te bočne oglase, ki jih vidite na vašem Facebook viri, so izbrali zelo namerni in zapleteni algoritmi, ki so spremljali svoje navade v spletu.
Zakaj je Big Data tako velik posel?
4 stvari pomenijo velike podatke:
1. Podatki so veliki. Ne bo primeren za en sam trdi disk , še manj pa za USB ključ . Obseg podatkov daleč presega tisto, kar zaznava človeški um (pomislite na milijarde milijarde megabajtov, nato pa pomnožite z več milijardami).
2. Podatki so grdi in nestrukturirani. 50% do 80% velikega dela podatkov pretvarja in čisti informacije, tako da jih je mogoče iskati in sortirati. Le nekaj tisoč strokovnjakov na našem planetu v celoti ve, kako to storiti s čiščenjem podatkov. Ti strokovnjaki potrebujejo tudi zelo specializirana orodja, kot sta HPE in Hadoop, da opravijo svoje plovilo. Morda v desetih letih bodo veliki strokovnjaki za podatke postali deset centimetrov, toda za zdaj so zelo redke vrste analitikov in njihovo delo je še vedno zelo nejasno in dolgočasno.
3. Podatki so postali blago **, ki ga je mogoče prodati in kupiti. Obstajajo tržišča podatkov, kjer lahko podjetja in posamezniki kupijo terabite socialnih medijev in druge podatke. Večina podatkov temelji na oblakih, saj je prevelika, da se prilega na kateri koli posamezni trdi disk. Nakup podatkov običajno vključuje naročnino, kjer se priključite na farmo oblak strežnika.
Voditelji velikih podatkovnih orodij in idej so Amazon, Google, Facebook in Yahoo. Ker ta podjetja služijo toliko milijonom ljudi z njihovimi spletnimi storitvami, je smiselno, da bi bile zbirališče in vizionarji za veliko podatkovno analizo.
4. Možnosti velikih podatkov so neskončne. Morda bodo zdravniki nekega dne predvidevali srčne napade in kapi za posameznike tedne preden se bodo zgodile. Letalske in avtomobilske nesreče se lahko zmanjšajo z napovednimi analizami njihovih mehanskih podatkov ter prometnih in vremenskih vzorcev. Spletne zmenke bi se lahko izboljšale z velikimi podatki, ki napovedujejo, kdo so združljive osebnosti za vas. Glasbeniki lahko dobijo vpogled v to, kakšna glasbena sestava je najbolj prijetna spreminjajočemu okusu ciljnih občin. Nutricionisti morda lahko napovedujejo, katera kombinacija kupljenih kupljenih živil bo poslabšala ali pomagala osebnim zdravstvenim stanjem. Površina je bila opraskana, odkritja velikih podatkov pa se zgodi vsak teden.
Veliki podatki so nesramni
Veliki podatki so napovedna analitika: pretvorba velikih nestrukturiranih podatkov v nekaj, kar je mogoče iskati in razvrstiti. To je neurejen in kaotičen prostor, ki zahteva posebno vrsto znanja in potrpljenja.
Vzemite na primer monolitno dostavno storitev UPS. Programatorji na UPS preučujejo podatke iz GPS-jevih gonilnikov in pametnih telefonov, da bi analizirali najučinkovitejše načine za prilagajanje preobremenjenosti prometa. Ta GPS in pametni podatki so veliki in niso samodejno pripravljeni na analizo. Ti podatki potekajo iz različnih podatkovnih baz GPS in zemljevidov prek različnih strojnih naprav pametnega telefona. Analitiki UPS so porabili mesece, ki so vse te podatke pretvorili v obliko, ki jo je mogoče enostavno preiskovati in razvrščati. Vendar je bil trud vreden. Danes je UPS shranil več kot 8 milijonov litrov goriva, saj so začeli uporabljati te velike podatkovne analitike.
Ker so veliki podatki grdi in zahtevajo toliko napora za čiščenje in pripravo za uporabo, so znanstveniki po podatkih postali poimenovani "podatki janitors" za vse dolgočasno delo, ki ga opravljajo. -
Vendar se znanost velikih podatkov in napovedne analitike vsak teden izboljšuje. Pričakujte velike podatke, da bodo do leta 2025 lahko dostopni vsem.
Ali niso Big Data vsiljiva grožnja zasebnosti?
Da, če se naši zakoni in individualna obramba zasebnosti ne skrbno obvladajo, potem veliki podatki posegajo v osebno zasebnost. Kot stoji, Google, YouTube in Facebook že sledijo dnevnim spletnim navadam . Vaš pametni in računalniško življenje zapusti digitalne sledi vsak dan, prefinjena podjetja pa preučujejo te odtise.
Zakoni o velikih podatkih se razvijajo. Zasebnost je stanje bivanja, za katerega morate zdaj prevzeti osebno odgovornost, saj je ne morete več pričakovati kot privzeto pravico.
Kaj lahko storite za zaščito vaše zasebnosti:
Največji korak, ki ga lahko prevzamete, je, da z napravo VPN omrežno povezavo pokrijete svoje dnevne navade . Storitev VPN bo pomaknila vaš signal, tako da bo vaša identiteta in lokacija vsaj delno zakrita od sledilcev. To vam ne bo postalo 100% anonimno, vendar bo VPN bistveno zmanjšal, koliko svet lahko opazuje vaše spletne navade.
Kje lahko izvedem več o velikih podatkih?
Veliki podatki so fascinantna stvar za ljudi z analitičnimi mislimi in ljubezni do techa. Če ste to vi, potem zagotovo obiščite to stran zanimivih velikih podatkovnih projektov.