Engineering Challenges in Big Data

Vast.com vas poziva da prisustvujete predavanju, koje će se održati 10.maja 2012. godine.

Ukratko o temi:

Razvoj interneta doveo je do eksplozije obima informacija a samim tim došlo je i do povećanja varijeteta i brzine generisanja istih. Prema nekim izvorima (The Guardian, May 2010) količina informacija se uvećala više od 40 puta u prethodnih 10 godina. Oko 80% tih podataka (uglavnom prikupljenih na Internetu), je nestruktuirano a industrija je dobila priliku da iskoristi ovu činjenicu.

Postoji dosta uzročnika koji su doveli do povećanja količine informacija. Među tim uzročnicima su i povećanje broja korisnika Interneta, masovna upotreba mobilnih telefona, aktivnosti na socijalnim mrežama itd. To predstavlja mogućnost ali i izazov za razvoj biznisa baziranog na podacima, a ujedno i potrebu za unapređenjem i razvojem sistema za efikasno korišćenje novih resursa. Da bi se postigao taj cilj potrebno je prikupiti, uskladištiti, organizovati i analizirati podatke dobijene na različite načine i iz različitih izvora.

Ova situacija na "tržištu informacija" dovela je i do rasta broja alata za skladištenje i procesiranje istih. Kompanije kao sto su Facebook i Wal-mart svakodnevno procesiraju podatke reda veličine petabajta. Ova količina podataka se ne skalira uspešno u sistemima sa tradicionalnim relacionim bazama podataka. Za razliku od toga kompanije se okreću sistemima za distribuiranu obradu podataka, Hadoop, i NoSQL rešenjima.

U ovom predavanju prezentovaćemo neka iskustva iz kompanije Vast.com, koja su vezana za procesiranje podataka. Vast.com platforma za pretraživanje i analitike trenutno omogućava vertikalnu pretragu na portalima kao sto su Yahoo, Bing i AOL, opslužujući desetine miliona korisnika svakog meseca. Deo te platforme je i platforma za efikasno procesiranje, normalizovanje i skladištenje velike kolicine informacija (reda veličine nekoliko stotina GB dnevno).

Vidimo se u četvrtak.