Big Data & Vast.com

Укратко о теми:

Развој интернета довео је до експлозије обима информација а самим тим дошло је и до повећања варијетета и брзине генерисања истих. Према неким изворима (Тhe Guardian, May 2010) количина информација се увећала више од 40 пута у претходних 10 година. Око 80% тих података (углавном прикупљених на Интернету), је неструктуирано а индустрија је добила прилику да искористи ову чињеницу.

Постоји доста узрочника који су довели до повећања количине информација. Међу тим узрочницима су и повећање броја корисника Интернета, масовна употреба мобилних телефона, активности на социјалним мрежама итд. То представља могућност али и изазов за развој бизниса базираног на подацима, а уједно и потребу за унапређењем и развојем система за ефикасно коришћење нових ресурса. Да би се постигао тај циљ потребно је прикупити, ускладиштити, организовати и анализирати податке добијене на различите начине и из различитих извора.

Ова ситуација на "тржишту информација" довела је и до раста броја алата за складиштење и процесирање истих. Компаније као сто су Facebook и Wal-mart свакодневно процесирају податке реда величине петабајта. Ова количина података се не скалира успешно у системима са традиционалним релационим базама података. За разлику од тога компаније се окрећу системима за дистрибуирану обраду података, Hadoop, и NoSQL решењима.

У овом предавању презентоваћемо нека искуства из компаније Vast.com, која су везана за процесирање података. Vast.com платформа за претраживање и аналитике тренутно омогућава вертикалну претрагу на порталима као сто су Yahoo, Bing и AOL, опслужујући десетине милиона корисника сваког месеца. Део те платформе је и платформа за ефикасно процесирање, нормализовање и складиштење велике колицине информација (реда величине неколико стотина GB дневно).

Видимо се у среду.