Согласно схеме цикла зрелости технологий на 2013 год по версии Gartner, big data находится в настоящий момент в начале этапа «пик чрезмерных ожиданий» («Peak of Inflated Expectation»), т.е. от этого набора подходов и технологий ожидают революционных свойств, а сама технология, благодаря новизне, становится популярной и предметом широкого обсуждения в сообществе.



Согласно прогнозным данным на графике, big data потребуется от 2 до 5 лет, чтобы выйти на плато продуктивности (наступление зрелости технологии, когда сообщество воспринимает технологию как данность, осознавая её достоинства и ограничения).

Что такое big data? Это набор программно-технических решений, методов и подходов, позволяющих оперировать огромными объёмами неструктурированных и структурированных данных, способных приносить пользу бизнесам [Cnews].

Несколько полезных pdf-презентаций на английском, более детально раскрывающих тему: http://www.hpcuserforum.com/presentations/tuscon2013/Brocade.pdf, http://coherence.oracle.com/download/attachments/5112972/Oracle+NoSQL+DB+Big+Data.pdf?version=1&modificationDate=1365861986735.

Конкурентные преимущества от применения big data следующие:

• телеком — монетизация трафика;
• ритейл, банки — анализ социально-экономического поведения клиентов;
• власть — анализ социально-политического поведения населения, управление обществом;
• спецслужбы — по их направлениям деятельности;
• все производители товаров и услуг — оценка степени удовлетворенности клиентов товаром по отношению к конкурентным и разработка планов мероприятий по повышению степени удовлетворенности.

Согласно исследованию компании Cisco, ключевые проблемы, препятствующие внедрению big data, это:

• обеспокоенность по поводу информационной безопасности;
• ограниченность бюджетов и времени на изучение технологии;
• дефицит IT-специалистов и нехватка опыта в области big data.

Количество создаваемой информации растёт очень быстрыми темпами. Что же является источником данных big data? По данным компании EMC, это:

• данные, публикуемые в социальных медиа;
• данные систем видеонаблюдения;
• данные smart grid систем вообще и «интеллектуальных счётчиков» в частности;
• данные сенсоров мобильных устройств (в частности, имеющих отношение к геопозиционированию);
• данные геофизической разведки;
• данные рендеринга видео;
• данные медицинских систем (изображения, показатели датчиков в динамике и т.п.);
• данные исследований человеческого генома.

Таким образом, можно выделить несколько подходов к работе с данными в big data:

1. Real time мониторинг потоков данных с применением распознавания объектов, часто необходимого для принятия решений.
2. Моделирование, прогнозирование, ситуационный анализ. Способность системы дать исчерпывающий и обоснованный ответ на вопросы «что будет, если…» и «что необходимо для…». Пример — компания «PROGNOZ»; одним из приоритетных направлений деятельности компании является создание информационных систем для банков и финансовых институтов.
3. Получение массивов данных для их последующей обработки и анализа.
4. Поиск информации из разного рода источников для получения обратной связи от пользователей/клиентов и эффективной проработки обнаруживаемых недостатков.

Так, например, на основе четвёртого подхода можно сделать систему отслеживания и анализа клиентских жалоб (Complaint Tracking & Analysis for Consumer-Oriented Businesses). Клиенты высказывают свои недовольства в разных формах и на различных ресурсах — в facebook (например, Юрий Синодов), в ЖЖ, во ВКонтакте, на специализированных тематических ресурсах и т.п.

При разработке подобной системы необходимо учитывать совокупность факторов, например:

1. Заслуживает ли выбранный информационный канал доверия?
2. Заслуживает ли пользователь, оставивший мнение, доверия?
3. Сколько таких же или подобных мнений найдено? Как ситуация развивается в динамике?
4. Каковы скорость и направления распространения жалоб? Если имеется географическая привязка, то каковы «центры притяжения»?

Применительно к «стартапам». Большая их часть умирает из-за того, что созданный авторами продукт не нужен рынку: ни частным пользователям, ни бизнесу, т.е. проблема, решением который является создаваемый продукт — надуманная.
Описанная система смогла бы помочь в обнаружении действительно волнующих людей проблем, в поиске того, чем на самом деле недовольны пользователи/клиенты.

Есть вопросы? Давайте обсудим их в комментариях!