Как показали результаты, в России 62% компаний уже работают с большими данными, а 28% внедрили такие проекты в течение последних двух лет. При этом 46% используют облачные решения для работы с Big Data проектами, 29% планируют переезд в облака в ближайшее время. За комментариями полученных результатов мы обратились к экспертам Arenadata и VK Cloud.
Михаил Бедарев
Руководитель отдела облачных сервисов Arenadata
Денис сосновцев
Лидер по технологическим альянсам в Arenadata
Виталий Ранн
Продакт-менеджер VK-cloud
— Как Вы оцениваете результаты исследования: сформировался ли российский рынок решений по работе с большими данными?
Исследование показало, что 62% компаний-респондентов уже используют решения для работы с большими данными. Это один из маркеров, что рынок Big Data в России в большей степени сформирован, а подходы к работе устоялись. При этом существует потенциал для его расширения: 38% респондентов не работают с аналитикой больших данных. Безусловно, не в каждой из этих компаний такие решения окажутся востребованными. Однако мы видим тенденцию постепенного роста количества проектов по работе с большими данными: 10% респондентов приступили к их внедрению менее одного года назад.
— Какие компании чаще других на российском рынке работают с большими данными? Как изменился интерес к Big Data за последние несколько лет?
Чаще всего это предприятия из ритейла, FMCG, e-commerce, финсектора. Видим, что активно начинают работать с большими данными в машиностроительной отрасли и ТЭК. Почти 28% респондентов внедрили такие проекты в течение последних двух лет. Это может быть связано с запросом на цифровизацию бизнеса в период пандемии, увеличением объёма собираемых данных, стремлением компаний повысить прибыль в условиях высокой конкуренции (например, в розничной торговле).
Добавлю, что в области госуправления и работе с данными у нас в стране есть существенные успехи. Например, в Москве ведётся комплексная обработка информации, имеющейся в городской системе образования, здравоохранения, транспорта и связи. Когда в 2020 году ударила пандемия, то мы видели, как правительство города оперативно реализовало ряд важных мер по предотвращению распространения вируса. В основе этого — серьёзная система работы с большими данными, где применяются в том числе продукты Arenadata.
— В какой момент компании пора задуматься о начале работы с Big Data?
Я вижу два основных драйвера. Первый — когда в компании нарастает критическая масса данных, которые невозможно обработать в одиночку или группой в реалистичные сроки. Второй — когда в процессе цифровизации компании появляются новые сервисы, которые достаточно часто строятся на анализе поведения клиентов; желании предложить определённой категории отличающийся продукт; предотвратить нежелательный сценарий развития услуги или сервиса.
Кадры решают всё
— Отличается ли Россия от мирового сообщества в вопросе использования технологий для работы с большими данными? С какими сложностями сталкиваются компании при работе с большими данными?
Мне кажется, Россия движется полностью в русле мировых тенденций. По опыту компании Arenadata, во всём мире именно компании из финсектора, розничной торговли и производства потребительских товаров являются первыми и по применению облачных технологий, и по работе с большими данными. Такие компании умеют оперативно извлекать выгоду от технологий и данных. И речь даже не о том, что технологии дают конкурентное преимущество, наоборот — если ты технологии не используешь, то сразу оказываешься в проигрышной позиции, так как остальные участники гонки их используют. Главные сложности при работе с большими данными, с которыми сталкиваются российские компании: нехватка специалистов для такой работы и, скорее всего, недостаточно убедительные экономические обоснования. Ведь зачастую компании на пути цифровизации движутся «наугад», вкладывая значительные ресурсы в перспективные исследования, которые не всегда заканчиваются результатом — продуктом или услугой. Далеко не все компании могут себе позволить такую роскошь и ожидают, когда лидеры «набьют себе шишки» и определят наиболее правильные методы, которые затем массово будут копировать другие.
Результаты нашего исследования показали, что российский рынок Big Data решений достаточно развит. А это значит, что понятен технологический стек, типовые проблемы и в целом определены варианты их решения. Для новичков это снижает порог входа в работу с технологиями за счёт применения накопленного опыта. Для оценки возможностей работы с Big Data можно внедрять решения через Proof-of-concept или пресейл-проекты̆. В 2022 году компании по-прежнему делают ставку на технологическое лидерство и, в частности, сохраняют объём инвестиций на проекты по работе с большими данными. Хотя ближайшее время они будут направлены на перезапуск и развитие текущих проектов.
— А при работе с облачными решениями?
Облачные технологии обладают рядом очевидных преимуществ, но есть ещё значительные барьеры,
регуляторные, например, или позиция служб безопасности. События этого года подталкивают российские
компании к активному применению отечественных облачных технологий. Потому что других возможностей
получить в своё распоряжение компоненты ИТ-инфраструктуры может просто не оказаться.
Все продукты Arenadata готовы для применения в облаках, это уже неоднократно доказано при реализации
проектов наших клиентов. В VK Cloud продукты Arenadata развёрнуты как полноценные PaaS-сервисы. Мы и
далее планируем расширять количество наших сервисов в VK Cloud, чтобы облегчить нашим нынешним и будущим
клиентам путь к получению выгоды от использования данных, снизить порог входа в сложные технологии.
Сегодня за счёт применения облаков, например Arenadata в облаке VK Cloud, с участием компетентных
деловых партнёров компании могут экспериментировать с большими данными, не ввязываясь в долгие закупки и
настройки инфраструктуры, поддержание ПО в работоспособном состоянии. То есть сейчас существует отличная
возможность реализовывать такие проекты оперативно и масштабировать в случае успеха с минимальными
затратами и потерями времени.
— Какие основные задачи решала Arenadata при подготовке продуктов для размещения в облаке в качестве сервисов?
Наши продукты относятся к классу MPP-систем (Massive Parallel Processing), которые сложны для запуска в виртуальном окружении. При запуске в VK Cloud на текущем этапе мы сосредоточились на максимальной автоматизации развёртывания наших продуктов в облачной инфраструктуре, а также на унификации и совместном поиске конфигураций, которые оптимальны для вычислительной инфраструктуры облачного провайдера.
— Какие главные препятствия при внедрении проектов для работы с большими данными видят компании?
По результатам опроса, среди главных препятствий при внедрении проектов для работы с большими данными — отсутствие компетенций в команде, низкое качество данных, отсутствие понимания ценности работы с Big Data, плохая интеграция компонентов ИТ-инфраструктуры и сложность выбора технологического стека решений. Я лично ожидал, что больше респондентов укажет на сложности согласования со службой ИБ (VK Cloud сертифицировано по 152-ФЗ, 1-УЗ, Tier III — прим. ред.). Наличие компетенций в команде, недостаточное понимание ценности больших данных для бизнеса — это сложности, которые в силах остановить или существенно замедлить проекты внедрения. Поэтому уделять внимание этим вопросам нужно постоянно.
— Как можно решить одну из главных проблем — нехватку компетентных специалистов?
«Кадры решают всё». Возможно, я не прав, но вижу, как ведущие вузы страны увеличили выпуск специалистов, владеющих методами работы с данными. Популярность профессии data scientist весьма высока. Вот и мы в Arenadata вкладываем серьёзные усилия в развитие нашего учебного центра, где клиенты и партнёры могут обучиться и пройти сертификацию по продуктам компании: Arenadata DB, Arenadata Hadoop, QuickMarts, Arenadata Streaming. Уже несколько сотен человек являются сертифицированными специалистами Arenadata. А деловые партнёры Arenadata будут рады поделиться своими наработками и помочь тем самым снять барьеры, возникающие при внедрении.
Дефицит компетенций — один из ключевых стоп-факторов при внедрении Big Data проектов для 22% респондентов исследования. Не хватает специалистов senior-уровня, растёт спрос на навыки работы с Open Source технологиями. Мы видим, что большинство компаний (67%) решают проблему дефицита компетенций внутри команды, привлекая к разработке и сопровождению своих проектов интеграторов, агентства, консалтинговые компании. Но тенценция на создание внутренних центров компетенции тоже присутствует: 21% респондентов формируют и развивают собственные команды.
Растут проекты, применяющие подход cloud first
— Всем ли компаниям нужна работа с большими данными? Насколько в нашей стране растёт интерес к использованию облачных продуктов?
Big Data как технология, наверное, подходит не всем типам бизнеса. Некоторые, например, вообще предпочитают не хранить какие-то специфические данные долгий период времени, то есть для них не совсем актуально использование неструктурированных хранилищ данных. Но, безусловно, количество проектов постепенно возрастает: как показывает исследование, 10% респондентов приступили к внедрению таких решений в 2021 году. И всё же общее пожелание ко всем типам бизнесов — хранить ретроданные, чтобы иметь возможность использовать их для улучшения показателей в будущем.
— Что нужно учитывать при выборе технологического стека решения для работы с большими данными?
По моему мнению, прежде всего нужно учитывать номенклатуру продуктов производителя решений Big Data, кейсы внедрения не только в облачной инфраструктуре, наличие сервиса квалифицированной технической поддержки и обучения. Интеграция продуктов нескольких производителей обычно требует дополнительных расходов и большего времени на реализацию. Поэтому для части клиентов предпочительнее переходить к использованию PaaS, то есть готовых преднастроенных сервисов с возможностью масштабирования и автоматизированной инсталляции.
— Для каких компаний переход в облако — предпочтительный выбор? Какую выгоду получает клиент при переходе в облако?
46% опрошенных ИТ-руководителей уже работают и 29% планируют работать с облаками. Более того, я со своей стороны наблюдаю значительный рост количества компаний, которые применяют подход cloud first, то есть запускают решение для работы с большими массивами данных сразу в облаке. Из недавних кейсов VK Cloud — это, например, «Ашан».
Облачная инфраструктура и сервисы позволяют оперативно маштабировать системы, легче справляться с дефицитом компетенций и инструментов. В облаке удобно запускать пилотные проекты для оценки потенциала работы с Big Data. Это может стать хорошей практикой для поиска новых путей повышения конкурентоспособности предприятий.
— Какие инструменты для работы с большими данными сегодня может получить клиент в VK Cloud?
Мы делаем ставку на Open Source технологии, на базе которых в облаке в качестве предстастроенных сервисов развёрнуты инструменты для всех этапов работы с данными — от сбора, стриминга и обработки до хранения и анализа. Кроме того, в облаке развёрнуты и преднастроены продукты Arenadata: ADS, ADH, ADB. Их администрирование — на стороне VK Cloud, поэтому пользователи могут легко их подключить и оплачивать ресурсы по модели pay-as-you-go.
