Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Поэтому одной из глобальных целей «Магнита» было создание сервиса промо-прогнозирования, работающего максимально быстро и качественно, способного:
Одной из частей сервиса прогнозирования «Магнита» стал аналитический модуль, построенный на
базе Arenadata Hadoop (ADH). Из корпоративного хранилища данных в него транспортируется
необходимая историческая информация, включая данные о продажах, остатках, статистике промо,
календарях, операциях, лояльности, ценах, скидках. Транспортировка (ELT) осуществляется с
помощью Spark на базе Python (PySpark), а управление задачами транспортировки производится в
Airflow.
На основании поступающей в аналитический модуль информации строятся ML-модели. Также у
«Магнита» существует входная система управления промо-правилами, которая формирует задания
на расчёт товаров.
Итоговый слой DM, содержащий датамарты, специалисты «Магнита» формируют с помощью Spark
(PySpark) и используют в моделях машинного обучения в виде пользовательских функций для
отдельных подгрупп данных (UDF), что хорошо ложится на концепцию MapReduce в Arenadata
Hadoop. Задачи формирования этого слоя также управляются с помощью Airflow. Объёмы данных
могут составлять до 10 ТБ, а количество итоговых моделей машинного обучения — от 1 тысячи до
10 млн.
«Нам нравится, что аналитический модуль на базе Arenadata Hadoop работает стабильно. Мы вовремя получаем все необходимые обновления, поэтому сотрудничество с Arenadata нас полностью устраивает».
Создание сервиса прогнозирования позволило «Магниту»:
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.