Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Использование аналитического модуля для промокампаний на базе Arenadata Hadoop
Сеть магазинов «Магнит» активно развивает направление прогнозирования промо, неотъемлемой частью которого является аналитический модуль, построенный на основе Arenadata Hadoop.
Поэтому одной из глобальных целей «Магнита» было создание сервиса промо-прогнозирования, работающего максимально быстро и качественно, способного:
Одной из частей сервиса прогнозирования «Магнита» стал аналитический модуль, построенный на
базе Arenadata Hadoop (ADH). Из корпоративного хранилища данных в него транспортируется
необходимая историческая информация, включая данные о продажах, остатках, статистике промо,
календарях, операциях, лояльности, ценах, скидках. Транспортировка (ELT) осуществляется с
помощью Spark на базе Python (PySpark), а управление задачами транспортировки производится в
Airflow.
На основании поступающей в аналитический модуль информации строятся ML-модели. Также у
«Магнита» существует входная система управления промо-правилами, которая формирует задания
на расчёт товаров.
Итоговый слой DM, содержащий датамарты, специалисты «Магнита» формируют с помощью Spark
(PySpark) и используют в моделях машинного обучения в виде пользовательских функций для
отдельных подгрупп данных (UDF), что хорошо ложится на концепцию MapReduce в Arenadata
Hadoop. Задачи формирования этого слоя также управляются с помощью Airflow. Объёмы данных
могут составлять до 10 ТБ, а количество итоговых моделей машинного обучения — от 1 тысячи до
10 млн.
«Нам нравится, что аналитический модуль на базе Arenadata Hadoop работает стабильно. Мы вовремя получаем все необходимые обновления, поэтому сотрудничество с Arenadata нас полностью устраивает».
Создание сервиса прогнозирования позволило «Магниту»:
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.