О решении ADQM: возможности, сценарии применения, преимущества
ADQM — это кластерная колоночная СУБД на основе технологии ClickHouse, ставшей фактически отраслевым стандартом для реализации задач оперативной бизнес-аналитики на больших объемах данных. Продукт подходит компаниям, которым нужна быстрая аналитика, и может применяться в различных сферах бизнеса.
Продукт оптимизирован для хранения информации в колоночных форматах, что позволяет до 2,5 раз повысить скорость формирования аналитических отчетов. Такие результаты особенно востребованы в следующих прикладных отраслях работы с данными:
- Реализация слоя витрин данных (DataMart) в рамках корпоративного хранилища данных (КХД).
ADQM позволяет анализировать большой объем данных многократно быстрее традиционных СУБД, снижая при этом нагрузку на основное хранилище. - Временные ряды (timeseries).
СУБД эффективна для хранения и анализа временных рядов, например, в задачах анализа данных финансовых рынков или промышленных решениях интернета вещей (IIoT). - Проверка гипотез для ML-задач.
ADQM имеет встроенные модели для применения ML-алгоритмов и может стать источником данных для них. - Анализ логов.
СУБД позволяет эффективно собирать журналы метрик и событий из разных источников для дальнейшего анализа. - E-commerce и финансы.
Решение реализует возможность быстро сохранять данные e-commerce, такие как бизнес-транзакции, поведение пользователей и рекламные данные, и создает на их основе гибкие BI-отчеты.
Антон Коваленко
Директор департамента продуктового маркетинга Arenadata.
«ADQM на основе набирающей популярность во всем мире технологии ClickHouse рассматривается компанией как один из ключевых и перспективных компонентов платформы Arenadata с точки зрения ее дальнейшего развития. По этой причине последние несколько лет компания вкладывает значительные ресурсы в доработку данного продукта, расширяя команду и решая все более сложные и амбициозные задачи в части его адаптации для использования в корпоративном сегменте».
Среди ключевых преимуществ ADQM можно отметить:
- ADQM получил сертификат соответствия ФСТЭК РФ. Продукт сертифицирован по требованиям шестого уровня доверия и технических условий и соответствует самым высоким законодательным требованиям к отечественным решениям. На основе технических заключений Arenadata QuickMarts внесен в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации от 8 июня 2023 года. Полученный сертификат ФСТЭК действителен до 8 июня 2028 года.
- Оригинальная русскоязычная документация и техническая поддержка. Для ADQM, как и для всех продуктов Arenadata, создана и постоянно поддерживается в актуальном состоянии оригинальная документация на русском и английском языках, а служба технической поддержки компании оперативно реагирует на проблемы заказчиков любого уровня и помогает их решать в рамках SLA.
- Консалтинговые услуги. Архитекторы и инженеры компании помогают клиентам с проектированием систем, техническим анализом и установлением связи бизнес-задачи и технической реализации.
- ADQM можно использовать в связке с Arenadata DB (ADB). ADQM можно использовать самостоятельно, но у технологии есть ряд ограничений, не позволяющих использовать его в качестве полноценного КХД. Для таких задач мы рекомендуем заказчикам использовать продукты ADQM и ADB совместно с помощью новой версии Tkhemali-коннектора.
Данный коннектор используется для передачи данных между ADB и ADQM (ClickHouse). Инструмент реализован на базе foreign data wrapper (инструмент, позволяющий работать с данными из разных источников) и foreign-таблиц (внешних таблиц). Благодаря этому упрощен синтаксис и появились возможности удобно и безопасно управлять учетными данными, обеспечивать многоуровневые настройки соединения, эффективно распределять нагрузки по хостам, гибко управлять кастомными настройками и контролировать освобождение ресурсов.
Кроме того, техническая зрелость и функциональность решения позволяет использовать ADQM для замещения продуктов многих иностранных вендоров, среди которых Oracle Exadata, Microsoft SQL, Teradata, SAP BW/4HANA, Vertica, Amazon Timestream и InfluxDB Enterprise.
Применение ADQM: кейс компании
Как мы отметили выше, ADQM подходит компаниям из разных сфер бизнеса, среди которых промышленность, FMCG, ритейл и e-commerce, банки, телекоммуникации и госсектор.
Один из клиентов компании — федеральное ведомство, решившее построить новую единую интеграционно-аналитическую платформу. Задача возникла в связи с устареванием оборудования, ускорившимся ростом данных, практически полной утилизацией возможностей использования ресурсов машин баз данных и запретом на дальнейшее обновление систем Teradata.
Основой новой платформы стало озеро данных с соответствующим набором слоев данных, функционирующее на базе другого продукта Arenadata — Arenadata Hadoop. Для создания были также использованы Arenadata Streaming, Arenadata DB, Arenadata QuickMarts и Picodata.
В рамках реализации проекта предстояло перенести из систем Teradata в новое хранилище 30 приложений аналитических задач, около 50 форм отчетности, свыше 48 тыс. объектов — всего приблизительно 95 Тб данных, размещенных на двух программно-аппаратных комплексах объемом 66,0 и 28,67 Тб.
Вначале была произведена миграция на ПО Arenadata ресурсоемких задач, что позволило снять высокую нагрузку с текущего промышленного контура, где продолжали функционировать машины баз данных Teradata, и обеспечить оптимальную работу до завершения процессов миграции. На следующем этапе миграции на продукты Arenadata перешли блоки сложнозависимых и взаимоувязанных задач в части данных и процессов.
Процесс импортозамещения в данном ведомстве все еще продолжается. В настоящий момент идут работы по замещению Oracle Exadata, и скоро эта система перестанет быть источником данных для аналитической платформы.
«В ближайших планах компании — завершение процедуры сертификации ADQM во ФСТЭК по четвертому уровню доверия для его использовании в рамках ЗОКИИ, а также реализация нового модуля ADQM Control, который существенно расширит возможности заказчиков в части мониторинга и управления кластерами ADQM», — резюмирует Антон Коваленко.
Источник: TAdviser
Время на прочтение статьи: 8 мин. 20 с
Эта статья носит ознакомительный характер. Наиболее полную актуальную информацию по установке, настройке и техническим возможностям наших продуктов можно найти на сайте с документацией: https://docs.arenadata.io.