Бизнес-аналитика в режиме реального времени

Arenadata QuickMarts (ADQM) — продукт для быстрой аналитики на основе структурированных данных. Оптимален для решения задач по подготовке несложной оперативной аналитики и отчётности различных подразделений (в том числе маркетинга, продаж, финансовых служб, HR).

Целевые сценарии применения

Реализация слоя витрин данных (Data Mart) в рамках КХД

Позволяет реализовать возможность анализа большого объёма данных многократно быстрее традиционных СУБД, снижая при этом нагрузку на основное хранилище.

Временные ряды (timeseries)

Эффективно для хранения и анализа временных рядов. Например, в задачах анализа данных финансовых рынков или промышленных решениях интернета вещей (IIoT).

Проверка гипотез для ML-задач

Источник данных для алгоритмов машинного обучения. Наличие встроенных моделей для применения ML-алгоритмов.

Анализ логов

Решение для сбора журналов событий, метрик и событий из разных источников для дальнейшего анализа.

E-commerce и финансы

Возможность быстрого сохранения данных e-commerce, таких как бизнес-транзакции, поведение пользователей и рекламные данные, и создание на их основе гибких BI-отчётов.

Хотите больше узнать о продукте?

Да, хочу

Быстрая аналитическая OLAP-СУБД на основе ClickHouse

Arenadata QuickMarts (ADQM) — это кластерная колоночная система управления базами данных (СУБД) на основе ClickHouse.

Предназначена для высокопроизводительной обработки аналитических запросов в режиме реального времени, обеспечивая линейную масштабируемость, отказоустойчивость и надежность.


Подходит для различных областей, включая электронную коммерцию, финансы и мониторинг логов и событий.

Arenadata активно участвует в развитии ClickHouse

Опыт нашей команды позволяет быстро и качественно решать инциденты, а также влиять на развитие самого проекта ClickHouse.

По количеству доработок, внесённых в ClickHouse в 2023 году со стороны сообщества, Arenadata вошла в топ-5 мирового рейтинга и стала компанией №1 в России.

Российский продукт

Свидетельство о государственной регистрации программы для ЭВМ.

Номер регистрации

2019662330

Дата регистрации

20.09.2019

Включён в единый реестр российских программ для электронных вычислительных машин и баз данных

Номер реестровой записи

6407

Дата формирования

07.04.2020

Внесён в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации ФСТЭК РФ по 4 уровню доверия.

Номер регистрации

4823

Дата регистрации

03.07.2024

Техническая поддержка

Средний SLA службы технической поддержки.

Базовая

Премиальная

Расширенная

Средний SLA службы технической поддержки.

Дополнительная экспертиза для успеха проекта

Клиентам Arenadata необязательно самостоятельно разбираться в том, как устроены продукты компании, а также в том, как реализовать проект на их основе с минимальными затратами и рисками. Мы предлагаем заказчикам экспертную помощь на всех этапах проекта.

Экспертиза вендора

Arenadata сопровождает заказчиков на всех этапах реализации проекта.

Наши эксперты предлагают оптимальные архитектурные и проектные решения, проводят аудиты, формируют рекомендации и консультируют по широкому кругу технических вопросов.

Экспертиза партнёров

У Arenadata более сотни партнёров, в числе которых облачные провайдеры, OEM-производители, разработчики ПО, системные интеграторы и консалтинговые организации.

Каждый из них обладает экспертизой по своему направлению и понимает, как работать с продуктами Arenadata. Наше программное обеспечение совместимо с продуктами многих вендоров, включая российские операционные системы, системы класса BI, АБС, NRT и AI.

Курсы по продуктам

В учебном центре Arenadata под руководством опытных преподавателей слушатели курсов учатся установке, настройке, конфигурированию и обслуживанию наших продуктов.

Мы предлагаем курсы:

Альтернатива иностранным системам

Благодаря технической зрелости и функциональности продукты нашей компании замещают решения многих иностранных вендоров.



Узнать подробнее


Технические возможности

01/

Колоночное хранение

Данные быстрее считываются и лучше сжимаются.

02/

Векторные механизмы обработки данных

Эффективнее используются ресурсы процессора.

03/

Язык запросов SQL с расширениями

Массивы и вложенные структуры данных, вероятностные структуры, возможность подключить внешнее хранилище key-value и другие.

04/

Распараллеливание операций на несколько процессорных ядер или целых узлов кластера

05/

Отказоустойчивость

Автоматическое восстановление данных после большинства сбоев.

06/

Поддержка различных движков

Подробнее вы можете изучить по ссылкам: Database Engines и Table Engines.

07/

Интеграция с различными внешними источниками

Kafka, RabbitMQ, Hadoop (HDFS), MySQL, PostgreSQL, MongoDB и другими.

Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и рассчитывается индивидуально.

запросить детали

Отличия от ClickHouse

Сложности сборки, которые уже решены в продуктах Arenadata

Программные продукты Arenadata являются частью единой корпоративной платформы для сбора, хранения и обработки данных Arenadata. Они гарантированно совместимы друг с другом и управляются из Arenadata Cluster Manager.

Опытная команда разработки

Команда Arenadata более четырех лет разрабатывает продукт ADQM на базе ClickHouse. Мы ежегодно исправляем ошибки в исходном коде open source проекта, проверяем его на наличие уязвимостей, тестируем все компоненты и обеспечиваем их интеграцию и корректную работу при обновлениях.

Реестр национального ПО и сертификация ФСТЭК

Все программные продукты Arenadata включены в Единый реестр национального ПО Минцифры России. Компания получила лицензии Федеральной службы по техническому и экспортному контролю (ФСТЭК) РФ на деятельность по разработке и производству средств защиты конфиденциальной информации и на деятельность по технической защите конфиденциальной информации.

Совместимость с российскими продуктами

Операционными системами, ПО и серверным оборудованием российских вендоров, включая ETL-средства, Data Governance, BI-, АБС-, NRT-, Backup- и AI-системы.

Техническая поддержка

Служба технической поддержки Arenadata оперативно понимает проблемы заказчиков и «бесшовно» передаёт сложные тикеты в разработку. На большинство вопросов наши специалисты дают оперативный ответ, позволяющий решить проблему.

Универсальность и удобство работы

Для установки, обновления и мониторинга Arenadata QuickMarts мы разработали универсальный оркестратор Arenadata Cluster Manager.

ПО для гибридных сред

Программные продукты Arenadata можно использовать в облаке, на серверах и в гибридных средах.

Консалтинговые сервисы и возможность влиять на планы по разработке

Архитекторы и инженеры Arenadata помогают клиентам с проектированием систем, техническим анализом, установлением связи бизнес-задачи и технической реализации, а также с выбором подходящей технологии и решения для работы с большими данными.

Оригинальная онлайн-документация

Для всех продуктов Arenadata создана и постоянно поддерживается в актуальном состоянии оригинальная документация на русском и английском языках.

Документация

Коннекторы

ADB ClickHouse Connector

Новая версия Tkhemali-коннектора. Инструмент используется для передачи данных между Arenadata DB (Greenplum) и Arenadata QuickMarts (ClickHouse).

Коннектор реализован на базе foreign data wrapper и foreign-таблиц. Благодаря этому упрощён синтаксис и появились возможности удобно и безопасно управлять учётными данными, обеспечивать многоуровневые настройки соединения, эффективно распределять нагрузки по хостам, гибко управлять кастомными настройками и контролировать освобождение ресурсов.

Документация

ADQM Spark 2 / Spark 3 Connector

Многофункциональный коннектор с поддержкой параллельных операций чтения/записи между Apache Spark 2 и Apache Spark 3 в составе Arenadata Hadoop и Arenadata QuickMarts.

Обладает большой гибкостью в настройке и множеством функций, таких как:

  • высокая скорость передачи данных;
  • автоматическое формирование схемы данных
  • гибкое партиционирование;
  • поддержка push-down-операторов;
  • поддержка batch-операций.
Документация

Дополнительные инструменты

JDBC Bridge

Сервис для запросов к различным источникам данных, поддерживающих JDBC-интерфейс. Взаимодействие возможно через JDBC-табличные функции либо движок таблиц JDBC.

Решение предоставляет:

  • кеширование соединений (connection pooling);
  • балансировку нагрузки и fail-over;
  • ограниченную поддержку модификации данных в источнике (INSERT) и поддержку скриптов.

HTTP-прокси и балансировщик нагрузки Chproxy

Используется при взаимодействии пользователей с ClickHouse/ADQM.

Поддерживаются:

  • протоколы HTTP и HTTPS;
  • ограничение доступа по HTTP списком разрешённых IP-адресов/IP-масок;
  • безопасная авторизация пользователей;
  • проверка работоспособности узлов кластера и предотвращение отправки запросов на недоступные узлы.

Хотите изучить базовые возможности Arenadata QuickMarts?

Скачайте комьюнити-версию.

скачать

Нам доверяют

Новости про Arenadata QuickMarts

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи.

хочу спросить

Чем Arenadata QuickMarts отличается от ClickHouse?

В ADQM есть мониторинг, средства управления и расширения кластера.

Какие отличия в редакциях Community и Enterprise?

Смотрите сравнительную таблицу:

Функционал Open Source ADQM Enterprise Edition
Core-функционал + +
Управление деплоем и апгрейдом +
Расширение кластера +
Мониторинг & alerting +
Документация Без версионирования +
Производительные коннекторы Spark <-> ClickHouse, Kafka <-> ClickHouse +
Офлайн-установка +
Включение в состав поставки и интеграция с Chproxy +
Поддержка отечественных операционных систем (Альт 8 СП / Astra Linux 1.7 SE «Орёл») +
Инструментарий управление бэкапами* +
ADQM Control (анализ состояния кластера и alert-менеджер)
*в разработке. Реализация – до конца 2024 г.
+
Включение в реестр отечественного ПО +
Доработка и развитие функционала (core) под требования заказчиков +
Техническая поддержка (8*5 / 24*7) +
Обучение по продуктам +
Проведение пилотных проектов и PoC +
Консалтинговые услуги +

Какие наиболее значимые функциональные особенности есть у Arenadata QuickMarts?

  • Колоночное хранение данных.
  • Возможность использования векторных механизмов обработки данных.
  • Наличие эффективных алгоритмов сжатия данных (например, Z_Standart), возможность выбора типа и уровня компрессии.
  • Поддержка конструкций языка SQL: distinct, group by, order by, having, apply, union/union all, регулярные выражения; подзапросы в секциях FROM, IN, JOIN; скалярные подзапросы, оконные функции.
  • Возможность работы с массивами.
  • Возможность задать время хранения значений (TTL).
  • Поддержка индексов и вторичных индексов, не входящих в первичный.
  • Поддержка Log-structured merge-tree (LSM) и фильтров Блума.
  • Возможность выполнения запросов над частью выборки с выводом приближённого результата, возможность выполнения агрегации по ограниченному набору случайных ключей.
  • Возможность секционирования таблиц.
  • Возможность пакетной вставки больших массивов данных.
  • Возможность указания для каждого столбца своего типа и уровня компрессии.

Какие возможности по масштабированию есть у Arenadata QuickMarts?

  • Массивно-параллельная архитектура без разделения ресурсов (shared nothing MPP) без единой точки отказа.
  • Линейная горизонтальная и вертикальная масштабируемость.
  • Шардирование данных с обеспечением локальности исполнения запросов.

Благодаря чему обеспечивается отказоустойчивость Arenadata QuickMarts?

  • Автоматическая репликация данных на добавляемые в кластер сегмент-сервера без необходимости остановки кластера.
  • Нативная отказоустойчивость без доработок ПО с поддержкой асинхронной репликации.

Какие средства управления и мониторинга есть в Arenadata QuickMarts?

  • Наличие системы развёртывания и управления кластером.
  • Наличие системы визуального мониторинга ключевых метрик СУБД.
  • Гибкая система уведомлений по событиям и изменениям метрик.
  • Наличие журнала событий с указанием даты, пользователя, выполненной операции и длительности операции, в т. ч. журнала ошибок.

Как версионируется ванильный ClickHouse и AQDM?

Стабильные версии ClickHouse обычно выпускаются один раз в месяц; версии с долговременной поддержкой, как правило, выходят в марте и августе. Структура имени: YY.MM.PATCHES-TYPE, где YY — год, MM — месяц, PATCHES — идентификатор, возможно содержащий точку, TYPE — слово «stable», или «lts», или, например, «prestable». Примеры: 21.10.5.3-stable, 21.8.13.6-lts.
Arenadata базирует релизную политику ADQM на основе версий ClickHouse LTS. Версия 21.8.13.6_arenadata1_b1 соответствует версии ClickHouse 21.8.13.6-lts.

Где можно найти документацию и полезную информацию по ADQM/ClickHouse?

Какой версии соответствует официальная документация? Где можно найти документацию на одну из предыдущих версий ClickHouse?

Официальная документация в каждый момент времени немного отстаёт от последней стабильной версии ClickHouse. Точно узнать, когда появился новый функционал и когда была исправлена та или иная ошибка, можно в Changelog 2022 | ClickHouse Documentation. Надёжного способа получить документацию на определённую версию не существует.

В каких случаях целесообразно использовать Arenadata DB, а в каких — Arenadata QuickMarts?

Arenadata DB в основном используется в следующих сценариях:

  • сложные запросы, обрабатывающие большие объёмы, в том числе содержащие сложные аналитические функции;
  • ETL/ELT-процессы загрузки данных, наиболее эффективно себя показывает при возможности in-database обработки;
  • эффективные соединения больших таблиц, особенно в случаях объединения по заведомо заданному ключу распределения;
  • аналитические функции на процедурных языках, в том числе и с помощью уже готовых библиотек алгоритмов MADLib.
Arenadata QuickMarts в основном используется в следующих сценариях:
  • выполнение запросов на широких денормализованных таблицах;
  • full-scan операции при условии использовании фильтров;
  • ad-hoc аналитика;
  • работа со структурированными логами и событиями.

Насколько надёжное хранение данных обеспечивает ADQM/ClickHouse?

Средства репликации ClickHouse зарекомендовали себя как очень надёжные. Резервное копирование несколько ограничено по сравнению с традиционными СУБД, но вполне функционально.

Есть ли в ADQM/ClickHouse UPDATE и DELETE?

ClickHouse имеет операции мутаций:
ALTER TABLE [db.]table UPDATE column1 = expr1 [, …] WHERE filter_expr и ALTER TABLE [db.]table [ON CLUSTER cluster] DELETE WHERE filter_expr.

Также ClickHouse имеет специальные движки таблиц CollapsingMergeTree и ReplacingMergeTree, которые с рядом оговорок позволяют реализовать бизнес-логику, требующую модификации и удаления данных.

Есть ли в ADQM/ClickHouse транзакции?

Нет, ADQM/ClickHouse, как и большинство OLAP-систем, не поддерживает гарантии ACID.

При этом для каждого чтения из каждой партиции каждой таблицы в отдельности ClickHouse обеспечивает консистентность (при отсутствии одновременно выполняемых мутаций) и предоставляет средства обеспечения надёжности вставок.
С учётом области применения, желательности использования широких таблиц по соображениям производительности и отсутствия UPDATE-ов, отсутствие транзакций само по себе редко является проблемой.

С какими внешними системами может взаимодействовать Arenadata QuickMarts?

ADQM умеет взаимодействовать со следующими системами по промышленным протоколам:

  • Kafka,
  • RabbitMQ,
  • MySQL,
  • MongoDB,
  • PostgreSQL,
  • Hadoop (HDFS),
  • S3,
  • HTTP,
  • JDBC,
  • внешний исполняемый файл или исполняемый сценарий.
Поддержка аутентификации осуществляется при помощи LDAP и Kerberos. Внешняя база данных пользователей и паролей может располагаться в Microsoft Active Directory.

Как правильно загружать данные в ADQM/ClickHouse?

Для загрузки из ADB (Greenplum) наиболее производительным и удобным решением является Tkhemali Connector.

При использовании HTTP или собственного бинарного ClickHouse-протокола важно обеспечивать редкую (до нескольких десятков раз в секунду) вставку большими блоками. Kafka и RabbitMQ имеют удобные настройки для группировки данных. Недавно появившиеся с ClickHouse асинхронные вставки не меняют эти подходы.

Каковы ограничения на таблицы в ADQM/ClickHouse?

Максимально рекомендованное количество колонок — 1 000. Технически ограничением является оперативная память из-за необходимости отводить 2 Мб на каждую колонку при операциях INSERT.
Ориентировочно 0,1% от объёма данных должна помещаться в оперативной памяти для эффективной работы кэша засечек.

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.