Eng
КурсыПартнёрыРесурсы
Обратная связьТехподдержка
Eng
Меню

Arenadata QuickMarts

Быстрая, очень быстрая аналитика для бизнеса

Вам нужно быстро проанализировать большие объёмы данных и одновременно снизить нагрузку на систему их хранения? Воспользуйтесь возможностями Arenadata QuickMarts (ADQM).
скачать документация

Колоночная СУБД корпоративного уровня на базе ClickHouse

Arenadata QuickMarts (ADQM) — кластерная колоночная система управления базами данных, созданная на основе ClickHouse, с корпоративной поддержкой, расширенным функционалом и дополнительным контролем качества релизов.

Чем вам может быть полезна система Arenadata QuickMarts

С помощью ADQM вы можете в режиме реального времени генерировать аналитические отчёты разного плана, используя большие объёмы информации, хранящейся в плоских витринах. ADQM многократно быстрее традиционных СУБД.

Мы включили в наш продукт:

  • Авторизацию пользователей;
  • Разграничение доступов;
  • Поддержку High Availability;
  • Поддержку ORC;
  • Поддержку интеграции с Kerberos Hadoop.

Помимо этого, ADQM является частью платформы Arenadata Enterprise Data Platform (EDP).

На продукт Arenadata QuickMarts получено свидетельство о государственной регистрации программы для ЭВМ
Номер регистрации 2019662330
Дата регистрации 20.09.2019
Продукт Arenadata QuickMarts включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
Номер реестровой записи 6407
Дата формирования 07.04.2020
Продукт Arenadata QuickMarts внесён в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации ФСТЭК РФ.
Номер регистрации 4682
Дата регистрации 08.06.2023

Архитектура ADQM

Отличия ADQM от базового ClickHouse
Tkhemali connector для ADB/Greenplum
ПО мониторинга в пакете
Отличия ADQM от базового ClickHouse

Отличия ADQM от базового ClickHouse

  • Простота установки и настройки из оркестратора Arenadata Cluster Manager;
  • Нативная интеграция с Arenadata DB, Hadoop, Streaming в рамках единой платформы Arenadata EDP;
  • Авторизация пользователей, в том числе поддержка интеграции с Kerberos Hadoop;
  • Мониторинг на базе Graphite и Grafana;
  • Дополнительное тестирование и контроль качества релизов;
  • Наличие российской поддержки;
  • Оперативная доработка и развитие функционала под требование заказчика.
Tkhemali connector для ADB/Greenplum

Tkhemali connector для ADB/Greenplum

Tkhemali connector, входящий в состав Arenadata DB Enterprise Edition, позволяет параллельно и транзакционно интегрировать Arenadata QuickMarts и Arenadata DB. Он используется для быстрой перегрузки таблиц из ADB в ADQM.

Благодаря Tkhemali connector большое количество пользователей (тысячи, десятки тысяч) одновременно могут быстро получать данные из витрин, построенных в основном хранилище в ADB, обращаясь к ADQM.

Преимущества Tkhemali connector:

  • Параллельная интеграция кластеров — нет узких мест;
  • Меньше потоков с помощью PXF batch union — количество потоков не зависит от количества сегментов;
  • Можно уменьшить количество вставок динамически в зависимости от нагрузки ClickHouse;
  • Транзакционная вставка из Greenplum в ClickHouse.
ПО мониторинга в пакете

ПО мониторинга в пакете

Мы знаем, насколько важно полагаться на доступность данных 24/7, поэтому в пакет с нашей СУБД входит ПО мониторинга — Graphite и Grafana. Оно помогает администраторам всегда оставаться в курсе того, что в конкретный момент времени происходит с кластером. А развитая система алертов даёт возможность избежать большинства инцидентов.

В каких отраслях уже применяется ADQM Как использовать ADQM

В каких отраслях уже применяется ADQM

  • Веб-аналитика и аналитика мобильных приложений;
  • Реклама и RTB;
  • Телекоммуникация;
  • Информационная безопасность;
  • Ритейл и e-commerce;
  • Банки и финансовые операции;
  • Мониторинг технических и бизнес-метрик;
  • Онлайн-игры;
  • Интернет вещей.

Как использовать ADQM

  • В связке с Arenadata DB / Greenplum;
  • Аналитика над структурированными логами и событиями;
  • Быстрые витрины;
  • Распределённые вычисления для бизнеса и науки;
  • Анализ серверных логов.

Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и требуемого SLA (24х7, 8х5) и рассчитывается индивидуально.
Запросить детали

Скорость на грани фантастики

Векторная обработка данных на C++ и их оптимизированное хранение позволяют нам получать впечатляющую скорость обработки информации для выполнения аналитических запросов. Как показывают результаты проведённого сравнения, Arenadata QuickMarts в 5 раз быстрее выполняет ключевые аналитические запросы, чем другие решения, присутствующие на российском рынке. получить предложение

Работа с таблицами

Движок таблиц MergeTree, используемый в ADQM, позволяет:

  • Делать неблокируемые запись и чтение;
  • Вставлять миллионы записей в секунду;
  • Партиционировать и реплицировать данные;
  • Сэмплировать данные;
  • Создавать таблицы и базы данных в runtime;
  • Загружать информацию, выполнять запросы без переконфигурирования и не перезапуская сервер.

Три уровня поддержки Arenadata QuickMarts

Arenadata предоставляет пользователям Arenadata QuickMarts три уровня технической поддержки.

Первая линия (Arenadata):
  • Приём заявок;
  • Приоритезация;
  • Решение простых кейсов;
  • Наполнение базы знаний.
Вторая линия (Arenadata):
  • Сложные инциденты, добавление нового функционала;
  • Консалтинг.
Третья линия (ClickHouse):
  • Bugfix;
  • Доработки продукта на уровне ядра.

Российское программное обеспечение

Регистрация в Едином реестре российских программ для электронных вычислительных машин и баз данных Минцифры РФ
Отсутствие валютных рисков – цены в рублях
Центры разработки в РФ – Москва, Санкт-Петербург, Хабаровск
Поддержка, документация и учебные курсы на русском языке

Используйте Arenadata QuickMarts в облаке уже сейчас

Мы не ограничиваем наших клиентов в выборе типа инфраструктуры: ADQM одинаково эффективно будет работать как на bare-metal, так и в облаке. Вы можете воспользоваться востребованным сегодня сценарием — гибридной ИТ-инфраструктурой или Multi-clouds. Или же установить ADQM распределённо на разные инфраструктуры, главное обеспечить между ними сетевую доступность.

FAQ

Чем Arenadata QuickMarts отличается от ванильного ClickHouse?

В ADQM есть мониторинг, средства управления и расширения кластера.

Какие отличия в редакциях Community и Enterprise?

В enterprise-редакцию ADQM добавлен дополнительный функционал:
  • ADQM Spark connector — инструмент для чтения и записи данных в ADQM. Поддерживает структурированные данные, автоматическое формирование схемы данных, настраиваемое партиционирование, push-down операторов и выполнение произвольного sql.
В случае приобретения enterprise-редакции ПО у заказчиков Arenadata есть возможность воспользоваться дополнительными консалтинговыми услугами «DBA как услуга», «Технический аккаунт-менеджмент», «Аудит цифрового ландшафта» и Smart Start. Нашим клиентам не обязательно разворачивать и настраивать все компоненты платформы самостоятельно — инженеры Arenadata могут выполнить эти работы в полном объёме.

Кроме того, заказчикам enterprise-редакции наших продуктов мы обеспечиваем корпоративную техническую поддержку в режиме 24/7 или 8/5 в соответствии с согласованными стандартами SLA. В рамках договора фиксируется время первого ответа на обращение, гарантии по оперативной диагностике и устранению сбоев, развёрнутые консультации и помощь в установке обновлений.

Какие наиболее значимые функциональные особенности есть у Arenadata QuickMarts?

  • Колоночное хранение данных.
  • Возможность использования векторных механизмов обработки данных.
  • Наличие эффективных алгоритмов сжатия данных (например, Z_Standart), возможность выбора типа и уровня компрессии.
  • Поддержка конструкций языка SQL: distinct, group by, order by, having, apply, union/union all, регулярные выражения; подзапросы в секциях FROM, IN, JOIN; скалярные подзапросы, оконные функции.
  • Возможность работы с массивами.
  • Возможность задать время хранения значений (TTL).
  • Поддержка индексов и вторичных индексов, не входящих в первичный.
  • Поддержка Log-structured merge-tree (LSM) и фильтров Блума.
  • Возможность выполнения запросов над частью выборки с выводом приближённого результата, возможность выполнения агрегации по ограниченному набору случайных ключей.
  • Возможность секционирования таблиц.
  • Возможность пакетной вставки больших массивов данных.
  • Возможность указания для каждого столбца своего типа и уровня компрессии.

Какие возможности по масштабированию есть у Arenadata QuickMarts?

  • Массивно-параллельная архитектура без разделения ресурсов (shared nothing MPP) без единой точки отказа.
  • Линейная горизонтальная и вертикальная масштабируемость.
  • Шардирование данных с обеспечением локальности исполнения запросов.

Благодаря чему обеспечивается отказоустойчивость Arenadata QuickMarts?

  • Автоматическая репликация данных на добавляемые в кластер сегмент-сервера без необходимости остановки кластера.
  • Нативная отказоустойчивость без доработок ПО с поддержкой асинхронной репликации.

Какие средства управления и мониторинга есть в Arenadata QuickMarts?

  • Наличие системы развёртывания и управления кластером.
  • Наличие системы визуального мониторинга ключевых метрик СУБД.
  • Гибкая система уведомлений по событиям и изменениям метрик.
  • Наличие журнала событий с указанием даты, пользователя, выполненной операции и длительности операции, в т. ч. журнала ошибок.

Какие ОС поддерживаются?

Arenadata QuickMarts поддерживает Альт 8 СП Сервер, CentOS 7.7 / RHEL 7.7.

Как версионируется ванильный ClickHouse и AQDM?

Стабильные версии ClickHouse обычно выпускаются один раз в месяц; версии с долговременной поддержкой, как правило, выходят в марте и августе. Структура имени: YY.MM.PATCHES-TYPE, где YY — год, MM — месяц, PATCHES — идентификатор, возможно содержащий точку, TYPE — слово «stable», или «lts», или, например, «prestable». Примеры: 21.10.5.3-stable, 21.8.13.6-lts.

Arenadata базирует релизную политику ADQM на основе версий ClickHouse LTS. Версия 21.8.13.6_arenadata1_b1 соответствует версии ClickHouse 21.8.13.6-lts.

Где можно найти документацию и полезную информацию по ADQM/ClickHouse?

Какой версии соответствует официальная документация? Где можно найти документацию на одну из предыдущих версий ClickHouse?

Официальная документация в каждый момент времени немного отстаёт от последней стабильной версии ClickHouse. Точно узнать, когда появился новый функционал и когда была исправлена та или иная ошибка, можно в Changelog 2022 | ClickHouse Documentation. Надёжного способа получить документацию на определённую версию не существует.

В каких случаях целесообразно использовать Arenadata DB, а в каких — Arenadata QuickMarts?

Arenadata DB в основном используется в следующих сценариях:
  • сложные запросы, обрабатывающие большие объёмы, в том числе содержащие сложные аналитические функции;
  • ETL/ELT-процессы загрузки данных, наиболее эффективно себя показывает при возможности in-database обработки;
  • эффективные соединения больших таблиц, особенно в случаях объединения по заведомо заданному ключу распределения;
  • аналитические функции на процедурных языках, в том числе и с помощью уже готовых библиотек алгоритмов MADLib.
Arenadata QuickMarts в основном используется в следующих сценариях:
  • выполнение запросов на широких денормализованных таблицах;
  • full-scan операции при условии использовании фильтров;
  • ad-hoc аналитика;
  • работа со структурированными логами и событиями.

Насколько надёжное хранение данных обеспечивает ADQM/ClickHouse?

Средства репликации ClickHouse зарекомендовали себя как очень надёжные. Резервное копирование несколько ограничено по сравнению с традиционными СУБД, но вполне функционально.

Есть ли в ADQM/ClickHouse UPDATE и DELETE?

ClickHouse имеет операции мутаций:

ALTER TABLE [db.]table UPDATE column1 = expr1 [, …] WHERE filter_expr и ALTER TABLE [db.]table [ON CLUSTER cluster] DELETE WHERE filter_expr.

Также ClickHouse имеет специальные движки таблиц CollapsingMergeTree и ReplacingMergeTree, которые с рядом оговорок позволяют реализовать бизнес-логику, требующую модификации и удаления данных.

Есть ли в ADQM/ClickHouse транзакции?

Нет, ADQM/ClickHouse, как и большинство OLAP-систем, не поддерживает гарантии ACID.

При этом для каждого чтения из каждой партиции каждой таблицы в отдельности ClickHouse обеспечивает консистентность (при отсутствии одновременно выполняемых мутаций) и предоставляет средства обеспечения надёжности вставок.

С учётом области применения, желательности использования широких таблиц по соображениям производительности и отсутствия UPDATE-ов, отсутствие транзакций само по себе редко является проблемой.

С какими внешними системами может взаимодействовать Arenadata QuickMarts?

ADQM умеет взаимодействовать со следующими системами по промышленным протоколам:
  • Kafka,
  • RabbitMQ,
  • MySQL,
  • MongoDB,
  • PostgreSQL,
  • Hadoop (HDFS),
  • S3,
  • HTTP,
  • JDBC,
  • внешний исполняемый файл или исполняемый сценарий.
Поддержка аутентификации осуществляется при помощи LDAP и Kerberos. Внешняя база данных пользователей и паролей может располагаться в Microsoft Active Directory.

Как правильно загружать данные в ADQM/ClickHouse?

Для загрузки из ADB (Greenplum) наиболее производительным и удобным решением является Tkhemali Connector.

При использовании HTTP или собственного бинарного ClickHouse-протокола важно обеспечивать редкую (до нескольких десятков раз в секунду) вставку большими блоками. Kafka и RabbitMQ имеют удобные настройки для группировки данных. Недавно появившиеся с ClickHouse асинхронные вставки не меняют эти подходы.

Каковы ограничения на таблицы в ADQM/ClickHouse?

Максимально рекомендованное количество колонок — 1 000. Технически ограничением является оперативная память из-за необходимости отводить 2 Мб на каждую колонку при операциях INSERT.

Ориентировочно 0,1% от объёма данных должна помещаться в оперативной памяти для эффективной работы кэша засечек.

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

Получите консультацию от Arenadata

Если вы хотите узнать больше о функционале Arenadata QuickMarts и протестировать её возможности, заполните форму обратной связи. Вам ответят наши специалисты и проконсультируют по интересующим вопросам.
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.