Надёжное и быстрое хранилище данных

Arenadata DB (ADB) — оптимальное решение для создания надёжных хранилищ данных с высокой скоростью обработки аналитических запросов любой сложности. Эта защищённая и гибко масштабируемая СУБД обеспечивает непрерывность критичных бизнес-процессов и возможность неограниченного роста компании.

получить предложение ДОКУМЕНТАЦИЯ

Целевые сценарии применения

Реализация корпоративного хранилища данных (КХД), в том числе для задач бизнес-аналитики, подготовки финансовой и управленческой отчётности.

СУБД для систем клиентской аналитики (CRM).

СУБД для систем управления маркетинговыми кампаниями (CM).

Любая аналитика организации

Управленческая и обязательная регуляторная отчётность

Регулярная подготовка отчетов для руководства и владельцев/акционеров компании по финансовым результатам, денежным средствам, балансу и т.д., а также отчетность для контролирующих органов и организаций.

Предиктивная аналитика

Прогноз будущих событий на основе прошлых.

Маркетинговая аналитика

Для разработки концепции продукта, маркетинговых акций и программ лояльности; мониторинг конкурентов, оценка эффективности рекламы.

Финансовый скоринг

Оценка кредитоспособности заёмщиков и наиболее вероятных финансовых действий и др.

Анализ клиентской базы

Сегментация по объёму продаж, по частоте покупок или по частоте сделок.

Анализ логистических данных

Сроки доставки, затраты на перевозку и хранение груза.

Сложные запросы, обрабатывающие большие объёмы данных и учитывающие множество факторов, в том числе сложные аналитические функции

Например, анализ поведения покупателей для сегментации целевой аудитории и прогнозирования спроса.

Массивно-параллельная СУБД на основе Greenplum

Open source проект Greenplum закрыт в мае 2024 года.

Arenadata DB (ADB) — это массивно-параллельная реляционная аналитическая СУБД, построенная на основе технологии с открытым исходным кодом Greenplum. Применяется в критически важных системах и предназначена для хранения и обработки больших объёмов данных — от десятков терабайт до десятков петабайт.

Коммитер в комьюнити Greenplum №1 в мире

Arenadata активно участвует в развитии Greenplum с 2017 года. Опыт нашей команды позволяет обеспечить самодостаточное развитие Arenadata DB, быстро и качественно решать инциденты, а также влиять на развитие самого проекта Greenplum.

По количеству доработок, внесённых в Greenplum со стороны международного сообщества в 2023 году, Arenadata — №1 в мире.

Российский продукт

Свидетельство о государственной регистрации программы для ЭВМ.

Номер регистрации

2019660895

Дата регистрации

15.08.2019

Включён в единый реестр российских программ для электронных вычислительных машин и баз данных.

Номер реестровой записи

6481

Дата регистрации

07.04.2020

Внесён в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации ФСТЭК РФ по 4 уровню доверия.

Номер регистрации

4824

Дата регистрации

03.07.2024

Поддерживает российские операционные системы:

Alt Linux 8.4 SP (Альт СП R9)

Astra Linux 1.7 SE «Орёл»

А также операционные системы:

Ubuntu 22.04

CentOS 7

 Redhat 7

Техническая поддержка

Средний SLA службы технической поддержки.

Базовая

Премиальная

Расширенная

Средний SLA службы технической поддержки.

Дополнительная экспертиза для успеха проекта

Клиентам Arenadata не обязательно самостоятельно разбираться в том, как устроены продукты компании, а также в том, как реализовать проект на их основе с минимальными затратами и рисками. Мы предлагаем заказчикам экспертную помощь на всех этапах проекта.

Экспертиза вендора

Arenadata сопровождает заказчиков на всех этапах реализации проекта.

Наши эксперты предлагают оптимальные архитектурные и проектные решения, подводят аудиты, формируют рекомендации и консультируют по широкому кругу технических вопросов.

Экспертиза партнёров

У Arenadata более сотни партнёров, в числе которых облачные провайдеры, OEM-производители, разработчики ПО, системные интеграторы и консалтинговые организации.

Каждый из них обладает экспертизой по своему направлению и понимает, как работать с продуктами Arenadata. Наше программное обеспечение совместимо с продуктами многих вендоров, включая российские операционные системы, системы класса BI, АБС, NRT и AI.

Курсы по продуктам

В учебном центре Arenadata под руководством опытных преподавателей слушатели курсов учатся установке, настройке, конфигурированию и обслуживанию наших продуктов.

Мы предлагаем курсы:

Arenadata DB для аналитиков Arenadata DB для разработчиков Эксплуатация Arenadata DB

Альтернатива иностранным системам

Благодаря технической зрелости и функциональности продукты нашей компании замещают решения многих иностранных вендоров.



Узнать подробнее


Технические возможности

01/

Совместимость

Работает вместе с любым программным обеспечением, которое совместимо с PostgreSQL.

02/

Консистентность

Полное соответствие принципам строгой изоляции транзакции (ACID).

03/

Интеграция

Поддерживается интеграция с различными СУБД, решениями класса Hadoop, S3; с любыми BI-системами, совместимыми с JDBC/ODBC, и со всеми аналитическими инструментами.

04/

Мониторинг и оповещения

Встроенные средства мониторинга и настройки уведомлений.

05/

Инфраструктура

Одинаково эффективно работает на любой ИТ-инфраструктуре: на физических серверах, на виртуальных машинах, в частных и публичных облаках, в гибридных решениях.

06/

Резервирование/Георезервирование

Управление бинарными бэкапами и реализация DR-кластера на основе бинарных бэкапов.

07/

Простота управления

Офлайн-установка, автоматизированное управление развёртыванием, настройками и обновлением.

08/

Производительность

Возможность практически неограниченного горизонтального масштабирования СУБД с ростом производительности, близким к линейному.

09/

Безопасность

Встроенный аудит действий пользователя в кластере: аутентификация, конфигурирование LDAP, настройка ресурсных групп.

10/

Надёжность

Зеркалирование (mirroring), безопасное управление бэкапами.

11/

Оптимальность для аналитики

Эффективное соединение больших таблиц. Аналитические функции на процедурных языках.

Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и рассчитывается индивидуально.

запросить детали

Отличия от Greenplum

Опытная команда разработки

Команда Arenadata свыше шести лет разрабатывает на основе Greenplum. Кроме новой функциональности мы ежегодно исправляем много ошибок в исходном коде проектов, проверяем исходный код на наличие «закладок», тестируем все компоненты и обеспечиваем их бесшовную интеграцию и корректную работу до и после обновлений.

Безопасная разработка

Мы практикуем SSDLC-подход, учитывающий различные аспекты безопасности ПО на всех этапах его создания.

Реестр национального ПО и сертификация ФСТЭК

Все программные продукты Arenadata включены в Единый реестр национального ПО Минцифры России. Компания получила лицензии Федеральной службы по техническому и экспортному контролю (ФСТЭК) РФ на деятельность по разработке и производству средств защиты конфиденциальной информации и на деятельность по технической защите конфиденциальной информации.

Совместимость с российскими продуктами

Операционными системами, ПО и серверным оборудованием российских вендоров, включая ETL-средства, Data Governance, BI-, АБС-, NRT-, Backup- и AI-системы.

Техническая поддержка

Служба технической поддержки Arenadata оперативно принимает обращения заказчиков и напрямую передаёт сложные тикеты в разработку.

Универсальность и удобство работы

Для установки, обновления и мониторинга Arenadata DB мы разработали универсальный оркестратор Arenadata Cluster Manager.

ПО для гибридных сред

Программные продукты Arenadata можно использовать в облаке, на серверах и в гибридных средах.

Консалтинговые сервисы и возможность влиять на планы по разработке

Архитекторы и инженеры Arenadata помогают клиентам с проектированием систем, техническим анализом, установлением связи бизнес-задачи и технической реализации, а также с выбором подходящей технологии и решения для работы с большими данными.

Сложности сборки, которые уже решены в продуктах Arenadata

Программные продукты Arenadata являются частью единой корпоративной платформы для сбора, хранения и обработки данных Arenadata. Они гарантированно совместимы друг с другом и управляются из Arenadata Cluster Manager.

Оригинальная онлайн-документация

Для всех продуктов Arenadata создана и постоянно поддерживается в актуальном состоянии оригинальная документация на русском и английском языках.

Документация

Коннекторы

ADB Kafka Connector

Специализированный коннектор для интеграции Apache Kafka с Arenadata DB. Позволяет писать и читать данные в формате AVRO из топиков Kafka. Умеет читать CSV и текстовый формат данных. Поддерживает транзакции в Arenadata DB.

Документация

ADB ClickHouse Connector

Коннектор для передачи данных между Arenadata DB и Arenadata QuickMarts/ClickHouse на базе foreign data wrapper и foreign-таблиц. Реализованы удобное и безопасное управление учётными данными; многоуровневые настройки соединения; распределение нагрузки по хостам; гибкое управление кастомными настройками и контроль освобождения ресурсов.

Документация

ADB to ADB Connector

Коннектор реализован на основе foreign data wrapper и параллельных курсоров (parallel retrieve cursor). Обеспечивает двустороннюю передачу данных между двумя кластерами Arenadata DB.

Технические возможности:

  • Параллельное получение данных сегментами локального кластера напрямую с сегментов удалённого кластера.
  • Транзакционная вставка данных с локального в удалённый кластер в режиме master — master.
  • Автоматическое определение количества обработчиков (Query Executor, QE).
Документация

ADB Spark Connector

Коннектор обеспечивает распределённый двунаправленный перенос данных между Arenadata DB и Arenadata Hadoop.

Технические возможности:

  • Запись данных из ADH в ADB в режимах Append, Overwrite или ErrorIfExists;
  • Автоматическое формирование схем данных;
  • Поддержка отсекания колонок и push-down-фильтров;
  • Извлечение статистики и ключа распределения данных из ADB;
  • Оптимизация выполнения count-выражений в запросах.
Документация

Дополнительные инструменты

Arenadata DB Control

Система мониторинга запросов. Представляет собой командный центр, который позволяет отслеживать выполнение запросов в Arenadata DB, оценивать загруженность кластера; анализировать планы запросов и метрики по загрузке ресурсов кластера по каждому запросу; аудировать доступ к данным и выполнять другие административные задачи, возникающие при эксплуатации базы данных.

Arenadata DB Backup Manager

Отказоустойчивая система для управления резервными копиями (бэкапами). Способна асинхронно снимать резервные копии с работающего кластера. Пользовательский интерфейс встроен в Arenadata DB Control, и из него можно работать с несколькими кластерами Arenadata DB.

Platform Extension Framework

В платформе Arenadata обеспечено управление федерацией данных с PXF (Platform Extension Framework).
Этот фреймворк позволяет параллельно обмениваться данными со сторонними системами.

Технические возможности:

  • Eдиная точка входа для всех SQL-запросов;
  • Cпециализированный движок виртуализации данных;
  • Vежкомпонентный массово-параллельный проброс предикатов запроса, в том числе во внешние системы;
  • Rластеризация, шардирование и локальность данных в каждом компоненте хранения.

Хотите изучить базовые возможности Arenadata DB?

Скачайте комьюнити-версию.

скачать

Нам доверяют

Новости про Arenadata DB

14 Октября
Selectel и Arenadata запустят аналитическую СУБД на выделенных серверах
07 Октября
Обзор продуктовых релизов
02 Октября
FESCO строит централизованное хранилище данных на базе Arenadata
19 Сентября
Greengage: новый open source продукт на основе Greenplum
11 Сентября
Обзор продуктовых релизов
04 Сентября
«Норникель» построил Data-платформу «Озеро данных» на продуктах Arenadata
20 Августа
Arenadata выбрана в качестве целевой платформы развития единого хранилища данных для Московской биржи
07 Августа
Подтверждена совместимость конструктора дашбордов от SL Soft и СУБД от Arenadata
05 Августа
Обзор продуктовых релизов за май — июль
31 Июля
АЛРОСА строит информационную систему по управлению данными на Arenadata

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи.

хочу спросить

Чем Arenadata DB отличается от Greenplum?

В сommunity-редакции есть дополнительные инструменты мониторинга кластера, средства управления развёртыванием, средства расширения кластера. В enterprise-редакцию включены проприетарные коннекторы, предустановленные расширения, а также система мониторинга запросов Arenadata DB Control (ADB Control) и система управления бэкапами Arenadata DB Backup Manager (ADBM).

Какие отличия в редакциях Community и Enterprise?

Смотрите сравнительную таблицу:

Функционал Open Source
*Закрыт в мае 2024		 ADB Community Edition ADB Enterprise Edition
Core-функционал + + +
PXF + + +
gpbackup + + +
Коннекторы Greenplum <-> Hadoop и Greenplum <-> JDBC-источники + + +
Коннекторы Greenplum <-> Kafka и Greenplum -> ClickHouse – – +
ADB Contol (мониторинг на уровне запросов) – – +
Офлайн-установка – – +
Управление деплоем и апгрейдом – + +
Расширение кластера – + +
Мониторинг & alerting – + +
Инструментарий управление бэкапами (ADBM) – – +
Бинарные инкрементальные бэкапы (WAL binary Backup / Restore) – – +
Документация (английский, русский) English only + +
Техническая поддержка – – +
Обучение по продуктам – – +
Операционные системы
  • Ubuntu 18.04
  • Redhat 7
  • Redhat 6
  • CentOS 7
  • Redhat 7
  • Ubuntu 22.04 LTS
  • CentOS 7
  • Redhat 7
  • Ubuntu 22.04 LTS
  • Альт 8 СП
  • Astra Linux 1.7 SE “Орел”
Консалтинговые услуги – – +

Как распределяются данные по серверам?

Таблицы по серверам распределяются случайным образом. Это происходит по умолчанию, а в работе каждого запроса используются все сегменты. Создавая таблицу, у вас есть возможность указать ключ её распределения по серверам — это может быть одно или несколько полей. Тогда все соединения с таблицей по указанным полям будут происходить быстрее. С более подробной информацией можно ознакомиться здесь.

Поддерживается ли колоночное хранение?

Осуществляется строковое и колоночное хранение данных в таблицах. Последнее актуально для аналитической нагрузки. Также пользователи могут создавать полиморфные таблицы — это гибридный формат, при котором данные (партиции) хранятся и строково, и колоночно. Вот ссылка на информацию об этом.

Поддерживается ли сжатие?

Да. Arenadata DB поддерживает алгоритм сжатия ZSTD, а также поддерживаются ZLIB и RLE. Применить сжатие можно на таблицу и отдельные столбцы. Более подробная информация об этом здесь.

Какие стандарты поддерживает СУБД?

Arenadata DB является ANSI SQL-совместимой системой.

Совместим ли синтаксис и протокол с PostgreSQL?

Совместим примерно на 95%. Поскольку с ADB работает всё ПО, работающее с PostgreSQL, вы можете использовать стандартные PostgreSQL драйвера (JDBC, ODBC). Почитать о совместимости с PostgreSQL можно здесь.

Есть ли транзакции?

Есть, это ACID-система, а уровень изоляции транзакций — Serializable.

Есть ли проекции и индексы?

Мы используем три типа индексов и материализованные представления.

Какие процедурные языки поддерживаются?

SQL (PLpg/SQL), Python, R, Java, Perl.

Как правильно загружать данные в СУБД?

Через стандартный PostgreSQL-интерфейс (например, JDBC или ODBC) можно загрузить небольшие объёмы данных. Если речь идёт о больших объёмах, то тут лучше использовать загрузчик GPFDIST, отправляющий данные в СУБД параллельно.

Какой максимальный объём данных можно хранить в СУБД?

Ограничений по объёму данных в СУБД практически нет. Информацию по лимиту объёма данных в таблицах, строках и полях можно получить из таблицы:

Dimension Limit
Maximum size for a database?/td>

unlimited
Maximum size of a table? unlimited, 128 TB per partition per segment
Maximum size for a row? >1 GB (approximate)
Maximum size of a field? 1 GB
Maximum BLOB size 1 GB (Use BYTEA datatype, we don’t have BLOB)
Maximum number of rows in a table? 2^48
Maximum number of columns in a table? 1600
Maximum number of indexes on a table? unlimited
Maximum number of databases/users unlimited
Maximum number of tables per database 4200 million
Maximum number of columns per View 1664
Maximum length of column/table/database name 63
Maximum number of columns per index unlimited
Maximum number of table level constraints per table unlimited
Maximum active concurrent transactions unlimited
Maximum data format descriptor size 63 characters
Maximum database, user, base table, view, index, trigger, stored
procedure,
UDF, UDT, constraint
or
column name size.		 63 characters
Maximum sessions per parsing engine No concept of parsing engine other than masterDB node. No fixed limit,
up to
a few hundred.
Maximum columns per primary and secondary index 32

Какие технические характеристики у Arenadata DB?

Смотрите таблицу ниже:

Технические характеристики

Объёмы хранения данных от 300 ГБ до 25 ПБ
Минимальное количество машин в кластере 4
Максимальное количество машин в кластере Не менее 200
Стандарт SQL ANSI SQL 2008
Диалект SQL PostgreSQL
Ориентация таблиц Колоночная и строковая
Максимальный размер таблицы Неограничен
Максимальный размер строки Не менее 1 ГБ
Максимальный размер одного значения 1 ГБ
Максимальное количество строк в одной таблице 248
Максимальное количество столбцов в таблице 1600
Встроенные языки для PL-функций Python, R, Java
Библиотека Data Science MADLIB Присутствует
Расширение для работы с ГЕО-данными POSTGIS Присутствует
Фактор репликации данных 2

Какие наиболее значимые функциональные особенности есть у Arenadata DB?

  • Транзакционность (ACID).
  • Возможность организации хранения данных таблиц как по строкам, так и по столбцам.
  • Механизм резервного копирования и восстановления с параллельным выполнением на всех узлах кластера.
  • Возможность партиционирования таблиц с указанием различной ориентации (колоночная/строковая) и различных типов и параметров компрессии для каждой из партиций.
  • Возможность параллельной записи данных в сегменты кластера.
  • Возможность управления ресурсными квотами и очередями, наличие механизма ресурсных групп для квотирования ресурса CPU и RAM.
  • Поддержка стандарта ANSI SQL версии 2008 или выше.
  • Наличие эффективных алгоритмов сжатия данных (например, Z_Standart), возможность выбора типа и уровня компрессии.
  • Наличие встроенного инструмента моделирования и анализа данных, позволяющего строить линейную регрессию и нейронную сеть.
  • Поддержка различных аппаратных архитектур x86/64.

Какой тип масштабирования возможен в Arenadata DB и благодаря чему это достигается?

  • Массивно-параллельная архитектура без разделения ресурсов (shared nothing MPP).
  • Наличие нескольких сегмент-серверов.
  • Шардирование данных с обеспечением локальности исполнения запросов.

Благодаря чему обеспечивается отказоустойчивость Arenadata DB?

  • В архитектуре продукта есть резервный управляющий сервер.
  • Нативная отказоустойчивость без доработок ПО.

Какие интеграционные возможности есть у Arenadata DB?

  • Единая точка входа для SQL-запросов к компонентам сред, обеспечивающих хранение данных.
  • Инструменты для формирования федерации данных без увеличения времени доступа к данным. Должна обеспечиваться возможность подключения в федерацию любых источников данных, поддерживающих ODBC/JDBC-стандарты взаимодействия.
  • Наличие коннекторов к распространённому ПО: ClickHouse, Spark, Kafka.

Какие средства управления и мониторинга есть в Arenadata DB?

  • Система развёртывания и управления кластером (ADCM).
  • Встроенная система визуального мониторинга ключевых метрик СУБД (ADM).
  • Встроенный журнал событий (ADCM) с указанием даты, пользователя, выполненной операции и длительности операции, в т. ч. журнала ошибок.
  • Инструмент мониторинга (ADB Control) прогресса выполнения текущих запросов в реальном времени с возможностью просматривать исторические данные, план и этапы выполнения запросов.

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.