Arenadata DB

Хранилище данных, которое будет расти вместе с вами

С Arenadata DB (ADB) вы построите надёжное, масштабируемое корпоративное хранилище данных.

Arenadata DB (ADB)— аналитическая СУБД

Arenadata DB (ADB) — аналитическая, распределённая СУБД, построенная на MPP-системе с открытым исходным кодом Greenplum. Она предназначена для хранения и обработки больших объёмов информации — до десятков петабайт. С Arenadata DB вы построите надёжное, масштабируемое корпоративное хранилище данных, которое будет расти вместе с вашими потребностями.
На продукт Arenadata DB получено свидетельство о государственной регистрации программы для ЭВМ
Номер регистрации 2019660895
Дата регистрации 15.08.2019
Продукт Arenadata DB включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
Номер реестровой записи 6481
Дата формирования 07.04.2020
Продукт Arenadata DB внесён в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации ФСТЭК РФ.
Номер регистрации 4675
Дата регистрации 02.06.2023

Распределённая СУБД для амбициозных задач

Arenadata DB реализована на кластере из множества (от двух до сотен) серверов и равномерно распределяет нагрузку и данные между ними. Пользователю даже не обязательно знать, сколько именно и каких серверов используется. Достаточно работать с ADB как с обычной не кластерной системой.


Архитектура ADB

Seg_N – сегмент, Mir_N – зеркальный сегмент


Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и требуемого SLA (24х7, 8х5) и рассчитывается индивидуально.
Запросить детали


Arenadata DB позаботится о вашем бизнесе

ADB прекрасно справляется с задачами построения корпоративного хранилища данных (КХД), аналитики с помощью BI-инструментов, AD-HOC запросов и data science уровня предприятия. По мере роста объёма данных вы просто добавляете новые сервера в кластер — обо всём остальном ADB позаботится сама.
получить предложение


Наиболее эффективные области применения нашей СУБД — это:

  • Сложные запросы, обрабатывающие большие объёмы данных, в том числе сложные аналитические функции (включая аналитику поведения пользователей);
  • Любые типы отчётности (операционная, управленческая, обязательная регуляторная);
  • Глубокий AD-HOC анализ;
  • Эффективное соединение больших таблиц;
  • Работа систем маркетинговых кампаний и систем лояльности;
  • Различный скоринг;
  • Предсказательная аналитика (спрос, остатки).


Решаемые задачи с Arenadata DB

Корпоративные хранилища больших данных
Разгрузка инженерных систем
Аналитика от BI до AI
Корпоративные хранилища больших данных
  • Классические КХД и хранилища больших данных с обновлением в реальном и околореальном времени.
  • Виртуализация и федерация данных, доступ ко всем данным через единое окно с помощью SQL-запросов.
Разгрузка инженерных систем
  • Импортозамещающие ПАК на базе Arenadata DB и Arenadata QuickMarts.
  • Возможно добиться снижения сложности эксплуатации озера данных путем миграции с Hadoop на Arenadata DB.
  • Прозрачная методика перехода, минимум рисков и сохранение всех преимуществ.
Аналитика от BI до AI
  • Интеграция с любыми BI-системами, cовместимыми с JDBC/ODBC.
  • Возможность быстрого развёртывания и сворачивания зон «песочниц» для пилотных проектов и проверки статистических гипотез.
  • Работа со всеми аналитическими инструментами

Arenadata — второй в мире контрибьютор Greenplum Database

Arenadata — один из крупнейших коммитеров, развивающих международный проект аналитической СУБД Greenplum. В 2019 году по числу коммитов в него мы стали вторыми в мире, опередив китайского гиганта Alibaba Group.

Ключевые преимущества Arenadata DB

скачать сейчас
Совместимость
 
ADB на 100% совместима со всем ПО, которое работает с PostgreSQL. Ваш любимый BI, средства разработки, ETL — всё это уже поддерживает ADB прямо из коробки. А стандарт SQL ANSI 2008 хорошо знаком огромному числу разработчиков по всему миру.
Консистентность
 
Полное соответствие принципам строгой изоляции транзакции (принципы ACID). Одни и те же таблицы могут быть использованы для записи и чтения, без страха потерять данные.
Data Science уровня предприятие
 
Для того чтобы использовать возможности Data Science при решении задач вашей компании, мало просто писать хороший код и строить правильные модели. Их необходимо прозрачно и безопасно встроить в процессы загрузки и преобразования данных. ADB даёт вам все необходимые для этого инструменты — библиотека MADLIB позволяет включить расчёт и выполнение моделей прямо в существующий ETL/ELT процесс.
Простота управления
 
Эксплуатация ADB для администраторов не намного сложнее, чем работа с обычной PostgreSQL, а продвинутая консоль управления поможет выполнять текущие задачи быстрей и предсказуемей, а значит, безопасней.
Мониторинг
 
Мы знаем, насколько важно полагаться на доступность своих данных 24/7, поэтому включили в пакет с нашей СУБД ПО мониторинга — Graphite и Grafana. В любой момент вы сможете узнать, что происходит с кластером. А благодаря развитой системе алертов получите возможность избежать большинства инцидентов.
Интеграция
 
Для системы обработки данных критична возможность масштабирования не только вычислительных ресурсов, но и каналов загрузки и выгрузки данных. ADB предоставляет набор коннекторов для параллельной загрузки и выгрузки данных из сторонних систем (Kafka, ClickHouse, Hadoop), что существенно упрощает процесс интеграции с источниками данных и аналитическими системами.
Инфраструктура
 
Может быть размещена в вашем ЦОДе, на виртуальных машинах, в частных и публичных облаках. Никакого vendor lock-in: нет привязки к вендору или специфическому оборудованию.

Интеграция с внешними источниками данных

Одно из важнейших качеств аналитической СУБД — гибкость и производительность при обмене данными с внешними системами. В ADB реализован протокол параллельного обмена данными со сторонними системами — PXF (Platform eXtension Framework), который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Если система-источник также представляет собой кластер, то можно использовать кластерное взаимодействие с обеих сторон, что позволяет повысить производительность, причём скорость взаимодействия будет расти по мере расширения кластеров. Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3.

Данные под надёжной защитой с Arenadata DB

Безопасность данных
Резервирование

Безопасность в ADB достигается путём шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного цикла. Кроме этого, все внутренние взаимодействия компонентов СУБД ADB (сегменты, зеркала и мастера) также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера, — зашифрованы с помощью ключей PGP (на уровне таблиц, либо колонок в таблицах). Всё это позволяет исключить ситуации нахождения данных в незашифрованном виде.

Разграничения зон видимости данных и прав доступа обеспечивается благодаря ролевой модели доступа (Role Based Access Control, RBAC), позволяющей реализовать гибкие, изменяющиеся динамически в процессе функционирования платформы хранения и обработки данных, правила разграничения доступа. Так, например, можно создать схемы ограничения доступа к таблицам и другим объектам СУБД, а также к строкам и столбцам отдельных таблиц.

Гибкая система резервирования позволяет установить и настроить кластер с заранее заданным уровнем отказоустойчивости, позволяя СУБД работать даже при выходе из строя половины серверов из кластера. А большой выбор стратегий хранения данных в ADB обеспечивает необходимую производительность на всех этапах жизненного цикла данных — от получения новых онлайн-данных, хранения основных данных с разным уровнем компрессии до экспорта архивных данных в кластер Hadoop.

Российское программное обеспечение

Отсутствие валютных рисков – цены в рублях
Центры разработки в РФ – Москва, Санкт-Петербург, Хабаровск
Поддержка, документация и учебные курсы на русском языке

ADB as a Service

Мы не ограничиваем наших клиентов в выборе типа инфраструктуры: ADB одинаково эффективно будет работать как на bare-metal, так и в облаке. Вы можете воспользоваться востребованным сегодня сценарием — гибридной ИТ-инфраструктурой или Multi-clouds, а также PaaS-версией Arenadata DB у наших партнёров.
Выберите облачного провайдера:
Получить предложение

Нет времени думать, где разместить продукт и кто будет его администрировать?

Предоставьте это нам. С технической поддержкой от Arenadata вы просто используете продукт для решения бизнес-задач, а о необходимом оборудовании, задачах эксплуатации, бекапирования и администрирования позаботятся наши высококвалифицированные специалисты.

FAQ

Чем Arenadata DB отличается от ванильного Greenplum?

В сommunity-редакции есть дополнительные инструменты мониторинга кластера, средства управления развёртыванием, средства расширения кластера. В enterprise-редакцию включены проприетарные коннекторы, предустановленные расширения, а также система мониторинга запросов Arenadata Command Center.

Какие отличия в редакциях Community и Enterprise?

Смотрите сравнительную таблицу:

Функционал Greenplum Open Source ADB Community Edition ADB Enterprise Edition
Core-функционал Greenplum DB + + +
PXF + + +
gpbackup/gprestore + + +
Коннектор Greenplum <-> Kafka +
Коннектор Greenplum -> ClickHouse +
Коннектор Greenplum <-> Hadoop + + +
Коннектор Greenplum <-> JDBC + + +
Command Center (мониторинг на уровне запросов) +
Управление расширением кластера + +
Офлайн-установка +
Cluster/Server Мониторинг & alerting + +
Управление деплоем и апгрейдом + +
Client/Loader-утилиты Redhat 8
Документация +/-* + +
Поддержка +
Обучение по продуктам +
Доп.консалтинговые услуги (DBAaS, Smart Start, ТАМ, Аудит) +
Операционная система
  • Ubuntu 18.04
  • Redhat 7
  • Redhat 6
  • CentOS 7
  • CentOS 7
  • Альт 8 СП Сервер
Архитектура процессора x86 x86
  • x86
  • ppc64le
В случае приобретения enterprise-редакции ПО у заказчиков Arenadata есть возможность воспользоваться дополнительными консалтинговыми услугами «DBA как услуга», «Технический аккаунт-менеджмент», «Аудит цифрового ландшафта» и Smart Start. Нашим клиентам не обязательно разворачивать и настраивать все компоненты платформы самостоятельно — инженеры Arenadata могут выполнить эти работы в полном объёме.

Кроме того, заказчикам enterprise-редакции наших продуктов мы обеспечиваем корпоративную техническую поддержку в режиме 24/7 или 8/5 в соответствии с согласованными стандартами SLA. В рамках договора фиксируется время первого ответа на обращение, гарантии по оперативной диагностике и устранению сбоев, развёрнутые консультации и помощь в установке обновлений.

Где я могу найти документацию по Arenadata DB?

Как шардируются данные по серверам?

Таблицы по серверам распределяются случайным образом. Это происходит по умолчанию, а в работе каждого запроса используются все сегменты. Создавая таблицу, у вас есть возможность указать ключ её распределения по серверам — это может быть одно или несколько полей. Тогда все соединения с таблицей по указанным полям будут происходить быстрее. С более подробной информацией можно ознакомиться здесь.

Поддерживается ли колоночное хранение?

Осуществляется строковое и колоночное хранение данных в таблицах. Последнее актуально для аналитической нагрузки. Также пользователи могут создавать полиморфные таблицы — это гибридный формат, при котором данные (партиции) хранятся и строково, и колоночно. Вот ссылка на информацию об этом.

Поддерживается ли сжатие?

Да. Arenadata рекомендует алгоритм сжатия ZSTD уровня 1, но также поддерживаются ZLIB, RLE. Применить сжатие можно на таблицу, партицию и отдельный столбец.

Какие стандарты поддерживает СУБД?

Arenadata DB является ANSI SQL-совместимой системой. Подробнее об этом здесь.

Совместим ли синтаксис и протокол с PostgreSQL?

Совместим примерно на 95%. Поскольку с ADB работает всё ПО, работающее с PostgreSQL, вы можете использовать стандартные PostgreSQL драйвера (JDBC, ODBC). Почитать о совместимости с PostgreSQL можно здесь.

Есть ли транзакции?

Есть, это ACID-система, а уровень изоляции транзакций — Serializable.

Есть ли проекции и индексы?

Мы используем три типа индексов и материализованные представления.

Какие процедурные языки поддерживаются?

SQL (PLpg/SQL), Python, R, Java, Perl.

Как правильно загружать данные в СУБД?

Через стандартный PostgreSQL-интерфейс (например, JDBC или ODBC) можно загрузить небольшие объёмы данных. Если речь идёт о больших объёмах, то тут лучше использовать загрузчик GPFDIST, отправляющий данные в СУБД параллельно. Подробности здесь.

Какой максимальный объём данных можно хранить в СУБД?

Ограничений по объёму данных в СУБД практически нет. Информацию по лимиту объёма данных в таблицах, строках и полях можно получить из таблицы:

Dimension Limit
Maximum size for a database?/td> unlimited
Maximum size of a table? unlimited, 128 TB per partition per segment
Maximum size for a row? >1 GB (approximate)
Maximum size of a field? 1 GB
Maximum BLOB size 1 GB (Use BYTEA datatype, we don’t have BLOB)
Maximum number of rows in a table? 2^48
Maximum number of columns in a table? 1600
Maximum number of indexes on a table? unlimited
Maximum number of databases/users unlimited
Maximum number of tables per database 4200 million
Maximum number of columns per View 1664
Maximum length of column/table/database name 63
Maximum number of columns per index unlimited
Maximum number of table level constraints per table unlimited
Maximum active concurrent transactions unlimited
Maximum data format descriptor size 63 characters
Maximum database, user, base table, view, index, trigger, stored procedure, UDF, UDT, constraint or column name size. 63 characters
Maximum sessions per parsing engine No concept of parsing engine other than masterDB node. No fixed limit, up to a few hundred.
Maximum columns per primary and secondary index 32

Какие технические характеристики у Arenadata DB?

Смотрите таблицу ниже:

Технические характеристики

Объёмы хранения данных от 300 ГБ до 25 ПБ
Минимальное количество машин в кластере 4
Максимальное количество машин в кластере Не менее 200
Стандарт SQL ANSI SQL 2008
Диалект SQL PostgreSQL
Ориентация таблиц Колоночная и строковая
Максимальный размер таблицы Неограничен
Максимальный размер строки Не менее 1 ГБ
Максимальный размер одного значения 1 ГБ
Максимальное количество строк в одной таблице 248
Максимальное количество столбцов в таблице 1600
Встроенные языки для PL-функций Python, R, Java
Библиотека Data Science MADLIB Присутствует
Расширение для работы с ГЕО-данными POSTGIS Присутствует
Фактор репликации данных 2

Какие наиболее значимые функциональные особенности есть у Arenadata DB?

  • Транзакционность (ACID).
  • Возможность организации хранения данных таблиц как по строкам, так и по столбцам.
  • Механизм резервного копирования и восстановления с параллельным выполнением на всех узлах кластера.
  • Возможность партиционирования таблиц с указанием различной ориентации (колоночная/строковая) и различных типов и параметров компрессии для каждой из партиций.
  • Возможность параллельной записи данных в сегменты кластера.
  • Возможность управления ресурсными квотами и очередями, наличие механизма ресурсных групп для квотирования ресурса CPU и RAM.
  • Поддержка стандарта ANSI SQL версии 2008 или выше.
  • Наличие эффективных алгоритмов сжатия данных (например, Z_Standart), возможность выбора типа и уровня компрессии.
  • Наличие встроенного инструмента моделирования и анализа данных, позволяющего строить линейную регрессию и нейронную сеть.
  • Поддержка различных аппаратных архитектур x86/64 и IBM Power.

Какой тип масштабирования возможен в Arenadata DB и благодаря чему это достигается?

  • Массивно-параллельная архитектура без разделения ресурсов (shared nothing MPP).
  • Наличие нескольких сегмент-серверов.
  • Шардирование данных с обеспечением локальности исполнения запросов.

Благодаря чему обеспечивается отказоустойчивость Arenadata DB?

  • В архитектуре продукта есть резервный управляющий сервер.
  • Нативная отказоустойчивость без доработок ПО.

Какие интеграционные возможности есть у Arenadata DB?

  • Единая точка входа для SQL-запросов к компонентам сред, обеспечивающих хранение данных.
  • Инструменты для формирования федерации данных без увеличения времени доступа к данным. Должна обеспечиваться возможность подключения в федерацию любых источников данных, поддерживающих ODBC/JDBC-стандарты взаимодействия.
  • Наличие коннекторов к распространённому ПО: ClickHouse, Spark, Kafka.

Какие средства управления и мониторинга есть в Arenadata DB?

  • Система развёртывания и управления кластером (ADCM).
  • Встроенная система визуального мониторинга ключевых метрик СУБД (ADCM).
  • Встроенный журнал событий (ADCM) с указанием даты, пользователя, выполненной операции и длительности операции, в т. ч. журнала ошибок.
  • Инструмент мониторинга (ADCC) прогресса выполнения текущих запросов в реальном времени с возможностью просматривать исторические данные, план и этапы выполнения запросов.

Какие ОС поддерживаются?

Arenadata DB поддерживает Альт 8 СП Сервер, CentOS 7.7 – 7.9 / RHEL 7.7 – 7.9.

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

Получите консультацию от Arenadata

Хотите узнать больше о возможностях Arenadata DB или протестировать продукт? Заполните форму обратной связи. Вам ответят наши специалисты, готовые предоставить полноценную консультацию о том, чем наш продукт может быть полезен вашему бизнесу.
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.