Arenadata DB

Хранилище данных, которое будет расти вместе с вами

С Arenadata DB (ADB) вы построите надёжное, масштабируемое корпоративное хранилище данных.

Arenadata DB (ADB)— аналитическая СУБД

Arenadata DB (ADB) — аналитическая, распределённая СУБД, построенная на MPP-системе с открытым исходным кодом Greenplum. Она предназначена для хранения и обработки больших объёмов информации — до десятков петабайт. С Arenadata DB вы построете надёжное, масштабируемое корпоративное хранилище данных, которое будет расти вместе с вашими потребностями.

Распределённая СУБД для амбициозных задач

Arenadata DB реализована на кластере из множества (от двух до сотен) серверов и равномерно распределяет нагрузку и данные между ними. Пользователю даже не обязательно знать, сколько именно и каких серверов используется. Достаточно работать с ADB как с обычной не кластерной системой.

Архитектура ADB

Seg_N – сегмент, Mir_N – зеркальный сегмент
Калькулятор оборудования
Рассчитайте необходимое количество серверов заданной конфигурации для хранения и обработки указанного объема пользовательских данных в Arenadata DB/Greenplum.

Arenadata DB позаботится о вашем бизнесе

ADB прекрасно справляется с задачами построения корпоративного хранилища данных (КХД), аналитики с помощью BI-инструментов, AD-HOC запросов и data science уровня предприятия. По мере роста объёма данных вы просто добавляете новые сервера в кластер — обо всём остальном ADB позаботится сама.
получить предложение

Наиболее эффективные области применения нашей СУБД — это:

  • Сложные запросы, обрабатывающие большие объёмы данных, в том числе сложные аналитические функции (включая аналитику поведения пользователей);
  • Любые типы отчётности (операционная, управленческая, обязательная регуляторная);
  • Глубокий AD-HOC анализ;
  • Эффективное соединение больших таблиц;
  • Работа систем маркетинговых кампаний и систем лояльности;
  • Различный скоринг;
  • Предсказательная аналитика (спрос, остатки).


Решаемые задачи с Arenadata DB

Корпоративные хранилища больших данных
Разгрузка инженерных систем
Аналитика от BI до AI
Корпоративные хранилища больших данных
  • Классические КХД и хранилища больших данных с обновлением в реальном и околореальном времени.
  • Виртуализация и федерация данных, доступ ко всем данным через единое окно с помощью SQL-запросов.
Разгрузка инженерных систем
  • Импортозамещающие ПАК на базе Arenadata DB и Arenadata QuickMarts.
  • Возможно добиться снижения сложности эксплуатации озера данных путем миграции с Hadoop на Arenadata DB.
  • Прозрачная методика перехода, минимум рисков и сохранение всех преимуществ.
Аналитика от BI до AI
  • Интеграция с любыми BI-системами, cовместимыми с JDBC/ODBC.
  • Возможность быстрого развёртывания и сворачивания зон «песочниц» для пилотных проектов и проверки статистических гипотез.
  • Работа со всеми аналитическими инструментами

Arenadata — второй в мире контрибьютор Greenplum Database

Arenadata — один из крупнейших коммитеров, развивающих международный проект аналитической СУБД Greenplum. В 2019 году по числу коммитов в него мы стали вторыми в мире, опередив китайского гиганта Alibaba Group.

Ключевые преимущества Arenadata DB

скачать сейчас
Совместимость
 
ADB на 100% совместима со всем ПО, которое работает с PostgreSQL. Ваш любимый BI, средства разработки, ETL — всё это уже поддерживает ADB прямо из коробки. А стандарт SQL ANSI 2008 хорошо знаком огромному числу разработчиков по всему миру.
Консистентность
 
Полное соответствие принципам строгой изоляции транзакции (принципы ACID). Одни и те же таблицы могут быть использованы для записи и чтения, без страха потерять данные.
Data Science уровня предприятие
 
Для того чтобы использовать возможности Data Science при решении задач вашей компании, мало просто писать хороший код и строить правильные модели. Их необходимо прозрачно и безопасно встроить в процессы загрузки и преобразования данных. ADB даёт вам все необходимые для этого инструменты — библиотека MADLIB позволяет включить расчёт и выполнение моделей прямо в существующий ETL/ELT процесс.
Простота управления
 
Эксплуатация ADB для администраторов не намного сложнее, чем работа с обычной PostgreSQL, а продвинутая консоль управления поможет выполнять текущие задачи быстрей и предсказуемей, а значит, безопасней.
Мониторинг
 
Мы знаем, насколько важно полагаться на доступность своих данных 24/7, поэтому включили в пакет с нашей СУБД ПО мониторинга — Graphite и Grafana. В любой момент вы сможете узнать, что происходит с кластером. А благодаря развитой системе алертов получите возможность избежать большинства инцидентов.
Интеграция
 
Для системы обработки данных критична возможность масштабирования не только вычислительных ресурсов, но и каналов загрузки и выгрузки данных. ADB предоставляет набор коннекторов для параллельной загрузки и выгрузки данных из сторонних систем (Kafka, ClickHouse, Hadoop), что существенно упрощает процесс интеграции с источниками данных и аналитическими системами.
Инфраструктура
 
Может быть размещена в вашем ЦОДе, на виртуальных машинах, в частных и публичных облаках. Никакого vendor lock-in: нет привязки к вендору или специфическому оборудованию.

Интеграция с внешними источниками данных

Одно из важнейших качеств аналитической СУБД — гибкость и производительность при обмене данными с внешними системами. В ADB реализован протокол параллельного обмена данными со сторонними системами — PXF (Platform eXtension Framework), который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Если система-источник также представляет собой кластер, то можно использовать кластерное взаимодействие с обеих сторон, что позволяет повысить производительность, причём скорость взаимодействия будет расти по мере расширения кластеров. Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3.

Данные под надёжной защитой с Arenadata DB

Безопасность данных
Резервирование

Безопасность в ADB достигается путём шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного цикла. Кроме этого, все внутренние взаимодействия компонентов СУБД ADB (сегменты, зеркала и мастера) также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера, — зашифрованы с помощью ключей PGP (на уровне таблиц, либо колонок в таблицах). Всё это позволяет исключить ситуации нахождения данных в незашифрованном виде.

Разграничения зон видимости данных и прав доступа обеспечивается благодаря ролевой модели доступа (Role Based Access Control, RBAC), позволяющей реализовать гибкие, изменяющиеся динамически в процессе функционирования платформы хранения и обработки данных, правила разграничения доступа. Так, например, можно создать схемы ограничения доступа к таблицам и другим объектам СУБД, а также к строкам и столбцам отдельных таблиц.

Гибкая система резервирования позволяет установить и настроить кластер с заранее заданным уровнем отказоустойчивости, позволяя СУБД работать даже при выходе из строя половины серверов из кластера. А большой выбор стратегий хранения данных в ADB обеспечивает необходимую производительность на всех этапах жизненного цикла данных — от получения новых онлайн-данных, хранения основных данных с разным уровнем компрессии до экспорта архивных данных в кластер Hadoop.

Российское программное обеспечение

Отсутствие валютных рисков – цены в рублях
Центры разработки в РФ – Москва, Санкт-Петербург, Хабаровск
Поддержка, документация и учебные курсы на русском языке

ADB as a Service

Мы не ограничиваем наших клиентов в выборе типа инфраструктуры: ADB одинаково эффективно будет работать как на bare-metal, так и в облаке. Вы можете воспользоваться востребованным сегодня сценарием — гибридной ИТ-инфраструктурой или Multi-clouds, а также PaaS-версией Arenadata DB у наших партнёров.
Выберите облачного провайдера:
Получить предложение

Нет времени думать, где разместить продукт и кто будет его администрировать?

Предоставьте это нам. С технической поддержкой от Arenadata вы просто используете продукт для решения бизнес-задач, а о необходимом оборудовании, задачах эксплуатации, бекапирования и администрирования позаботятся наши высококвалифицированные специалисты.

FAQ

Чем Arenadata DB отличается от ванильного Greenplum?

У нас есть мониторинг, средства управления и расширения, компрессия zstandard, полиморфное хранение данных, Command Center.

Какие отличия в редакциях Community и Enterprise?

Смотрите сравнительную таблицу:

Функционал Greenplum Open Source ADB Community Edition ADB Enterprise Edition
Core DB + + +
ZSTD + + +
PXF Predicate Pushdown +/- + +
Коннектор ADS (Kafka) -> ADB +
Коннектор ADB -> ADQM (ClickHouse) +
Коннектор ADB Hadoop + + +
Коннектор ADB JDBC + + +
Jsonb + + +
Command Center (ADCC, running queries monitoring, resource management, etc) +
Expansion wizard + +
Offline installation + +
Monitoring & Alerting + +
Deploy and upgrade automation + +
Backup storage system Q4 2020
Advanced DBA RBAC control (for ADCM, ADCC and backups) +
Education trainings + +

Где я могу найти документацию по Greenplum?

Ознакомиться с документацией к СУБД Greenplum можно здесь.

Как шардируются данные по серверам?

Таблицы по серверам распределяются случайным образом. Это происходит по умолчанию, а в работе каждого запроса используются все сегменты. Создавая таблицу, у вас есть возможность указать ключ её распределения по серверам — это может быть одно или несколько полей. Тогда все соединения с таблицей по указанным полям будут происходить быстрее. С более подробной информацией можно ознакомиться здесь.

Поддерживается ли колоночное хранение?

Осуществляется строковое и колоночное хранение данных в таблицах. Последнее актуально для аналитической нагрузки. Также пользователи могут создавать полиморфные таблицы — это гибридный формат, при котором данные (патриции) хранятся и строково, и колоночно. Вот ссылка на информацию об этом.

Поддерживается ли сжатие?

Да. Arenadata рекомендует алгоритм сжатия ZSTD уровня 1, но также поддерживаются ZLIB, RLE. Применить сжатие можно на таблицу, партицию и отдельный столбец.

Какие стандарты поддерживает СУБД?

Arenadata DB является ANSI SQL-совместимой системой. Подробнее об этом здесь.

Совместим ли синтаксис и протокол с PostgreSQL?

Совместим примерно на 95%. Поскольку с ADB работает всё ПО, работающее с PostgreSQL, вы можете использовать стандартные PostgreSQL драйвера (JDBC, ODBC). Почитать о совместимости с PostgreSQL можно здесь.

Есть ли транзакции?

Есть, это ACID-система, а уровень изоляции транзакций — Serializable.

Есть ли проекции и индексы?

Мы используем три типа индексов и материализованные представления.

Какие процедурные языки поддерживаются?

SQL (PLpg/SQL), Python, R, Java, Perl.

Как правильно загружать данные в СУБД?

Через стандартный PostgreSQL-интерфейс (например, JDBC или ODBC) можно загрузить небольшие объёмы данных. Если речь идёт о больших объёмах, то тут лучше использовать загрузчик GPFDIST, отправляющий данные в СУБД параллельно. Подробности здесь.

Какой максимальный объём данных можно хранить в СУБД?

Ограничений по объёму данных в СУБД практически нет. Информацию по лимиту объёма данных в таблицах, строках и полях можно получить из таблицы:

Dimension Limit
Maximum size for a database?/td> unlimited
Maximum size of a table? unlimited, 128 TB per partition per segment
Maximum size for a row? >1 GB (approximate)
Maximum size of a field? 1 GB
Maximum BLOB size 1 GB (Use BYTEA datatype, we don’t have BLOB)
Maximum number of rows in a table? 2^48
Maximum number of columns in a table? 1600
Maximum number of indexes on a table? unlimited
Maximum number of databases/users unlimited
Maximum number of tables per database 4200 million
Maximum number of columns per View 1664
Maximum length of column/table/database name 63
Maximum number of columns per index unlimited
Maximum number of table level constraints per table unlimited
Maximum active concurrent transactions unlimited
Maximum data format descriptor size 63 characters
Maximum database, user, base table, view, index, trigger, stored procedure, UDF, UDT, constraint or column name size. 63 characters
Maximum sessions per parsing engine No concept of parsing engine other than masterDB node. No fixed limit, up to a few hundred.
Maximum columns per primary and secondary index 32

Какие технические характеристики у Arenadata DB?

Смотрите таблицу ниже:

Технические характеристики

Объёмы хранения данных от 300 ГБ до 25 ПБ
Минимальное количество машин в кластере 4
Максимальное количество машин в кластере Не менее 200
Стандарт SQL ANSI SQL 2008
Диалект SQL PostgreSQL
Ориентация таблиц Колоночная и строковая
Максимальный размер таблицы Неограничен
Максимальный размер строки Не менее 1 ГБ
Максимальный размер одного значения 1 ГБ
Максимальное количество строк в одной таблице 248
Максимальное количество столбцов в таблице 1600
Встроенные языки для PL-функций Python, R, Java
Библиотека Data Science MADLIB Присутствует
Расширение для работы с ГЕО-данными POSTGIS Присутствует
Фактор репликации данных 2

Спасибо, что написали нам

Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.

Получите консультацию от Arenadata

Хотите узнать больше о возможностях Arenadata DB или протестировать продукт? Заполните форму обратной связи. Вам ответят наши специалисты, готовые предоставить полноценную консультацию о том, чем наш продукт может быть полезен вашему бизнесу.
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.