Arenadata выпустила ADB 6 на базе Greenplum 6
12.11.2019
Компания Arenadata выпустила новую версию распределённой СУБД, использующей концепцию MPP - Arenadata DB 6 (ADB 6), основанной на недавнем релизе Greenplum 6.

Greenplum 6 стала результатом плодотворной двухлетней работы всех контрибьютеров проекта Greenplum, включая такие компании, как Pivotal, Arenadata, Alibaba Group. В свежую версию вошло много изменений, благодаря которым СУБД получила значительное количество новых возможностей. Они делают её эксплуатацию более гибкой и эффективной, а внедрение и расширение более быстрым.

Greenplum 6 основана на PostgreSQL версии 9.4 с большим количеством изменений из более свежих версий PostgreSQL, вплоть до PostgreSQL 11.

Наиболее значимые нововведения Greenplum 6 / ADB 6:
  • Replicated tables позволяет хранить относительно маленькие таблицы на всех сегментах, дублировать их для того, чтобы соединение с большими таблицами не приводило к перераспределению информации между сегментами. Теперь классические запросы хранилища данных - соединения таблиц фактов и справочников - работают намного быстрее.
  • Компрессия ZSTD. Это изменение привнесла команда Arenadata: мы отдали его в Open Source примерно 1,5 года назад, и теперь оно стало доступным для всех. ZSTD - алгоритм, разработанный компанией Facebook и имплементированный командой Arenadata, который обеспечивает почти в четыре раза более высокую производительность по сравнению с zlib. Благодаря новому типу компрессии мы повышаем производительность системы и понижаем её TCO за счёт того, что меньше потребляем ЦПУ и лучше сжимаем данные. Поэтому наши запросы работают быстрее, а данные занимают меньше места на дисках.
  • Новые параметры безопасности. Теперь можно ограничивать доступ непосредственно к столбцам в таблицах.
  • Поддержка JSONB. Это долгожданное дополнение для пользователей Greenplum, позволяющее более эффективно работать с объектами типа JSON.
  • Расширение auto_explain - ещё одно изменение авторства команды Arenadata. Мы доработали это расширение и ответную часть в Greenplum для того, чтобы его можно было там использовать в распределённом кластере ADB / Greenplum. Auto_explain позволяет автоматически собирать статистику по каждому запросу, который выполнен в базе, для дальнейшего анализа. Причём она достаточно глубокая: например, становится известно количество данных, которые обработал каждый этап запроса на каждом сегменте, объём потреблённых при этом ресурсов. В результате повышается прозрачность эксплуатации системы, благодаря чему растёт её надёжность и лёгкость разработки.
  • Расширение Diskquota. Оно создано для того, чтобы администраторы могли ограничивать пользователей и схемы по объёму данных. Теперь более предсказуемо можно задавать им пределы, за которые они не смогут выйти при заполнении таблиц данными.
  • Горизонтальное расширение Greenplum 6 / ADB 6 в новой версии делается быстрее и без downtime. В онлайне можно добавлять новые серверы в кластер, а фоновое перераспределение данных при этом будет потреблять меньше ресурсов и происходить быстрее, чем раньше. Это поможет гибче строить ландшафт и в кратчайшие сроки расширять хранилище данных под новые объёмы информации, что так важно для растущего в современных реалиях бизнеса.
Помимо нововведений, вошедших в Greenplum 6, Arenadata DB 6 порадует пользователей собственными изменениями. Среди них:
  • Tkhemali connector - коннектор для перегрузки данных из ADB в ClickHouse. Он позволяет невероятно быстро параллельно перегружать широкие витрины из ADB в ClickHouse. Этот коннектор доступен в составе нашего enterprise-пакета Arenadata DB.
  • Аналогичный по функционалу коннектор появился и для Kafka. Теперь можно параллельно как загружать данные в Kafka, так и забирать их оттуда в ADB. Причём, скорость взаимодействия повышается одновременно с ростом кластеров Kafka и Greenplum.
  • В ближайшее время выйдет первая версия Arenadata Command Center - это специальное приложение для администратора Arenadata DB, которое позволяет увидеть всю необходимую информацию по работающим запросам в режиме реального времени. И узнать, например, какие запросы работают сейчас, сколько они потребляют ресурсов и что происходило в прошлом.

«ADB 6 демонстрирует пользователям возросшую эффективность системы и, как следствие, сниженную TCO. Наша СУБД в новой версии работает быстрее и эффективнее, что положительно сказывается на стоимости её владения. Также она порадует расширенными интеграционными возможностями: архитекторы теперь могут из коробки собирать, как из кубиков Lego, свой data-ландшафт на базе Kafka, ClickHouse и Greenplum», - рассказал Дмитрий Павлов, директор по продуктам Arenadata.

Если вы хотите узнать больше о возможностях Arenadata DB 6 и Greenplum 6, свяжитесь с нашими менеджерами. Скачать бандл (пакет) для установщика ADCM можно в нашем Store. Для этого вам потребуется заполнить форму во всплывающем окне.