Arenadata выпустила ADB 6 на базе Greenplum 6

Greenplum 6 стала результатом плодотворной двухлетней работы всех контрибьютеров проекта Greenplum, включая такие компании, как Pivotal, Arenadata, Alibaba Group. В свежую версию вошло много изменений, благодаря которым СУБД получила значительное количество новых возможностей. Они делают её эксплуатацию более гибкой и эффективной, а внедрение и расширение более быстрым.

Greenplum 6 основана на PostgreSQL версии 9.4 с большим количеством изменений из более свежих версий PostgreSQL, вплоть до PostgreSQL 11.

Наиболее значимые нововведения Greenplum 6 / ADB 6:

• Replicated tables позволяет хранить относительно маленькие таблицы на всех сегментах, дублировать их для того, чтобы соединение с большими таблицами не приводило к перераспределению информации между сегментами. Теперь классические запросы хранилища данных – соединения таблиц фактов и справочников – работают намного быстрее.
• Компрессия ZSTD. Это изменение привнесла команда Arenadata: мы отдали его в Open Source примерно 1,5 года назад, и теперь оно стало доступным для всех. ZSTD – алгоритм, разработанный компанией Facebook и имплементированный командой Arenadata, который обеспечивает почти в четыре раза более высокую производительность по сравнению с zlib. Благодаря новому типу компрессии мы повышаем производительность системы и понижаем её TCO за счёт того, что меньше потребляем ЦПУ и лучше сжимаем данные. Поэтому наши запросы работают быстрее, а данные занимают меньше места на дисках.
• Новые параметры безопасности. Теперь можно ограничивать доступ непосредственно к столбцам в таблицах.
• Поддержка JSONB. Это долгожданное дополнение для пользователей Greenplum, позволяющее более эффективно работать с объектами типа JSON.
• Расширение auto_explain – ещё одно изменение авторства команды Arenadata. Мы доработали это расширение и ответную часть в Greenplum для того, чтобы его можно было там использовать в распределённом кластере ADB / Greenplum. Auto_explain позволяет автоматически собирать статистику по каждому запросу, который выполнен в базе, для дальнейшего анализа. Причём она достаточно глубокая: например, становится известно количество данных, которые обработал каждый этап запроса на каждом сегменте, объём потреблённых при этом ресурсов. В результате повышается прозрачность эксплуатации системы, благодаря чему растёт её надёжность и лёгкость разработки.
• Расширение Diskquota. Оно создано для того, чтобы администраторы могли ограничивать пользователей и схемы по объёму данных. Теперь более предсказуемо можно задавать им пределы, за которые они не смогут выйти при заполнении таблиц данными.
• Горизонтальное расширение Greenplum 6 / ADB 6 в новой версии делается быстрее и без downtime. В онлайне можно добавлять новые серверы в кластер, а фоновое перераспределение данных при этом будет потреблять меньше ресурсов и происходить быстрее, чем раньше. Это поможет гибче строить ландшафт и в кратчайшие сроки расширять хранилище данных под новые объёмы информации, что так важно для растущего в современных реалиях бизнеса.

Помимо нововведений, вошедших в Greenplum 6, Arenadata DB 6 порадует пользователей собственными изменениями. Среди них:

• Tkhemali connector – коннектор для перегрузки данных из ADB в ClickHouse. Он позволяет невероятно быстро параллельно перегружать широкие витрины из ADB в ClickHouse. Этот коннектор доступен в составе нашего enterprise-пакета Arenadata DB.
• Аналогичный по функционалу коннектор появился и для Kafka. Теперь можно параллельно как загружать данные в Kafka, так и забирать их оттуда в ADB. Причём, скорость взаимодействия повышается одновременно с ростом кластеров Kafka и Greenplum.
• В ближайшее время выйдет первая версия Arenadata Command Center – это специальное приложение для администратора Arenadata DB, которое позволяет увидеть всю необходимую информацию по работающим запросам в режиме реального времени. И узнать, например, какие запросы работают сейчас, сколько они потребляют ресурсов и что происходило в прошлом.

Если вы хотите узнать больше о возможностях Arenadata DB 6 и Greenplum 6, свяжитесь с нашими менеджерами. Скачать бандл (пакет) для установщика ADCM можно в нашем Store после заполнения формы во всплывающем окне.