Arenadata официально представила облачную платформу Arenadata One

Arenadata представила Arenadata One (AD.One)— новую cloud-native-платформу для обработки и хранения данных. Она предназначена для работы в эластичной облачной инфраструктуре под управлением оркестратора Kubernetes® и совместима с объектным хранилищем на базе протокола S3. Платформа обеспечивает простоту масштабирования, гибкость управления и универсальность работы с данными различных форматов, сочетая как аналитическую, так и транзакционную нагрузку.

Согласно исследованиям Arenadata, в крупных компаниях аналитические СУБД простаивают 40–50% рабочего времени. Это связано с тем, что классические технологии для аналитических и транзакционных задач, размещённые на bare-metal для максимальной производительности при однородных спланированных нагрузках, требуют резервации оборудования в кластере при плавающих её пиках, что в свою очередь ведёт к простоям «железа» и увеличению стоимости владения системой хранения.

Arenadata One сочетает мультитенантную архитектуру с низким T2M (time-to-market) DBaaS-решения. Платформа обеспечивает изолированное обслуживание различных групп пользователей в рамках единой инфраструктуры, одновременно предлагая технологии в составе для быстрого развёртывания базы данных «по требованию». В модели DBaaS облачный провайдер берёт на себя управление инфраструктурой, настройкой, масштабированием и обслуживанием баз данных, предоставляя пользователям удобный доступ к сервису через API и веб-интерфейс. Примечательно, что DBaaS-функциональность доступна не только в публичном облаке, она может быть развёрнута и в приватной инфраструктуре заказчика. Это обеспечивает дополнительные выгоды при построении data-платформы.

«Arenadata One — это принципиально новый подход к инфраструктуре хранения в экономике данных при повсеместном внедрении технологий искусственного интеллекта и машинного обучения. Мы создали платформу, которая не просто решает текущие задачи заказчиков, но ориентирована на бизнес-вызовы завтрашнего дня. Arenadata One позволяет извлекать максимум выгоды из дорогостоящего актива данных, делая их реальным двигателем бизнеса — с минимальными простоями оборудования и глубоким анализом расходов на обработку и хранение, выводя экономику платформы данных на новый уровень. Это возможно благодаря доступным сценариям автомасштабирования, переиспользования вычислительных мощностей, хранения в едином унифицированном хранилище с поддержкой протокола S3, а также модели оплаты за используемые ресурсы облачного провайдера (pay-as-you-go) и аллокации затрат между структурными подразделениями компании, которые пользуются данными. Внедрение в бизнес новых технологий, таких как большие языковые модели (LLM), операции машинного обучения, промышленный интернет вещей, а также непрерывное увеличение стоимости владения данными требуют новых подходов к построению инфраструктуры хранения. Гибридная архитектура платформы Arenadata One даёт клиентам свободу выбора: развернуть ли всё в частном облаке, использовать облако провайдера или найти оптимальный баланс между различными типами размещения под свои задачи».

Сергей Жемжицкий

Заместитель технического директора Arenadata

AD.One решает такие задачи, как:

• построение Lakehouse;
• real-time-аналитика;
• хранение векторов и features;
• база данных по требованию.

Среди преимуществ Arenadata One:

• Архитектурное разделение Compute и Storage. Гибкий и максимально эффективный подход к утилизации аппаратных мощностей за счёт изоляции/разделения ресурсов и автомасштабирования Compute, в том числе scale-to-zero.
• Интегрированное cloud-native OLTP- и AI-хранилище. Горизонтально масштабируемые компоненты, использующие RAM и Disk для real-time-аналитики, хранения векторов и features.
• Снижение OpEx и CapEx. Уменьшение затрат на хранение и обработку данных, повышенная окупаемость инвестиций (ROI), снижение совокупной стоимости владения (TCO) и сокращение времени вывода продуктов на рынок (T2M).
• Multi-tier-архитектура. Механизм температурного хранения и обработки данных на основе приоритетов пользователей и требований бизнеса.
• Data Governance. Интегрированное средство управления моделью, качеством и связанностью данных, неотрывно связанное с Compute и Storage.
• Storage S3. Единый стандарт унифицированного хранения, который позволяет хранить данные и резервные копии в одном Storage с возможностью аналитики, в том числе над бэкапами.
• Hybrid Cloud. Сервис для построения гибридного облачного хранения, где часть Compute и Storage находится в инфраструктуре заказчика, а часть — у облачного провайдера.

Data-платформа Arenadata One объединяет в одной self-service консоли управления две взаимодополняющие версии: Arenadata One OLAP (Online Analytical Processing) Edition и Arenadata One OLTP (Online Transaction Processing) Edition.

Arenadata One OLAP Edition

Arenadata One OLAP Edition поддерживает широкий спектр аналитических задач:

• Интерактивный анализ данных и регулярная отчётность.
• Полный цикл Data Science — от экспериментов до промышленного ML.
• Федеративные запросы к распределённым источникам.
• Предиктивное моделирование и риск-аналитика.
• Построение сложных финансовых моделей.
• Обработка высоконагруженных аналитических workloads.

Преимущества OLAP-версии:

• Упрощённая работа с аналитикой в едином окружении за счёт связанности всех компонентов платформы с минимумом ручных настроек.
• Быстрый запуск и масштабируемость — автоматизация с помощью Kuberneter® Operator и управление всей системой из единой консоли.
• Повышенная безопасность — внедрённая авторизация для Apache Ranger® и расширенный мониторинг.
• Бесшовная интеграция всех компонентов системы, настроенных на совместную работу «из коробки».

Технологическая основа Arenadata One OLAP Edition

Вычислительные ядра:

• Apache Spark® — универсальный движок для обработки данных, машинного обучения и ETL;
• Apache Impala® — высокопроизводительный MPP-движок для SQL-аналитики Big Data.

Инструменты интеграции:

• Trino — федеративные запросы к гетерогенным источникам;
• Apache Airflow® — оркестрация сложных data-pipeline;
• Apache Kafka® — потоковая обработка событий в реальном времени;
• Apache Flink® — сложные stateful-преобразования потоковых данных.

Каждая технология подобрана для решения конкретных задач в рамках единой платформы, обеспечивая максимальную производительность, гибкость архитектуры, открытость экосистемы и масштабируемость решений, и является открытым программным обеспечением.

Arenadata One OLTP Edition

В основе Arenadata One OLTP Edition лежат технологии Neon и Picodata.

Neon — serverless-реализация PostgreSQL, созданная для работы в эластичных облачных средах как полностью управляемый сервис. Сохраняет полную совместимость с «ванильной» версией PostgreSQL.

Среди функциональных возможностей Neon — динамическое автомасштабирование ресурсов, функция scale-to-zero для экономии ресурсов, ветвление (branching) данных, в частности для оптимизации процессов CI/CD, централизованное управление экземплярами Postgres через единый UI-интерфейс, поддержка Postgres Extensions для работы с векторными данными и features.

Picodata— система распределённых вычислений в оперативной памяти, которая помогает реализовать real-time-сценарии обработки данных, включая горячее хранение векторов и features для работы с большими языковыми моделями (LLM), а также токенизацию чувствительных данных, в том числе для соблюдений требований № 152-ФЗ при работе с персональными данными в гибридных архитектурах.

Также в планах — реализация собственной технологии Multitiering Data Migration для миграции данных между системами с разной производительностью и температурой хранения, позволяющей прогревать и обеспечить быстрый доступ к данным.

Сценарии использования:

• Анализ данных: real-time-аналитика, витрины данных, поведенческая аналитика, сбор и анализ телеметрии, база данных по требованию.
• Хранение векторов и features для AI: Copilot's, AI & RAG чат-боты, семантический и гибридный поиск, и др.

Платформа имеет интегрированные средства мониторинга, оркестрации, а также управления данными для реализации концепции Data Governance. Повышенное внимание уделено информационной безопасности при работе с данными — ролевая модель позволяет настраивать права доступа на уровнях строчек и столбцов, есть встроенные средства авторизации и аутентификации, интеграция с популярными SIEM-системами.

Arenadata One полностью готова к коммерческому старту.