Согласно исследованиям Arenadata, в крупных компаниях аналитические СУБД простаивают 40–50% рабочего времени. Это связано с тем, что классические технологии для аналитических и транзакционных задач, размещённые на bare-metal для максимальной производительности при однородных спланированных нагрузках, требуют резервации оборудования в кластере при плавающих её пиках, что в свою очередь ведёт к простоям «железа» и увеличению стоимости владения системой хранения.
Arenadata One сочетает мультитенантную архитектуру с низким T2M (time-to-market) DBaaS-решения. Платформа обеспечивает изолированное обслуживание различных групп пользователей в рамках единой инфраструктуры, одновременно предлагая технологии в составе для быстрого развёртывания базы данных «по требованию». В модели DBaaS облачный провайдер берёт на себя управление инфраструктурой, настройкой, масштабированием и обслуживанием баз данных, предоставляя пользователям удобный доступ к сервису через API и веб-интерфейс. Примечательно, что DBaaS-функциональность доступна не только в публичном облаке, она может быть развёрнута и в приватной инфраструктуре заказчика. Это обеспечивает дополнительные выгоды при построении data-платформы.
«Arenadata One — это принципиально новый подход к инфраструктуре хранения в экономике данных при повсеместном внедрении технологий искусственного интеллекта и машинного обучения. Мы создали платформу, которая не просто решает текущие задачи заказчиков, но ориентирована на бизнес-вызовы завтрашнего дня. Arenadata One позволяет извлекать максимум выгоды из дорогостоящего актива данных, делая их реальным двигателем бизнеса — с минимальными простоями оборудования и глубоким анализом расходов на обработку и хранение, выводя экономику платформы данных на новый уровень. Это возможно благодаря доступным сценариям автомасштабирования, переиспользования вычислительных мощностей, хранения в едином унифицированном хранилище с поддержкой протокола S3, а также модели оплаты за используемые ресурсы облачного провайдера (pay-as-you-go) и аллокации затрат между структурными подразделениями компании, которые пользуются данными. Внедрение в бизнес новых технологий, таких как большие языковые модели (LLM), операции машинного обучения, промышленный интернет вещей, а также непрерывное увеличение стоимости владения данными требуют новых подходов к построению инфраструктуры хранения. Гибридная архитектура платформы Arenadata One даёт клиентам свободу выбора: развернуть ли всё в частном облаке, использовать облако провайдера или найти оптимальный баланс между различными типами размещения под свои задачи», — отметил Александр Виноградов, директор бизнес-направления облачных продуктов Arenadata.
AD.One решает такие задачи, как:
- построение Lakehouse;
- real-time-аналитика;
- хранение векторов и features;
- база данных по требованию.
Среди преимуществ Arenadata One:
- Архитектурное разделение Compute и Storage. Гибкий и максимально эффективный подход к утилизации аппаратных мощностей за счёт изоляции/разделения ресурсов и автомасштабирования Compute, в том числе scale-to-zero.
- Интегрированное cloud-native OLTP- и AI-хранилище. Горизонтально масштабируемые компоненты, использующие RAM и Disk для real-time-аналитики, хранения векторов и features.
- Снижение OpEx и CapEx. Уменьшение затрат на хранение и обработку данных, повышенная окупаемость инвестиций (ROI), снижение совокупной стоимости владения (TCO) и сокращение времени вывода продуктов на рынок (T2M).
- Multi-tier-архитектура. Механизм температурного хранения и обработки данных на основе приоритетов пользователей и требований бизнеса.
- Data Governance. Интегрированное средство управления моделью, качеством и связанностью данных, неотрывно связанное с Compute и Storage.
- Storage S3. Единый стандарт унифицированного хранения, который позволяет хранить данные и резервные копии в одном Storage с возможностью аналитики, в том числе над бэкапами.
- Hybrid Cloud. Сервис для построения гибридного облачного хранения, где часть Compute и Storage находится в инфраструктуре заказчика, а часть — у облачного провайдера.
Data-платформа Arenadata One объединяет в одной self-service консоли управления две взаимодополняющие версии: Arenadata One OLAP (Online Analytical Processing) Edition и Arenadata One OLTP (Online Transaction Processing) Edition.
Arenadata One OLAP Edition
Arenadata One OLAP Edition поддерживает широкий спектр аналитических задач:
- Интерактивный анализ данных и регулярная отчётность.
- Полный цикл Data Science — от экспериментов до промышленного ML.
- Федеративные запросы к распределённым источникам.
- Предиктивное моделирование и риск-аналитика.
- Построение сложных финансовых моделей.
- Обработка высоконагруженных аналитических workloads.
Преимущества OLAP-версии:
- Упрощённая работа с аналитикой в едином окружении за счёт связанности всех компонентов платформы с минимумом ручных настроек.
- Быстрый запуск и масштабируемость — автоматизация с помощью Kuberneter® Operator и управление всей системой из единой консоли.
- Повышенная безопасность — внедрённая авторизация для Apache Ranger® и расширенный мониторинг.
- Бесшовная интеграция всех компонентов системы, настроенных на совместную работу «из коробки».
Технологическая основа Arenadata One OLAP Edition
Вычислительные ядра:
- Apache Spark® — универсальный движок для обработки данных, машинного обучения и ETL;
- Apache Impala® — высокопроизводительный MPP-движок для SQL-аналитики Big Data.
Инструменты интеграции:
- Trino — федеративные запросы к гетерогенным источникам;
- Apache Airflow® — оркестрация сложных data-pipeline;
- Apache Kafka® — потоковая обработка событий в реальном времени;
- Apache Flink® — сложные stateful-преобразования потоковых данных.
Каждая технология подобрана для решения конкретных задач в рамках единой платформы, обеспечивая максимальную производительность, гибкость архитектуры, открытость экосистемы и масштабируемость решений, и является открытым программным обеспечением.
Arenadata One OLTP Edition
В основе Arenadata One OLTP Edition лежат технологии Neon и Picodata.
Neon — serverless-реализация PostgreSQL, созданная для работы в эластичных облачных средах как полностью управляемый сервис. Сохраняет полную совместимость с «ванильной» версией PostgreSQL.
Среди функциональных возможностей Neon — динамическое автомасштабирование ресурсов, функция scale-to-zero для экономии ресурсов, ветвление (branching) данных, в частности для оптимизации процессов CI/CD, централизованное управление экземплярами Postgres через единый UI-интерфейс, поддержка Postgres Extensions для работы с векторными данными и features.
Picodata — система распределённых вычислений в оперативной памяти, которая помогает реализовать real-time-сценарии обработки данных, включая горячее хранение векторов и features для работы с большими языковыми моделями (LLM), а также токенизацию чувствительных данных, в том числе для соблюдений требований № 152-ФЗ при работе с персональными данными в гибридных архитектурах.
Также в планах — реализация собственной технологии Multitiering Data Migration для миграции данных между системами с разной производительностью и температурой хранения, позволяющей прогревать и обеспечить быстрый доступ к данным.
Сценарии использования:
- Анализ данных: real-time-аналитика, витрины данных, поведенческая аналитика, сбор и анализ телеметрии, база данных по требованию.
- Хранение векторов и features для AI: Copilot’s, AI & RAG чат-боты, семантический и гибридный поиск, и др.
Платформа имеет интегрированные средства мониторинга, оркестрации, а также управления данными для реализации концепции Data Governance. Повышенное внимание уделено информационной безопасности при работе с данными — ролевая модель позволяет настраивать права доступа на уровнях строчек и столбцов, есть встроенные средства авторизации и аутентификации, интеграция с популярными SIEM-системами.
Arenadata One полностью готова к коммерческому старту.