Автоматизация процессов построения и миграции хранилищ данных на базе СУБД Arenadata DB
KORE.DWH – это решение с открытым исходным кодом
для автоматизации процессов построения и миграции хранилищ данных на базе СУБД
Arenadata DB (Greenplum), которое может быть использовано в рамках проектов по импортозамещению.
Отныне бизнес-пользователям можно сконцентрироваться на постановке задач, при этом, имея гибкий
инструмент интеграции с возможностью написания свободных трансформаций (кода), что приводит к
кардинальному снижению time-to-market решений/прототипов. При этом полностью поддерживается
параллельная работа с mpp-платформами, работа со слоями данных, историчностью и версионностью.
Целью создания решения явились следующие глобальные задачи:
Сокращение затрат времени на внедрение и
разработку
Снижение издержек
Высокая доступность
Решение предоставляет готовые инструменты для решения
следующих задач:
Сервисы управляющего механизма выполняют следующие функции:
Сокращение затрат времени на внедрение и
разработку
DevOps-конвейер для всего цикла работы с хранилищем – от моделирования до
эксплуатации
использование подхода Low-Code Development при разработке
механизмы кодогенерации по метаданным
унифицированные процессы загрузки данных, библиотеки типовых трансформаций и шаблонов
ETL-процессов
набор сервисов для координации потоков данных, формируемых средствами библиотек
(управляющий механизм)
пакет проектных решений, включая подходы к построению архитектуры хранилища, архитектуру
данных, модели данных детальных слоев и витрин, а также алгоритмы типовых процессов
Снижение издержек
использование программного обеспечения с открытым исходным кодом
модульная архитектура
наличие встроенных инструментов управления и мониторинга
стандартизированные процессы
Возможность интеграции серверного решения с визуальными средствами проектирования
Высокая доступность
возможность отката решения в предыдущие состояния в любой момент времени
поддержка MPP-архитектуры на базе программного обеспечения Arenadata DB и Arenadata
Hadoop
Решение предоставляет готовые инструменты для
решения следующих задач:
извлечение данных из различных источников
трансформация и приведение полученных данных к единой логической модели в
соответствии с методологией Data Vault 2.0 (с дополнениями и улучшениями)
загрузка данных в хранилище и формирование на их основе детальных данных согласно
требованиям бизнес-модели
построение прикладных витрин данных для реализации конкретных бизнес-задач и
предоставление доступа к ним бизнес-пользователям и информационным системам
Сервисы управляющего механизма выполняют следующие
функции:
управление загрузками данных в хранилище
модификация структуры хранилища и сохранение его в целостном виде
организация резервного копирования данных и восстановления после сбоев
Решения партнёров
Arenadata DB Cloud от VK Cloud Solutions
Arenadata DB как услуга позволяет за минуты развернуть базу данных для Big Data, не строя свою инфраструктуру и не занимаясь ее поддержкой.
Arenadata DB в облаке КРОК в качестве основы для работы бизнес-приложений даёт возможность клиентам сократить затраты на вычислительную инфраструктуру и быстрее развернуть сервис для анализа больших данных.
Автоматизация работы с расчетными показателями с помощью Near real time (NRT) фреймворка К2Тех
NRT-фреймворк – собственная разработка К2Тех. Приложение предназначено для автоматического расчета любого количества показателей в режиме, близком к реальному времени за счет введения нужной формулы в интерфейс.
Автоматическая загрузка данных в хранилище с помощью ELT-фреймворка
ELT-фреймворк К2Тех, построенные на базе компонент Arenadata DB, позволяет декомпозировать процесс разработки, строить надежную систему загрузки данных и ускоряет процесс работ с данными.
Платформа быстрой аналитики на больших данных для руководителей. Помогает оперативно принимать управленческие решения на основе выверенной, точной и быстро предоставленной информации, в сжатом, удобном, визуальном виде.
Аналитическая платформа Visiology позволяет быстро и эффективно решать задачи сбора больших объемов разнородных данных, обработки их с применением математических методов анализа и визуализации на любых дисплеях.
Готовые к работе «из коробки» машины обработки больших данных, разработанные СКАЛА-Р призваны стать основным инструментов анализа «озёр», «морей» и «океанов» информации.
Для работы современных решений в области аналитики и ML требуется продвинутая MLOps-инфраструктура. Решение Rubbles MLOps Suite выполняет ключевые функции MLOps-платформы: от подготовки данных до продуктивной эксплуатации моделей машинного обучения.
Промышленная аналитика от К2Тех на базе решений Arenadata
С помощью промышленной аналитической платформы К2Тех анализируйте и управляйте производственными процессами предприятия и сокращайте затраты от потерь благодаря своевременному реагированию на отклонения.
Система маскировки данных от НОРБИТ — изменение (маскировка) кода или текста программы без утраты функциональности. Решение помогает защитить данные, не допустить их утечку, а также безопасно передавать и хранить их.
Регулирование качества данных при объединении организационной культуры и создании технических решений приводит к получению более чётких и полезных результатов для бизнеса. Система управления качеством данных от НОРБИТ помогает бизнесу повысить эффективность и результативность.
