Proplum

ETL-фреймворк Proplum оперативно загружает данные в Arenadata DB, автоматизирует вычисления и рутинные операции.

Проверено Arenadata

Замещает иностранные продукты:

SAP Data Services
Informatica Power Center
SAP BW

Proplum — open-source фреймворк от Sapiens Solutions для автоматизации загрузки данных и расчётов в Arenadata DB. ETL-инструмент позволяет загружать данные в хранилище за короткие сроки. Выполняет вычисления для целевых витрин и автоматизирует ряд других рутинных операций. Внедрение занимает один день.

Кому будет полезно:

Proplum будет особенно полезен организациям из таких отраслей, как финансы и ритейл, если они планируют использовать хранилище Arenadata DB в рамках пилотного проекта или перехода на отечественное программное обеспечение. Фреймворк Proplum станет незаменимым помощником как на этапе внедрения, обеспечивая быстрое и удобное начало работы с данными, так и в качестве постоянного инструмента для автоматизации ETL-задач, упрощая процессы загрузки и трансформации данных.

Типовые сценарии использования

Интеграция хранилища данных на базе ADB с разнородными источниками данных

Организация ETL/ELT процессов в хранилище (из внешних систем и внутренние расчёты)

Систематизация разработок в хранилище данных на базе ADB

Автоматизация процессов разработки и переноса артефактов

Бизнес-преимущества

Снизить трудозатраты на миграцию за счёт автоматизации до 60% операций

Оптимизировать расходы на оплату труда за счёт привлечения менее дорогостоящих специалистов, так как для работы с фреймворком не требуется высокий уровень квалификации

Сократить time-to-market или даже сделать незаметным переход к другому КХД для пользователей

Сэкономить — фреймворк Proplum бесплатен и выложен в open source

Технические особенности

  • За счёт простоты установки и настройки фреймворк не требует дополнительных трудозатрат на внедрение, вся установка займёт один час
  • Фреймворк учитывает особенности базы данных Arenadata DB, позволяет в автоматическом режиме добавлять партиции и учитывать распределение таблиц
  • Доступен режим дельта-загрузок без дополнительного ПО
  • За счёт открытого кода фреймворк просто дорабатывается под конкретные задачи
  • Нет зависимости от выбранной модели хранилища данных и поддерживается наполнение любых слоёв хранилища данных
  • Поддерживает логирование и отображение статуса загрузки в режиме реального времени. За счёт открытого кода фреймворк просто дорабатывается под конкретные задачи
  • Для начала работы не нужно писать код — всё уже готово.

Хотите получить консультацию по решению?

Да, хочу
× Fullscreen

Дополнительная информация

Состав фреймворка:

  • Уровень БД – набор функций на языке plpgsql, таблицы с настройками
  • Уровень оркестрации – набор python-модулей для генерации DAG-ов Apache Airflow
Доступные варианты экстракции данных: полная (FULL), изменения (DELTA), интервал дат (PARTITION).

Доступные варианты обновления данных в целевой таблице: полная (FULL), вставка изменений (DELTA), обновление изменённых записей (DELTA_UPSERT, DELTA_MERGE), перегрузка интервала дат (PARTITION), обновление интервала дат (UPDATE_PARTITION).

Концепция работы
Оркестрация загрузок осуществляется автоматически генерируемыми DAGs Apache Airflow. Если вы хотите начать пользоваться хранилищем Arenadata DB в рамках пилотного проекта или миграции на отечественное ПО, то фреймворк Proplum — незаменимый помощник как на начальном этапе, так и в качестве постоянного инструмента для решения задач ETL.

Решение создано совместно с партнёром Sapiens solutions


Sapiens Solutions — это команда профессионалов, специализирующихся на разработке аналитических платформ, систем хранения данных, отчётности, а также систем планирования и прогнозирования. Основанная в 2012 году группой экспертов, компания успешно реализовала более 80 проектов, связанных с проектированием, внедрением и поддержкой корпоративных хранилищ данных и систем отчётности, используя как проприетарные, так и открытые технологии, такие как SAP, Greenplum, Clickhouse, Microstrategy, Qlik, Easy Report и многие другие.

логотип Sapiens solutions перейти на сайт

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.