Proplum

ETL-фреймворк Proplum оперативно загружает данные в Arenadata DB, автоматизирует вычисления и рутинные операции.

Проверено Arenadata

Замещает иностранные продукты:

SAP Data Services
Informatica Power Center
SAP BW

Proplum — open-source фреймворк от Sapiens Solutions для автоматизации загрузки данных и расчётов в Arenadata DB. ETL-инструмент позволяет загружать данные в хранилище за короткие сроки. Выполняет вычисления для целевых витрин и автоматизирует ряд других рутинных операций. Внедрение занимает один день.

Кому будет полезно:

Proplum будет особенно полезен организациям из таких отраслей, как финансы и ритейл, если они планируют использовать хранилище Arenadata DB в рамках пилотного проекта или перехода на отечественное программное обеспечение. Фреймворк Proplum станет незаменимым помощником как на этапе внедрения, обеспечивая быстрое и удобное начало работы с данными, так и в качестве постоянного инструмента для автоматизации ETL-задач, упрощая процессы загрузки и трансформации данных.

Типовые сценарии использования

Интеграция хранилища данных на базе ADB с разнородными источниками данных

Организация ETL/ELT процессов в хранилище (из внешних систем и внутренние расчёты)

Систематизация разработок в хранилище данных на базе ADB

Автоматизация процессов разработки и переноса артефактов

Бизнес-преимущества

Снизить трудозатраты на миграцию за счёт автоматизации до 60% операций

Оптимизировать расходы на оплату труда за счёт привлечения менее дорогостоящих специалистов, так как для работы с фреймворком не требуется высокий уровень квалификации

Сократить time-to-market или даже сделать незаметным переход к другому КХД для пользователей

Сэкономить — фреймворк Proplum бесплатен и выложен в open source

Технические особенности

  • За счёт простоты установки и настройки фреймворк не требует дополнительных трудозатрат на внедрение, вся установка займёт один час
  • Фреймворк учитывает особенности базы данных Arenadata DB, позволяет в автоматическом режиме добавлять партиции и учитывать распределение таблиц
  • Доступен режим дельта-загрузок без дополнительного ПО
  • За счёт открытого кода фреймворк просто дорабатывается под конкретные задачи
  • Нет зависимости от выбранной модели хранилища данных и поддерживается наполнение любых слоёв хранилища данных
  • Поддерживает логирование и отображение статуса загрузки в режиме реального времени. За счёт открытого кода фреймворк просто дорабатывается под конкретные задачи
  • Для начала работы не нужно писать код — всё уже готово.

Хотите получить консультацию по решению?

Да, хочу
× Fullscreen

Дополнительная информация

Состав фреймворка:

  • Уровень БД – набор функций на языке plpgsql, таблицы с настройками
  • Уровень оркестрации – набор python-модулей для генерации DAG-ов Apache Airflow
Доступные варианты экстракции данных: полная (FULL), изменения (DELTA), интервал дат (PARTITION).

Доступные варианты обновления данных в целевой таблице: полная (FULL), вставка изменений (DELTA), обновление изменённых записей (DELTA_UPSERT, DELTA_MERGE), перегрузка интервала дат (PARTITION), обновление интервала дат (UPDATE_PARTITION).

Концепция работы
Оркестрация загрузок осуществляется автоматически генерируемыми DAGs Apache Airflow. Если вы хотите начать пользоваться хранилищем Arenadata DB в рамках пилотного проекта или миграции на отечественное ПО, то фреймворк Proplum — незаменимый помощник как на начальном этапе, так и в качестве постоянного инструмента для решения задач ETL.

Продукты группы Arenadata

Задача организации, в особенности же укрепление и развитие структуры обеспечивает широкому кругу (специалистов) участие в формировании новых предложений. Разнообразный и богатый опыт реализация намеченных плановых заданий требуют от нас анализа систем массового участия. Значимость этих проблем настолько очевидна, что сложившаяся структура организации представляет собой интересный эксперимент проверки форм развития. Задача. Значимость этих проблем настолько очевидна, что сложившаяся структура.

Клиенты, у которых внедрено решение

Решение создано совместно с партнёром Sapiens solutions

Sapiens Solutions — это команда профессионалов, специализирующихся на разработке аналитических платформ, систем хранения данных, отчётности, а также систем планирования и прогнозирования. Основанная в 2012 году группой экспертов, компания успешно реализовала более 80 проектов, связанных с проектированием, внедрением и поддержкой корпоративных хранилищ данных и систем отчётности, используя как проприетарные, так и открытые технологии, такие как SAP, Greenplum, Clickhouse, Microstrategy, Qlik, Easy Report и многие другие.

логотип Sapiens solutions перейти на сайт

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.