Бизнес-проверка качества данных различной сложности

Arenadata Catalog DQF (Arenadata Catalog Data Quality Framework, ADС.DQF) — высокопроизводительный модуль Arenadata Catalog для контроля качества данных. Позволяет реализовать проверки любого уровня сложности в реальном времени, транзитивно сопоставлять данные. Поддерживает интеграцию с Git и файловыми хранилищами, работу в резидентном режиме поверх DWH и внешнюю оркестрацию

Преимущества системы

Конструирование логики проверок из базовых алгоритмов без программирования

Независимость от предметной области, работа с абстрактными объектами и внешними справочниками

Добавление новых правил без очередного релиза сервиса

Поддержка сложных проверок: нормализация и сравнение данных из разных источников, валидация идентификаторов ФЛ/ЮЛ/ИП

Поддержка различных стратегий запуска задач

Детальная отчётность: выгрузка статистики и сводных результатов

Интерактивные дашборды для мониторинга метрик качества и анализа динамики

Гибкое масштабирование при росте числа правил и объёма данных

Целевые сценарии применения

Оркестрация данных

Автоматизация контроля качества при интеграции данных из разных источников

Упрощение процессов миграции, консолидации и подготовки витрин данных

Контроль транзакционных операций и потоков данных

Оптимизация работы с документами и связанными данными

Анализ массивов и дельт данных

Повышение качества данных для BI-отчётности и аналитики

Повышение адресности и качества предоставления услуг конечным пользователям

Хотите больше узнать о продукте?

Да, хочу

Arenadata Catalog DQF

Представляет собой микросервис с модульной архитектурой. Поддерживает как работу в режиме вызова через API, так и резидентную работу поверх хранилища данных

Поддерживается внешняя оркестрация и встраивание в ETL-пайплайн, горизонтальное масштабирование

Оценивает качество данных в реальном времени

Производит поиск ошибок по заданным правилам

Предотвращает запись некачественных данных в системы заказчика

Использует в проверках данные из внешних источников

Формирует статистику по найденным ошибкам в данных

Российский продукт

Продукт зарегистрирован в реестре российского ПО

Номер реестровой записи

15892

Дата регистрации

09.12.2022

Не реализует функций СЗИ, не подлежит сертификации

Технические возможности

01/

Настройка

Выполнение проверок данных по заданным алгоритмам и настраиваемым параметрам без привлечения разработчиков.

02/

Вариативность

Выполнение проверок по массивам данных и единичным записям.

03/

Диагностика

Выявление ошибок (противоречий) в имеющихся и поступающих данных.

04/

Исправление

Верификация невалидных данных с возможностью формирования предложений по их корректировке, в том числе в автоматизированном режиме.

05/

Контроль

Непрерывный мониторинг и оценка качества данных на предмет полноты, достоверности и непротиворечивости.

Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test), рассчитывается индивидуально

запросить детали

Альтернатива иностранным системам

Благодаря технической зрелости и функциональности продукты нашей компании замещают решение: Ataccama.



Узнать подробнее

Возможности сервиса Arenadata Catalog DQF

01/

Позволяет настроить любые логические проверки без привлечения разработчиков

02/

Выявляет ошибки в данных перед сохранением в операционное хранилище

03/

Реализует поиск ошибок в существующих данных

04/

Возвращает бинарный результат проверки, коды качества, дополнительную информацию по найденным ошибкам

05/

Вызывается из инстанса бизнес-процесса на этапе проведения проверок

06/

Обеспечивает автоматические проверки данных

07/

Интегрируется в любую среду оркестрации

08/

Проверяет объекты в памяти, без сохранения на диск

За три дня составим отчёт о проблемах и расскажем, как повысить качество данных

запросить детали

Нам доверяют

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Какой язык используется для написания проверок?

Для написания проверок используется язык разметки YAML.

Что нужно знать для написания проверок?

Для написания проверок необходимо знание функций и базовых алгоритмов DQF. Всё это подробно описано в руководстве по использованию. Изучение руководства не займёт много времени, поскольку все инструменты интуитивно понятны любому пользователю, обладающему базовыми знаниями алгоритмов и формальной логики.

В какой среде писать проверки?

На данный момент проверки выполняются в среде разработки IntelliJ IDEA. Эта среда облегчает написание проверок в формате YAML благодаря сконфигурированной JSON Schema, а также предоставляет специально разработанные автодополнения и валидации по алгоритмам, что значительно упрощает процесс.

Предполагается ли создание собственного UI-инструмента для написания проверок?

В планах по развитию предусмотрено создание собственного графического конструктора для создания проверок.

Какие интеграции поддерживает продукт?

«Гражданский фактор: Качество данных» (для стандартизации и предложений по исправлению данных), REST API, GraphQL (для запроса дополнительных данных в рамках проверок), в планах развития — создание JDBC-алгоритмов.

Где хранятся проверки данных?

Проверки могут храниться в файловой системе или специализированном сервисе каталога проверок данных.

Куда поступают результаты проверок?

Зависит от требований заказчика. Адресатом может выступать любая система, способная интегрироваться с очередью сообщений.

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.