Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Arenadata Catalog DQF (Arenadata Catalog Data Quality Framework, ADС.DQF) — высокопроизводительный модуль Arenadata Catalog для контроля качества данных. Позволяет реализовать проверки любого уровня сложности в реальном времени, транзитивно сопоставлять данные. Поддерживает интеграцию с Git и файловыми хранилищами, работу в резидентном режиме поверх DWH и внешнюю оркестрацию
Конструирование логики проверок из базовых алгоритмов без программирования
Независимость от предметной области, работа с абстрактными объектами и внешними справочниками
Добавление новых правил без очередного релиза сервиса
Поддержка сложных проверок: нормализация и сравнение данных из разных источников, валидация идентификаторов ФЛ/ЮЛ/ИП
Поддержка различных стратегий запуска задач
Детальная отчётность: выгрузка статистики и сводных результатов
Интерактивные дашборды для мониторинга метрик качества и анализа динамики
Гибкое масштабирование при росте числа правил и объёма данных
Представляет собой набор сервисов с WEB-интерфейсом. Поддерживает как работу в режиме вызова через API, так и резидентную работу поверх хранилища данных с управлением через пользовательский интерфейс
Поддерживается внешняя оркестрация и встраивание в ETL-пайплайн, горизонтальное масштабирование
Оценивает качество данных в реальном времени
Производит поиск ошибок по заданным правилам
Предотвращает запись некачественных данных в системы заказчика
Использует в проверках данные из внешних источников
Формирует статистику по найденным ошибкам в данных
Номер реестровой записи
Дата регистрации
Номер реестровой записи
Дата регистрации
01/
Выполнение проверок данных по заданным алгоритмам и настраиваемым параметрам без привлечения разработчиков.
02/
Выполнение проверок по массивам данных и единичным записям.
03/
Выявление ошибок (противоречий) в имеющихся и поступающих данных.
04/
Верификация невалидных данных с возможностью формирования предложений по их корректировке, в том числе в автоматизированном режиме.
05/
Непрерывный мониторинг и оценка качества данных на предмет полноты, достоверности и непротиворечивости.
Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test), рассчитывается индивидуально
Благодаря технической зрелости и функциональности продукты нашей компании замещают решение: Ataccama.
01/
Позволяет настроить любые логические проверки без привлечения разработчиков
02/
Выявляет ошибки в данных перед сохранением в операционное хранилище
03/
Реализует поиск ошибок в существующих данных
04/
Возвращает бинарный результат проверки, коды качества, дополнительную информацию по найденным ошибкам
05/
Вызывается из инстанса бизнес-процесса на этапе проведения проверок
06/
Обеспечивает автоматические проверки данных
07/
Интегрируется в любую среду оркестрации
08/
Проверяет объекты в памяти, без сохранения на диск
Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи
Для написания правил используется Data Quality Language – собственный DSL на базе YAML, ориентированный на декларативное описание правил верификации данных.
Для написания проверок необходимо знание функций и базовых алгоритмов DQF. Всё это подробно описано в руководстве по использованию. Изучение руководства не займёт много времени, поскольку все инструменты интуитивно понятны любому пользователю, обладающему базовыми знаниями алгоритмов и формальной логики.
Правила проверок создаются и редактируются с помощью Low-Code редактора. При этом у пользователя есть возможность переключения в текстовый режим.
«Гражданский фактор: Качество данных» (для стандартизации и предложений по исправлению данных), REST, SOAP, GraphQL API и SQL-запросы в JDBC-совместимые СУБД (для запроса дополнительных данных в рамках проверок).
Правила могут хранятся в специализированном сервисе Реестр правил. При необходимости правила могут быть экспортированы и импортированы, например для переноса правил между средами.
Результаты проверок поступают в сервис Агрегатор результатов для хранения их в разрезе запущенных задач. При работе в режиме Data-Firewall – потребителем может выступать любая система, поддерживающая интеграцию через Kafka или RabbitMQ.
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.