Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Arenadata Catalog DQF (Arenadata Catalog Data Quality Framework, ADС.DQF) — высокопроизводительный модуль Arenadata Catalog для контроля качества данных. Позволяет реализовать проверки любого уровня сложности в реальном времени, транзитивно сопоставлять данные. Поддерживает интеграцию с Git и файловыми хранилищами, работу в резидентном режиме поверх DWH и внешнюю оркестрацию
Конструирование логики проверок из базовых алгоритмов без программирования
Независимость от предметной области, работа с абстрактными объектами и внешними справочниками
Добавление новых правил без очередного релиза сервиса
Поддержка сложных проверок: нормализация и сравнение данных из разных источников, валидация идентификаторов ФЛ/ЮЛ/ИП
Поддержка различных стратегий запуска задач
Детальная отчётность: выгрузка статистики и сводных результатов
Интерактивные дашборды для мониторинга метрик качества и анализа динамики
Гибкое масштабирование при росте числа правил и объёма данных
Представляет собой микросервис с модульной архитектурой. Поддерживает как работу в режиме вызова через API, так и резидентную работу поверх хранилища данных
Поддерживается внешняя оркестрация и встраивание в ETL-пайплайн, горизонтальное масштабирование
Оценивает качество данных в реальном времени
Производит поиск ошибок по заданным правилам
Предотвращает запись некачественных данных в системы заказчика
Использует в проверках данные из внешних источников
Формирует статистику по найденным ошибкам в данных
Номер реестровой записи
Дата регистрации
01/
Выполнение проверок данных по заданным алгоритмам и настраиваемым параметрам без привлечения разработчиков.
02/
Выполнение проверок по массивам данных и единичным записям.
03/
Выявление ошибок (противоречий) в имеющихся и поступающих данных.
04/
Верификация невалидных данных с возможностью формирования предложений по их корректировке, в том числе в автоматизированном режиме.
05/
Непрерывный мониторинг и оценка качества данных на предмет полноты, достоверности и непротиворечивости.
Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test), рассчитывается индивидуально
Благодаря технической зрелости и функциональности продукты нашей компании замещают решение: Ataccama.
01/
Позволяет настроить любые логические проверки без привлечения разработчиков
02/
Выявляет ошибки в данных перед сохранением в операционное хранилище
03/
Реализует поиск ошибок в существующих данных
04/
Возвращает бинарный результат проверки, коды качества, дополнительную информацию по найденным ошибкам
05/
Вызывается из инстанса бизнес-процесса на этапе проведения проверок
06/
Обеспечивает автоматические проверки данных
07/
Интегрируется в любую среду оркестрации
08/
Проверяет объекты в памяти, без сохранения на диск
Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи
Для написания проверок используется язык разметки YAML.
Для написания проверок необходимо знание функций и базовых алгоритмов DQF. Всё это подробно описано в руководстве по использованию. Изучение руководства не займёт много времени, поскольку все инструменты интуитивно понятны любому пользователю, обладающему базовыми знаниями алгоритмов и формальной логики.
На данный момент проверки выполняются в среде разработки IntelliJ IDEA. Эта среда облегчает написание проверок в формате YAML благодаря сконфигурированной JSON Schema, а также предоставляет специально разработанные автодополнения и валидации по алгоритмам, что значительно упрощает процесс.
В планах по развитию предусмотрено создание собственного графического конструктора для создания проверок.
«Гражданский фактор: Качество данных» (для стандартизации и предложений по исправлению данных), REST API, GraphQL (для запроса дополнительных данных в рамках проверок), в планах развития — создание JDBC-алгоритмов.
Проверки могут храниться в файловой системе или специализированном сервисе каталога проверок данных.
Зависит от требований заказчика. Адресатом может выступать любая система, способная интегрироваться с очередью сообщений.
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.