Будем рады помочь!
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.
Data Quality Framework (DQF) — российское программное обеспечение для выполнения проверок данных в предварительно описанной предметной области по разрабатываемым алгоритмам. Контролирует качество данных на этапе передачи и записи информации в целевые системы, транзитивно сопоставляет данные по заданным правилам. Используется для ведения реестра перекрёстных ссылок между записями разных источников.
Добавление новых проверок не влечёт за собой выпуск нового релиза сервиса.
Способен гибко масштабироваться при росте нагрузки.
Спроектирован для проверки данных — из базовых алгоритмов можно сконструировать любую логическую проверку.
Использует сложные алгоритмы проверок — может отличить Ф.И.О. от обычной строки, способен разобрать адреса из строк и сравнить их, реализует комплексные проверки идентификаторов ФЛ/ЮЛ/ИП.
Набор базовых алгоритмов легко расширяется за счёт модульной архитектуры сервиса.
Не зависит от предметной области, так как оперирует абстрактными объектами.
ПО представляет собой микросервис, интегрируемый с хранилищем алгоритмов проверок (файловой системой, Git, СУБД). Поддерживает как работу в режиме вызова через API (REST, gRPC, AMQP), так и резидентную работу поверх хранилища данных.
Поддерживается внешняя оркестрация и встраивание в ETL-пайплайн, горизонтальное масштабирование.
Оценивает качество данных в реальном времени, предлагая исправления.
Производит поиск ошибок в данных по заданным правилам проверок.
Предотвращает запись некачественных данных в системы заказчика.
Использует в проверках данные из внешних источников.
Формирует статистику по найденным ошибкам в данных.
Номер реестровой записи
Дата регистрации
Номер регистрации
Дата регистрации
01/
Выполнение проверок данных по заданным алгоритмам и настраиваемым параметрам без привлечения разработчиков.
02/
Выполнение проверок по массивам данных и единичным записям.
03/
Выявление ошибок (противоречий) в имеющихся и поступающих данных.
04/
Верификация невалидных данных с возможностью формирования предложений по их корректировке, в том числе в автоматизированном режиме.
05/
Непрерывный мониторинг и оценка качества данных на предмет полноты, достоверности и непротиворечивости.
Запрос связанных объектов из GraphQL-сервиса.
Проверка значения на вхождение в справочник.
Проверка СНИЛС по алгоритму и проставление кода качества.
Вызов HTTP-методов.
Проверка адреса на вхождение в Государственный адресный реестр.
Проверка идентификационного номера налогоплательщика (ИНН) алгоритмом для физических лиц и присвоение кода качества.
Проверка идентификационного номера налогоплательщика (ИНН) алгоритмом для юридических лиц и присвоение кода качества.
Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test), рассчитывается индивидуально.
Техническая зрелость и функциональность продуктов Clean Data позволяют использовать их вместо решений известных иностранных вендоров.
01/
Позволяет настроить любые логические проверки без привлечения разработчиков.
02/
Выявляет ошибки в данных перед сохранением в операционное хранилище.
03/
Реализует поиск ошибок в существующих данных. Реализует поиск ошибок в существующих данных.
04/
Возвращает бинарный результат проверки, коды качества, дополнительную информацию по найденным ошибкам.
05/
Вызывается из инстанса бизнес-процесса на этапе проведения проверок.
06/
Обеспечивает автоматические проверки данных.
07/
Интегрируется в любую среду оркестрации.
08/
Проверяет объекты в памяти, без сохранения на диск.
Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи
Для написания проверок используется язык разметки YAML.
Для написания проверок необходимо знание функций и базовых алгоритмов DQF. Всё это подробно описано в руководстве по использованию. Изучение руководства не займёт много времени, поскольку все инструменты интуитивно понятны любому пользователю, обладающему базовыми знаниями алгоритмов и формальной логики.
На данный момент проверки выполняются в среде разработки IntelliJ IDEA. Эта среда облегчает написание проверок в формате YAML благодаря сконфигурированной JSON Schema, а также предоставляет специально разработанные автодополнения и валидации по алгоритмам, что значительно упрощает процесс.
В планах по развитию предусмотрено создание собственного графического конструктора для создания проверок.
«Гражданский фактор: Качество данных» (для стандартизации и предложений по исправлению данных), REST API, GraphQL (для запроса дополнительных данных в рамках проверок), в планах развития — создание JDBC-алгоритмов.
Проверки могут храниться в файловой системе или специализированном сервисе каталога проверок данных.
Зависит от требований заказчика. Адресатом может выступать любая система, способная интегрироваться с очередью сообщений.
Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.