Data Quality Framework

Российское программное обеспечение для выполнения сложных логических бизнес-проверок данных на этапах внесения, загрузки, хранения, передачи и консолидации информации.

Выполняет проверки данных в предварительно описанной предметной области по разрабатываемым алгоритмам, контролирует качество данных на этапе передачи и записи информации в целевые системы, транзитивно сопоставляет данные о физических лицах по заданным правилам. Используется для ведения реестра перекрёстных ссылок между записями разных источников.

получить предложение ДОКУМЕНТАЦИЯ

Преимущества системы

Добавление новых проверок не влечёт за собой выпуск нового релиза сервиса.

Способен гибко масштабироваться при росте нагрузки.

Спроектирован для проверки данных — из базовых алгоритмов можно сконструировать любую логическую проверку.

Использует сложные алгоритмы проверок — может отличить Ф.И.О. от обычной строки, способен разобрать адреса из строк и сравнить их, реализует комплексные проверки идентификаторов ФЛ/ЮЛ/ИП.

Набор базовых алгоритмов легко расширяется за счёт модульной архитектуры сервиса.

Не зависит от предметной области, так как оперирует абстрактными объектами.

Технологии, востребованные во всем мире

С учётом тренда на импортозамещение в России ожидается экспоненциальный рост и появление комплексных решений от отечественных вендоров.

x3

Согласно прогнозам, объём глобального рынка инструментов для управления качеством данных вырастет в три раза до 2028 года.

Объём глобального рынка Data Quality решений в 2022 году составлял более $2 млрд, а темпы его роста, по прогнозам аналитиков
Темп роста глобального рынка Data Quality решений
до 2030 года — 18,5% в год.

Целевые сценарии применения

Контроль транзакционных операций с данными

Анализ массивов данных по гибким правилам проверок

Оркестрация данных

Повышение качества данных для анализа и визуализации

Повышение адресности при оказании услуг пользователям

Упрощение процессов консолидации данных

Оптимизация работы с данными и связанными с ними документами

Хотите больше узнать о продукте?

Да, хочу

Data Quality Framework

ПО представляет собой микросервис, интегрируемый с хранилищем алгоритмов проверок (файловой системой, Git, СУБД). Поддерживает как работу в режиме вызова через API (REST, gRPC, AMQP), так и резидентную работу поверх хранилища данных.

Поддерживается внешняя оркестрация и встраивание в ETL-пайплайн, горизонтальное масштабирование.

Оценивает качество данных в реальном времени, предлагая исправления.

Производит поиск ошибок в данных по заданным правилам проверок.

Предотвращает запись некачественных данных в системы заказчика.

Использует в проверках данные из внешних источников.

Формирует статистику по найденным ошибкам в данных.

Российский продукт

Продукт зарегистрирован в реестре российского ПО

Номер реестровой записи

13948

Дата регистрации

14.06.2022

Не реализует функций СЗИ, не подлежит сертификации
Компания Clean Data (ООО «Клин Дейта») включена в реестр аккредитованных организаций, осуществляющих деятельность в области информационных технологий.

Номер регистрации

24212

Дата регистрации

30.03.2022

Технические возможности

01/

Настройка

Выполнение проверок данных по заданным алгоритмам и настраиваемым параметрам без привлечения разработчиков.

02/

Вариативность

Выполнение проверок по массивам данных и единичным записям.

03/

Диагностика

Выявление ошибок (противоречий) в имеющихся и поступающих данных.

04/

Исправление

Верификация невалидных данных с возможностью формирования предложений по их корректировке, в том числе в автоматизированном режиме.

05/

Контроль

Непрерывный мониторинг и оценка качества данных на предмет полноты, достоверности и непротиворечивости.

Базовые интеграционные алгоритмы

Запрос связанных объектов из GraphQL-сервиса.

Проверка значения на вхождение в справочник.

Проверка СНИЛС по алгоритму и проставление кода качества.

Вызов HTTP-методов.

Проверка адреса на вхождение в Государственный адресный реестр.

Проверка идентификационного номера налогоплательщика (ИНН) алгоритмом для физических лиц и присвоение кода качества.

Проверка идентификационного номера налогоплательщика (ИНН) алгоритмом для юридических лиц и присвоение кода качества.

Стоимость решения

Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test), рассчитывается индивидуально.

запросить детали

Альтернатива иностранным системам

Техническая зрелость и функциональность продуктов Clean Data позволяют использовать их вместо решений известных иностранных вендоров.

Возможности сервиса Data Quality Framework

01/

Позволяет настроить любые логические проверки без привлечения разработчиков.

02/

Выявляет ошибки в данных перед сохранением в операционное хранилище.

03/

Реализует поиск ошибок в существующих данных. Реализует поиск ошибок в существующих данных.

04/

Возвращает бинарный результат проверки, коды качества, дополнительную информацию по найденным ошибкам.

05/

Вызывается из инстанса бизнес-процесса на этапе проведения проверок.

06/

Обеспечивает автоматические проверки данных.

07/

Интегрируется в любую среду оркестрации.

08/

Проверяет объекты в памяти, без сохранения на диск.

Модули расширения функциональности

DQF: Engine.

Компонент контроля качества данных. Производит мониторинг качества данных на различных уровнях и ищет ошибки по сформированным правилам и критериям проверок.

DQF: Federation.

Компонент сопоставления данных. Сопоставляет данные объектов (физические, юридические и иные объекты) из разных источников.

За три дня составим отчёт о проблемах и расскажем, как повысить качество данных

запросить детали

Нам доверяют

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Какой язык используется для написания проверок?

Для написания проверок используется язык разметки YAML.

Что нужно знать для написания проверок?

Для написания проверок необходимо знание функций и базовых алгоритмов DQF. Всё это подробно описано в руководстве по использованию. Изучение руководства не займёт много времени, поскольку все инструменты интуитивно понятны любому пользователю, обладающему базовыми знаниями алгоритмов и формальной логики.

В какой среде писать проверки?

На данный момент проверки выполняются в среде разработки IntelliJ IDEA. Эта среда облегчает написание проверок в формате YAML благодаря сконфигурированной JSON Schema, а также предоставляет специально разработанные автодополнения и валидации по алгоритмам, что значительно упрощает процесс.

Предполагается ли создание собственного UI-инструмента для написания проверок?

В планах по развитию предусмотрено создание собственного графического конструктора для создания проверок.

Какие интеграции поддерживает продукт?

«Гражданский фактор: Качество данных» (для стандартизации и предложений по исправлению данных), REST API, GraphQL (для запроса дополнительных данных в рамках проверок), в планах развития — создание JDBC-алгоритмов.

Где хранятся проверки данных?

Проверки могут храниться в файловой системе или специализированном сервисе каталога проверок данных.

Куда поступают результаты проверок?

Зависит от требований заказчика. Адресатом может выступать любая система, способная интегрироваться с очередью сообщений.

Ждём ваши вопросы!

Задать вопрос

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.