Критерии качества
Согласно недавнему исследованию HFS и Syniti, 85% руководителей крупнейших международных компаний осознают, что данные — краеугольный камень успеха бизнеса, но только треть из них довольна их качеством. Более того, по мнению респондентов, 40% данных в их организациях непригодны для использования.
Важно помнить, что хранящиеся в базе организации данные — это не просто цифры и факты, это основа для качественного функционирования бизнеса, а их качество — залог максимальной производительности и конкурентоспособности компании на рынке. Неверная или устаревшая информация может привести к серьёзным ошибкам в планировании и обслуживании клиентов, что негативно сказывается на их лояльности и репутации компании.
Рассмотрим критерии, которые обеспечивают высокое качество данных.
- Точность. Данные должны правильно представлять реальность. Неточности в них могут привести к неверным выводам и решениям.
- Полнота. Показывает, содержат ли данные всю необходимую информацию как по самим объектам, так и по их характеристикам. Если в базе данных не хватает информации, это может создать трудности при её использовании и анализе.
- Согласованность. Определяет взаимную непротиворечивость и корректную связь между данными, которые хранятся в одном или нескольких источниках. Взаимосвязанность данных помогает увидеть полную картину и избежать разночтений.
- Актуальность. Данные должны быть актуальными и обновляться в соответствии с требованиями бизнеса. Использование устаревших сведений может привести к ошибочным решениям и планам.
- Достоверность. Показывает, соответствуют ли данные установленным в организации стандартам и поступают ли они из надёжных и авторитетных источников.
Источники ошибок
По результатам недавнего опроса, 72% российских компаний признались, что сталкивались с финансовыми потерями, которых можно было бы избежать благодаря качественным данным. При этом работой над качеством данных целенаправленно занимается только треть опрошенных, и лишь 13% респондентов полностью удовлетворены объёмом и качеством собираемых данных и аналитики на их основе.
Есть несколько причин, по которым организации не могут обеспечить достаточный уровень качества данных. Рассмотрим основные из них.
Человеческий фактор
Человеческий фактор — одна из самых распространённых причин низкого качества данных. Согласно исследованию, 49,8% российских компаний для управления рабочими процессами до сих пор используют Excel, что неизбежно приводит к накоплению ненужных и повторяющихся данных. Ошибки ввода, пропущенные поля или некорректные записи — всё это может произойти из-за невнимательности, нехватки опыта или профессиональных навыков сотрудников.
Например, в нефтеперерабатывающих предприятиях разные подразделения зачастую ведут учёт себестоимости в различных единицах измерения. Одни отделы фиксируют затраты в миллионах рублей на тонну продукции, в то время как другие используют тысячи рублей на баррель. Когда такие показатели собираются в сводном отчёте без приведения к единой размерности, это приводит к хаосу, что особенно критично, если на основе этих данных формируются, например, резервы сырья. В таком случае планы могут быть составлены некорректно, что повлечёт за собой серьёзные нарушения во всех процессах предприятия. Важно, чтобы в условиях такой сложности соблюдались чёткие стандарты и единообразие в расчётах.
Весогабаритные параметры, такие как длина, ширина, высота и вес товаров, играют критическую роль в операционной логистике маркетплейсов. Основным источником этих данных обычно выступает информация от производителей или продавцов. Если они указаны неверно, это может существенно ухудшить пользовательский опыт покупателей и привести к дополнительным затратам для продавца.
Отсутствие надёжных процессов контроля этих характеристик в информационной системе известного федерального маркетплейса долгое время приводило к регулярным убыткам. Из-за неполных данных о габаритах товар могли ошибочно отправить на неподходящий склад. Например, был случай, когда на обычный ПВЗ, который не имел возможности принять крупногабаритный товар, доставили мини-трактор. В таких ситуациях приходится перевозить товар на другой склад, который может находиться в сотнях километров. Из-за каждой подобной ошибки теряются тысячи рублей, задерживаются сроки доставки, а маркетплейс получает негативные отзывы от покупателей. Поэтому точность весогабаритных данных — ключевой аспект эффективной работы маркетплейсов, требующий внимательного контроля.
Сложность интеграции
Плохая интеграция между различными системами и платформами также негативно сказывается на качестве данных. Когда данные собираются из множества разных источников, часто возникают проблемы с их совместимостью и согласованностью. Разные подходы к идентификации объектов, различные форматы хранения данных, изменения в их структуре или отсутствие единой системы передачи информации могут приводить к дублированию данных, конфликтам и ошибкам. Это затрудняет создание единой картины для анализа и принятия решений.
Ярким примером этих трудностей служит ритейл. Розничные продавцы обычно используют несколько каналов сбыта, включая физические магазины, онлайн-платформы и мобильные приложения. Так, один из крупных федеральных ритейлеров из-за устаревших данных долгое время сталкивался с проблемой прогнозирования спроса по каналам продаж. Например, данные из офлайн-магазинов собиралась раз в неделю, тогда как информация об онлайн-продажах обновлялась каждый час. В результате на складе для онлайн-продаж постоянно наблюдался избыток товара, а запасы в магазинах исчерпывались уже к середине недели.
Стоило компании согласовать регламент сбора данных, и отчёты стали отражать реальную картину, что решило проблемы с прогнозом продаж и складскими запасами. Эта ситуация подчёркивает не только важность качественной интеграции данных, но и необходимость внедрения современных методов управления информацией.
Отсутствие документации и согласованных показателей
Исследование консалтинговой компании PwC показало, что 40% компаний осознают преимущества монетизации данных. При этом их низкое качество может стать барьером на этом пути. Если в организации нет чёткой согласованной терминологии и стандартов по описанию данных, сотрудники могут вольно трактовать значения бизнес-терминов. Это приводит к непониманию, а впоследствии — к ошибкам, которые часто сто́ят компаниям репутации и огромных финансовых потерь. Документация помогает установить единые требования к данным, что значительно снижает вероятность недоразумений.
Показательным примером здесь могут стать компании из финансового сектора. Так, CDO одного российского банка поделился с нами, что в их организации не были установлены стандарты для чёткой классификации клиентов. Это приводило к ситуациям, когда льготные условия, предназначенные для VIP-клиентов, по ошибке предлагались клиентам с высокой оценкой кредитного риска. Как следствие, банк сталкивался с увеличением резерва на возможные потери по кредитным портфелям, что ограничивало использование значительных финансовых средств на протяжении всего срока действия кредитов. Такая ситуация не только наносила урон репутации банка, но и значительно снижала его финансовую устойчивость.
В этом случае необходимо чётко определить и согласовать между всеми департаментами единый подход к сегментации клиентов. Например, нужно заложить условия, по которым клиент переходит в тот или иной статус. Это поможет избежать хаоса и улучшить клиентский сервис.
Как компании управляют качеством данных
Управление качеством данных — это не разовое действие, а непрерывный процесс. Сегодня существует множество инструментов, которые помогают автоматизировать проверку, очистку и обновление данных. Один из них — каталог данных. Инструмент позволяет создать и поддерживать хорошо организованную инвентаризацию информационных активов предприятия. Рассмотрим, как он помогает компаниям из разных сфер улучшить качество данных и бизнес-процессы.
Одна из болезненных задач банков — подготовка аналитической отчётности. В крупном российском финансовом холдинге подготовка нового отчёта занимала более двух месяцев. При этом до 80% времени сотрудники тратили на поиск достоверной информации. После внедрения каталога данных этот срок удалось сократить до двух дней.
Компании из фармацевтической области считаются одними из самых требовательных в мире к качеству данных, поскольку в этой сфере они используются для проведения исследований и разработки новых методов лечения и препаратов. Одно фармацевтическое предприятие, используя автоматическую проверку качества данных, всего за три дня выявило серьёзную проблему в работе лабораторного оборудования, которая могла привести к многомиллионным убыткам.
Крупная компания из сферы e-commerce также успешно внедрила инструмент для улучшения качества данных. С его помощью её команда описала ключевые бизнес-показатели, такие как MAU (количество уникальных пользователей), DAU (количество ежедневных пользователей), WAU (количество уникальных визитов), AEE (активность пользователя в течение дня) и CHURN rate (показатель оттока пользователей). Теперь эти показатели регулярно обновляются и доступны всем заинтересованным пользователям внутри компании. Дата-инженеры всегда имеют доступ к источникам, что позволяет быстро исправлять ошибки и оперативно реагировать на изменения.
Улучшение качества данных на раз, два, три
Процесс улучшения качества данных требует комплексного подхода и всегда проходит через несколько этапов:
- Формирование каталога данных, используемых в организации.
Для начала нужно создать полный каталог данных, который включает консолидацию и типизацию метаинформации из всех критичных источников, используемых в организации. Этот этап позволяет выявить дублирующиеся или нерелевантные данные, а также понять, какие данные доступны и как они используются. - Определение стандартов качества.
Они должны включать критерии, которые мы разбирали выше: точность, полноту, актуальность, достоверность и согласованность. Стандарты качества должны быть конкретными и измеримыми, чтобы обеспечивать единую основу для оценки качества. - Согласование с бизнесом единообразия в определении показателей и метрик качества.
Это ключевой момент, который помогает избежать разночтений и несоответствий в отчётах. В результате мы получаем более точную интерпретацию оценки качества данных и можем принимать обоснованные решения на её основе. - Введение новых ролей.
Создание новых ролей по работе с данными, таких как дата-партнёр, дата-стюард и специалист по качеству данных, позволит улучшить управление данными в компании. Эти специалисты должны быть ответственны за мониторинг и соблюдение стандартов качества, а также за обучение сотрудников принципам работы с данными. - Автоматизация процессов.
Когда организация небольшая, многие процессы можно делать вручную: вести реестр объектов метаданных, настраивать проверку качества и т. д. Но когда с данными работают десятки или сотни человек, становится сложнее и возникает необходимость автоматизировать эту деятельность. Сделать это можно с помощью современных решений для проверки и очистки данных, мониторинга качества в реальном времени и других. - Повышение культуры в работе с данными.
Наконец, одной из самых важных задач — формирование культуры по работе с данными в организации. До каждого сотрудника компании необходимо донести важность контроля и повышения качества тех данных, с которыми он работает. Для этого нужно обучать специалистов, внедрять практики ответственного использования данных, поощрять инициативы, направленные на улучшение качества, а также предоставить им единую среду взаимодействия. Каждый вносит свой вклад, и в итоге качество данных улучшается, сотрудники будут меньше ошибаться, а бизнес — легче достигать результатов.
Управление в современной организации должно осуществляться на основе точных данных, а не интуиции. Высокие результаты, о которых с гордостью рассказывает топ-менеджмент, могут создать иллюзию успешного функционирования компании. Однако, если в отчёте по продажам наблюдаются ошибки в наименованиях клиентов, пустые строки, неточные адреса и телефоны заказчиков, это сигнализирует о глубоких проблемах в управлении продажами, корни которых лежат в низком качестве данных. В таких случаях становится очевидным: качество данных — наглядный показатель качества вашего бизнеса.
Источник: Forbes