Можно ли верить замерам процесса: чему аналитика может научиться у метрологов
В выгрузке из СЭД написано: задача «Проверить договор» заняла 14 часов. Человек при этом работал над ней минут сорок: открыл утром, отвлекся на совещание, вернулся после обеда, закрыл вечером. Цифра 14 часов — настоящая, из системы, с точностью до секунды. И она измеряет не то, что вы думаете.
У инженеров есть целая дисциплина о том, насколько можно верить измерениям, — метрология. Ей посвящена отдельная глава хендбука NIST. Главная мысль там жёсткая: измерение — это тоже процесс, и у него есть свои ошибки, дрейф и разброс. Пока вы их не оценили, вы не знаете, что именно лежит в вашей выгрузке. Это вторая статья серии по статистике для процессов — первая была про то, почему среднее время процесса врёт.
Смещение и разброс — две разные болезни
Метрологи разделяют ошибку измерения на две независимые части, и лечатся они по-разному.
Смещение (bias) — систематическая ошибка, которая тянет все замеры в одну сторону. В процессах она везде:
- Время статуса ≠ время работы. Система меряет «сколько задача висела на человеке», а не «сколько он её делал». Смещение всегда вверх, иногда в десятки раз.
- Люди закрывают задачи пачками в конце дня или перед отчётом. В логе появляются ложные «пики производительности» в 17:55.
- Оценки из интервью смещены социально: «обычно полчаса» означает «в хороший день, без прерываний, если документы в порядке».
Разброс (precision) — случайная часть: та же задача у того же человека занимает то 20, то 50 минут без всякой видимой причины.
Почему важно разделять: разброс лечится количеством данных — усредните сто замеров, и случайная ошибка уйдёт. Смещение количеством не лечится вообще: усреднив миллион завышенных замеров, вы получите очень точное завышенное число. NIST отдельно предупреждает: смещение переживает даже идеальную калибровку инструментов и ловится только тем, кто понимает предметную область. В нашем случае — тем, кто знает, как именно исполнители работают с задачами в системе.
Замер одного дня не характеризует ничего
Вторая идея метрологов — у разброса есть этажи по времени. NIST различает три уровня: разброс внутри короткой серии замеров, разброс между днями и разброс между длинными периодами (месяцами). И ключевое наблюдение: у точных инструментов разброс между днями обычно больше, чем внутри дня.
Для процессов это ещё вернее. Замерив время обработки во вторник, вы узнали про вторник. В понедельник разгребают накопленное за выходные, в пятницу — короткий день, в конце месяца — отчётность, в декабре — годовой пик. Честная характеристика процесса требует данных, накрывающих все этажи вариации: минимум несколько недель, а если есть месячная сезонность — несколько месяцев.
Контрольная заявка: самый дешёвый аудит ваших данных
Центральный инструмент метрологической главы — check standard: эталонный образец, который измеряют регулярно годами. Образец не меняется — значит, любое изменение в замерах говорит о поломке самого измерения, а не объекта.
Процессный аналог собирается за час. Возьмите типовую заявку — одинаковый шаблонный договор, стандартное обращение — и отслеживайте её метрику отдельно, месяц за месяцем. Сложность таких заявок не меняется годами. Если их «время обработки по системе» поползло, то либо поменялся процесс (очередь выросла), либо поменялся способ учёта (новый регламент статусов, другая дисциплина закрытия задач). Оба вывода ценны, но это разные выводы — а без контрольной группы заявок вы их не различите.
Откуда взялась каждая цифра: данные или экспертиза
Международный стандарт оценки неопределённости (GUM), на который опирается NIST, делит все источники погрешности на два типа. Тип A — оценено статистически из данных. Тип B — взято из любого другого источника: экспертная оценка, паспорт прибора, здравый смысл. Оба типа легальны. Нелегально — не различать их.
Перенесите это на карточку параметров процесса. «Сорок заявок в день» — из выгрузки за квартал: тип A, доверие высокое. «Проверка занимает полчаса» — со слов руководителя отдела: тип B, и к нему обязана прилагаться вилка: полчаса — это от 20 до 40 или от 10 до 120? Хендбук даёт простое правило перевода таких вилок в честный разброс и правило сложения погрешностей: складываются дисперсии (квадраты), а не сами «плюс-минусы». Две оценки «±20%» вместе дают не ±40%, а примерно ±28%.
Зачем это симуляции: мусор на входе — мусор на выходе
Имитационная модель процесса не может быть точнее своих входных данных. Но есть два смягчающих обстоятельства, и оба важные.
Первое: для сравнительных решений грубые честные цифры обычно достаточны: если сценарий А даёт очередь вдвое короче сценария Б, ошибка входа в пятую часть порядок вывода не перевернёт. Второе и главное: чувствительность к погрешности можно проверить самой симуляцией: прогоните модель с оценкой «полчаса» и с оценкой «сорок минут». Если вывод не поменялся — точности хватает, и уточнять замер не нужно. Если результат скачет — вы нашли параметр, который действительно надо идти и мерить тщательно. Это дешевле, чем мерить тщательно всё подряд.
В модуле имитационного моделирования Stormbpmn часть этой работы автоматизирована: можно загрузить выгрузку заявок из Excel, и сервис сам подберёт распределение потока заявок и распознает профиль нагрузки — рабочие часы, пики, ночные провалы — вместо того чтобы просить вас угадывать параметры на глаз. А как собрать остальные четыре величины для расчёта за неделю — в статье про четыре замера перед расчётами.
Чек-лист
- Для каждой метрики процесса выпишите, что она измеряет буквально: время работы, время статуса или время между двумя кликами в системе.
- Разделите параметры на тип A (из данных) и тип B (со слов). Для каждого типа B запишите вилку «обычно / в плохой день».
- Заведите контрольную группу: один типовой вид заявок, метрика по которому отслеживается отдельно как индикатор здоровья самих данных.
- Не характеризуйте процесс данными короче месяца — вы увидите только один этаж вариации.
- Перед тем как уточнять замеры — проверьте симуляцией, чувствителен ли к ним вывод. Уточняйте только то, что меняет решение.
Серия основана на NIST/SEMATECH e-Handbook of Statistical Methods. Следующая статья — откуда в процессе разброс и как разложить вариацию на компоненты, чтобы лечить самый большой, а не самый заметный.
Похожие публикации
Было 6 дней, стало 5: как понять, что вы действительно ускорили процесс
Новые статьи в вашем электрическом ящике
Обзоры конференций, лучшие практики процессного подхода и учебные статьи в вашей почте. Не чаще 1 раза в неделю.
Без спама, только то, что вы запросили.
