Можно ли верить замерам процесса: чему аналитика может научиться у метрологов

В выгрузке из СЭД написано: задача «Проверить договор» заняла 14 часов. Человек при этом работал над ней минут сорок: открыл утром, отвлекся на совещание, вернулся после обеда, закрыл вечером. Цифра 14 часов - настоящая, из системы, с точностью до секунды. И она измеряет не то, что вы думаете.

У инженеров есть целая дисциплина о том, насколько можно верить измерениям, - метрология. Ей посвящена отдельная глава хендбука NIST. Главная мысль там жёсткая: измерение - это тоже процесс, и у него есть свои ошибки, дрейф и разброс. Пока вы их не оценили, вы не знаете, что именно лежит в вашей выгрузке. Это вторая статья серии по статистике для процессов - первая была про то, почему среднее время процесса врёт.

Смещение и разброс - две разные болезни

Метрологи разделяют ошибку измерения на две независимые части, и лечатся они по-разному.

Смещение (bias) - систематическая ошибка, которая тянет все замеры в одну сторону. В процессах она везде:

• Время статуса ≠ время работы. Система меряет «сколько задача висела на человеке», а не «сколько он её делал». Смещение всегда вверх, иногда в десятки раз.
• Люди закрывают задачи пачками в конце дня или перед отчётом. В логе появляются ложные «пики производительности» в 17:55.
• Оценки из интервью смещены социально: «обычно полчаса» означает «в хороший день, без прерываний, если документы в порядке».

Разброс - случайная погрешность: та же задача у того же человека занимает то 20, то 50 минут без всякой видимой причины.

Почему важно разделять: разброс замера лечится количеством данных - усредните сто измерений одной и той же величины, и случайная ошибка сожмётся (речь именно об ошибке измерения: собственный разброс процесса - не ошибка, о нём была первая статья). Смещение количеством не лечится вообще: усреднив миллион завышенных замеров, вы получите очень точное завышенное число. И статистикой оно не ловится - его находит только тот, кто понимает предметную область: в нашем случае тот, кто знает, как именно исполнители работают с задачами в системе.

Замер одного дня не характеризует ничего

Вторая идея метрологов - у разброса есть этажи по времени. NIST различает три уровня: разброс внутри короткой серии замеров, разброс между днями и разброс между длинными периодами (месяцами). И ключевое наблюдение: у точных инструментов разброс между днями обычно больше, чем внутри дня.

Для процессов это ещё вернее. Замерив время обработки во вторник, вы узнали про вторник. В понедельник разгребают накопленное за выходные, в пятницу - короткий день, в конце месяца - отчётность, в декабре - годовой пик. Честная характеристика процесса требует данных, накрывающих все этажи вариации: минимум месяц, а при месячной сезонности - несколько месяцев.

Контрольная заявка: самый дешёвый аудит ваших данных

Центральный инструмент метрологической главы - check standard: эталонный образец, который измеряют регулярно годами. Образец не меняется - значит, любое изменение в замерах говорит о поломке самого измерения, а не объекта.

Процессный аналог собирается за час. Возьмите типовую заявку - одинаковый шаблонный договор, стандартное обращение - и отслеживайте её метрику отдельно, месяц за месяцем. Сложность таких заявок не меняется годами. Контрольная группа отделяет «изменились сами заявки» от «изменилось всё остальное»: если метрики обычных заявок поплыли, а контрольная стоит на месте - изменился состав заявок; если поплыла и контрольная - смотрите на процесс (выросла очередь) или на учёт (новый регламент статусов, другая дисциплина закрытия). Без неё эти истории неразличимы.

Откуда взялась каждая цифра: данные или экспертиза

Международный стандарт оценки неопределённости (GUM), на который опирается NIST, делит все источники погрешности на два типа. Тип A - оценено статистически из данных. Тип B - взято из любого другого источника: экспертная оценка, паспорт прибора, здравый смысл. Оба типа легальны. Нелегально - не различать их.

Перенесите это на карточку параметров процесса. «Сорок заявок в день» - из выгрузки за квартал: тип A, доверие высокое. «Проверка занимает полчаса» - со слов руководителя отдела: тип B, и к нему обязана прилагаться вилка: полчаса - это от 20 до 40 или от 10 до 120? Хендбук даёт правило перевода такой вилки в честный разброс (для вилки «от и до» без предпочтений внутри - поделить её полуширину на корень из трёх) и правило сложения погрешностей: складываются дисперсии, то есть квадраты, а не сами «плюс-минусы». Две независимые оценки «±20%» вместе дают не ±40%, а примерно ±28%.

Зачем это симуляции: мусор на входе - мусор на выходе

Имитационная модель процесса не может быть точнее своих входных данных. Но есть два смягчающих обстоятельства, и оба важные.

Первое: для сравнительных решений грубые честные цифры обычно достаточны: если сценарий А даёт очередь вдвое короче сценария Б, то входной параметр, навравший на 20%, этот вывод не перевернёт. Второе и главное: чувствительность к погрешности можно проверить самой симуляцией: прогоните модель с оценкой «полчаса» и с оценкой «сорок минут». Если вывод не поменялся - точности хватает, и уточнять замер не нужно. Если результат скачет - вы нашли параметр, который действительно надо идти и мерить тщательно. Это дешевле, чем мерить тщательно всё подряд.

В модуле имитационного моделирования Stormbpmn часть этой работы автоматизирована: можно загрузить выгрузку заявок из Excel, и сервис сам подберёт распределение потока заявок и распознает профиль нагрузки - рабочие часы, пики, ночные провалы - вместо того чтобы просить вас угадывать параметры на глаз. А какие данные для расчёта собрать за неделю - в статье про то, что ИИ на самом деле знает о вашем процессе.

Чек-лист

1. Для каждой метрики процесса выпишите, что она измеряет буквально: время работы, время статуса или время между двумя кликами в системе.
2. Разделите параметры на тип A (из данных) и тип B (со слов). Для каждого типа B запишите вилку «обычно / в плохой день».
3. Заведите контрольную группу: один типовой вид заявок, метрика по которому отслеживается отдельно как индикатор здоровья самих данных.
4. Не характеризуйте процесс данными короче месяца - вы увидите только один этаж вариации.
5. Перед тем как уточнять замеры - проверьте симуляцией, чувствителен ли к ним вывод. Уточняйте только то, что меняет решение.

Серия основана на NIST/SEMATECH e-Handbook of Statistical Methods. Следующая статья - откуда в процессе разброс и как разложить вариацию на компоненты, чтобы лечить самый большой, а не самый заметный.