Год без сбоев - это не надёжность, а отсутствие данных

На вопрос «что будет с процессом, если уволится главный согласант» команда отвечает: «у нас такого не было». На вопрос «а если заявок станет вдвое больше» - «не сталкивались». Звучит успокаивающе: раз не было - значит, всё надёжно. Это рассуждение перевёрнуто: спокойный год описывает только те условия, которые уже случались, а про остальные вы не знаете ничего - вы просто ещё не платили за это знание.

Финальная глава хендбука NIST посвящена оценке надёжности. Она написана про микросхемы и механизмы, но три её идеи переносятся на бизнес-процессы почти без перевода. Это восьмая, финальная статья серии по статистике для процессов.

Парадокс надёжности: информация живёт в отказах

Центральная мысль главы контринтуитивна: точность знаний о том, как система ломается, определяется числом отказов, а не размером наблюдений. Тысяча устройств на стенде и два отказа хорошо показывают, насколько система надёжна, - но почти ничего о том, по какому закону она отказывает; десять устройств с пятью отказами - наоборот. Отсюда парадокс: чем надёжнее система, тем труднее изучать её отказы.

Для процессов это означает две вещи. Спокойный год - не пустой звук: ноль срывов на тысяче заявок ограничивает частоту отказов сверху - по грубому «правилу трёх», не выше 0,3% в тех условиях, которые год реально приносил. Но про условия, которых не было - потерю ключевого человека, пик нагрузки вдвое, - он не говорит ничего: таких испытаний просто не проводилось. Инженеры решают эту проблему ускоренными испытаниями: греют микросхему, повышают напряжение - заставляют отказы случиться быстро, чтобы учиться на них дёшево. У процессного аналитика есть аналог - стресс-тест на имитационной модели. В симуляторе Stormbpmn на готовой модели можно за вечер прожить то, чего в истории не было: поток ×1,5 и ×2, минус один исполнитель в ключевой группе, сезонный пик поверх отпусков. Одна оговорка: ломается в таком тесте модель, а не процесс, и стресс-тест покажет только ту хрупкость, которая в модель заложена, - поэтому сначала проверьте саму модель. Зато дальше видно не только «станет хуже», а где именно процесс ломается первым и при каком уровне нагрузки очередь уходит в разнос.

Кривая ванны: у регламентов тоже есть младенческая смертность

Вторая идея главы - знаменитая кривая отказов в форме ванны. Сначала частота отказов высокая и быстро падает (младенческая смертность - заводские дефекты), потом долгий ровный участок (случайные отказы), потом рост (износ). У процессов та же биография. Первые недели нового регламента - младенческая смертность: недописанные случаи, путаница в ролях. Потом долгий стабильный участок. А потом - старение: реальность ушла вперёд, в регламенте накопились исключения, люди работают «как принято», а не «как написано».

Практических вывода два. Первый: не оценивайте эффект изменения по первым неделям - вы измеряете младенческую смертность, а не рабочий режим. Сами ранние сбои при этом не выбрасывайте, а изучайте: в них информация о дефектах внедрения. Похожая логика есть и в симуляторе - первые такты прогона стартуют с пустых очередей и непоказательны, поэтому отчёт Stormbpmn отделяет период разогрева от устойчивого режима. Второй: стабильность сегодня не гарантия стабильности завтра - процессы стареют, и периодический пересмотр регламента - это техобслуживание.

Цепь и резерв: арифметика хрупкости

Третья идея - как надёжность системы складывается из надёжности частей. Сначала договоримся, что считать отказом шага: скажем, заявка вернулась на доработку или шаг вылетел за норматив. Тогда для последовательной цепи надёжности перемножаются: пять шагов, каждый из которых проходит без отказа 99% заявок, дают цепочке 95% - а двадцать таких же шагов оставят только 82%. Каждый обязательный шаг срезает свою долю: это ещё один аргумент укорачивать маршруты, помимо скорости. Резервирование работает в обратную сторону, и тоже с арифметикой: два независимых исполнителя по 99% дают 99,99% - риск падает в сто раз. Слово «независимых» здесь главное: если оба согласанта уходят в отпуск в августе или сидят в одной падающей системе, резерв во многом иллюзорный. «У нас есть единственный человек, без которого процесс встаёт» - это последовательная цепь без резерва, и вопрос не «сломается ли», а «когда». Цену этого дня можно посчитать заранее. Прогон сценария «минус ключевой ресурс» показывает рост очередей и срывы SLA в цифрах - и разговор о резервном сотруднике становится бизнес-кейсом.

Итоги серии

Семь статей назад мы начали с того, что среднее врёт. Если собрать серию в один абзац: требуйте распределения вместо средних, проверяйте сами замеры, раскладывайте разброс на источники, валидируйте модели по остаткам, планируйте эксперименты по факторному плану, отличайте сигнал от шума контрольными картами, сравнивайте через интервалы и стресс-тестируйте то, чего ещё не было. Почти всё это доступно в Excel и здравом смысле. А там, где нужно заглянуть в будущее - что будет при другом штате, нагрузке, маршруте, - работает имитационное моделирование: те же статистические принципы, только эксперимент не трогает живых людей и живой процесс.

Чек-лист

1. Список единственных точек отказа процесса: люди, системы, шаги без резерва. Если списка нет - это первый пункт.
2. Для каждой точки - стресс-сценарий в симуляторе: минус ресурс, нагрузка ×1,5–×2. Запишите, где ломается и при каком пороге.
3. Не делайте выводов о новом регламенте по первым неделям - это период младенческой смертности.
4. Запланируйте пересмотр регламентов как техобслуживание - по календарю, а не после аварии.
5. Перемножьте доли безотказного прохождения шагов самой длинной цепочки согласований - это цена каждого обязательного шага в числах.

Серия основана на NIST/SEMATECH e-Handbook of Statistical Methods - открытом справочнике Национального института стандартов и технологий США. Первая статья серии: почему среднее время процесса врёт.