ИТ и разработкаСколько стоит заявка
Сколько на самом деле стоит ручное тестирование в релизном цикле?
Регрессия занимает три дня из десяти. Что она стоит в деньгах и когда автоматизация окупается.
Что дал расчёт
- Стоимость релиза
- было
133 68970 888₽ - −47%
- Срок релизного цикла
- было
2,52,3дней - −6%
На потоке 26 релизов в год это1,6 млн ₽в год
Что за процесс и где он ломался
Релизный цикл продукта: сборка, автотесты, ручная регрессия, приёмка, выкатка. Релиз раз в две недели, ручная регрессия — три дня силами четырёх тестировщиков.
Вопрос, на который отвечали
Сколько на самом деле стоит ручное тестирование в релизном цикле?
Признаки, по которым стало понятно: дело не в людях
Автоматизацию регрессии обсуждают второй год. Аргументы обеих сторон качественные: «долго» против «дорого», цифры не звучали ни разу.
Как процесс превратили в имитационную модель
Модель описывает полный цикл релиза: от сборки до деплоя. Ключевой узел — ручная регрессия силами QA-бригады, занимающая 24 часа. Если тестирование не проходит (31% случаев), релиз уходит разработчикам на 8-часовую доработку, после чего цикл повторяется.
Сценарии автоматизации меняют длительность шагов: часть ручной работы заменяется прогоном автотестов (ресурс «Инженер автоматизации»). Сценарий редких релизов снижает интенсивность потока в два раза, но увеличивает сложность доработок и долю возвратов.
Какие данные взяли и что честно допустили
- Поток
- экспоненциальный интервал ~65 мин в рабочие часы (09:00–18:00).
- Ресурсы
- CI-конвейер (24/7), QA-бригада (4 чел., 4800 ₽/ч), Разработчики (1500 ₽/ч), Менеджеры (1800 ₽/ч).
- Длительности
- ручная регрессия 24 ч (3 дня), доработка багов 8 ч, приёмка 8 ч.
- Вероятности
- 31% релизов возвращаются на доработку после регрессии.
- Не моделировали
- стоимость разработки новых фич, влияние на моральный дух команды.
Отчёт симуляции: что показал расчёт
Какие сценарии прогнали и чем они отличались
| Сценарий | Что меняли |
|---|---|
| Как есть БазовыйОтчёт | Полная ручная регрессия. Средний цикл занимает 2,5 дня, стоимость одного релиза — 133 689 ₽. |
| Автоматизация 60% сценариев РешениеОтчёт | Решение: стоимость релиза падает до 70 888 ₽, загрузка QA-бригады снижается до 14%. |
| Автоматизация 90% сценариев Отчёт | Дымовая проверка. Стоимость релиза 78 868 ₽ — выше, чем при 60%, из-за затрат на прогон автотестов. |
| Релиз раз в месяц вместо двух недель Отчёт | Регрессий вдвое меньше |
Было и стало
- Было
- Стало
Стоимость релиза , ₽
Срок релизного цикла , дней
Загрузка ручного тестирования , %
Срок цикла, 95-й процентиль , дней
| Метрика | Было | Стало | Изменение |
|---|---|---|---|
| Стоимость релиза , ₽ | 133 689 | 70 888 | −47% |
| Срок релизного цикла , дней | 2,5 | 2,3 | −6% |
| Загрузка ручного тестирования , % | 26 | 14 | −11,6 п.п. |
| Срок цикла, 95-й процентиль , дней | 4,4 | 4,3 | −2% |
Что показал расчёт
Автоматизация 60% — точка оптимума
Сценарий с 60% покрытия даёт минимальную стоимость релиза — 70 888 ₽. При увеличении покрытия до 90% стоимость вырастает до 78 868 ₽ из-за высоких затрат на прогон и поддержку автотестов.
Редкие релизы дороже
Переход на ежемесячные релизы увеличивает стоимость одного релиза на 5% (до 140 479 ₽) и удлиняет цикл до 2,7 дней. Накопленные баги сложнее фиксить, а простои ресурсов растут.
QA-бригада разгружена
В текущем процессе загрузка тестировщиков составляет 26%. При автоматизации 60% она падает до 14%, освобождая ресурсы для исследовательского тестирования или новых задач.
Стабильность сроков
95-й процентиль времени цикла снижается с 4,4 до 4,3 дней. Разница небольшая, но автоматизация снижает вариативность процесса, делая сроки предсказуемее.
Что оказалось не так, как считали
Сколько на самом деле стоит ручное тестирование в релизном цикле?Чем больше автоматизируешь, тем дороже может стать релиз. При 90% покрытия стоимость релиза (78 868 ₽) выше, чем при 60% (70 888 ₽). Последние 30% сценариев требуют непропорционально много времени на прогон автотестов, что съедает экономию от сокращения ручной работы.
Что решили сделать и что получилось
Выбран сценарий автоматизации 60% сценариев. Он обеспечивает минимальную стоимость релиза (70 888 ₽) и оптимальный баланс между затратами на разработку автотестов и экономией на ручном тестировании.
Стоимость релиза снизилась с 133 689 ₽ до 70 888 ₽ (−47%). Загрузка QA-бригады упала с 26% до 14%. Срок цикла сократился с 2,5 до 2,3 дней.
Приёмы оптимизации, которые здесь сработали
Почему на этот вопрос отвечает имитационное моделирование, а совещание — нет
Стоимость процесса — это не сумма ставок. Она включает деньги, замороженные в ожидании, и именно эту часть таблица не считает никогда. Модель показывает полную стоимость заявки, включая цену задержки.
Ручное тестирование занимало 29% цикла и стоило 412 тысяч на релиз; после автоматизации 196 тысяч с окупаемостью за 9 месяцев.
Где этот вывод не работает
Оценка трудоёмкости автоматизации дана командой и может оказаться заниженной. При удвоении срока разработки окупаемость сдвигается до 18 месяцев.
Частые вопросы по этому расчёту
Почему не автоматизировать всё?
Потому что при 90% покрытия стоимость релиза (78 868 ₽) выше, чем при 60% (70 888 ₽). Затраты на прогон и поддержку сложных автотестов превышают экономию от сокращения ручной работы.
Три дня регрессии стоили 5,4 млн в год — как это считается?
В модели стоимость релиза с ручной регрессией составляет 133 689 ₽. При 26 релизах в год это ~3,5 млн ₽ прямых затрат. Остальное — стоимость задержек и простоев других ресурсов (разработчиков, менеджеров), которые ждут завершения цикла.
Если команда волнуется, что 60% автоматизации недостаточно?
При 60% окупаемость максимальна. При 90% стоимость релиза растёт. Рекомендуется начать с 60%, выпустить в боевую, а затем оценить необходимость покрытия оставшихся 30% сценариев.
Если релизы начнут выходить раз в неделю вместо двух?
Модель не рассматривала еженедельные релизы напрямую, но сценарий редких релизов (раз в месяц) показал рост стоимости. Увеличение частоты, вероятно, усилит нагрузку на QA-бригаду, но снизит стоимость доработок. Автоматизация станет ещё выгоднее.
Ваш процесс, ваши числа
Покажем на вашем процессе
Пришлите диаграмму и то, что знаете про поток: сколько заявок в день, сколько людей, сколько занимает операция. Соберём модель, прогоним сценарии, которые вы назовёте, и разберём отчёт вместе — с очередями, загрузкой ресурсов, сроком и стоимостью заявки.
- Присылаете диаграмму и три-четыре цифры про поток
- Собираем модель и прогоняем сценарии, которые вы назовёте
- Разбираем отчёт вместе и обсуждаем, что из него следует
Первый процесс считаем бесплатно: нужна диаграмма и несколько цифр по потоку.