Процитирую:
Неформальные исследования показали, что процент багов, найденных автоматизированными тестами удивительно низок. Проекты с серьезной, хорошо спроектированной автоматизацией говорят, что регрессионные тесты находят около 15% багов от общего количества (Marick, online).
Автоматизированные регрессионные тесты, как правило, находят больше ошибок во время разработки тестов, чем во время их дальнейшего выполнения.
Со своей стороны не могу не прокомментировать - это именно так в большинстве случаев.
Причин на то несколько:
- автотесты требуют большей точности к деталям и часто определение нормального поведения системы сильно меняется в процессе тест-дизайна под автоматизацию
- то что человек будет считать нормальным робот зарубит - это для вас нет разницы за сколько миллисекунд отзывается сервер.
- если ваши разработчики не являются бригадой упырей и вурдалаков, то первый же сигнал от автотестов получит нормальную реакцию с их стороны и скорее всего эта лампочка никогда больше не станет красной (либо станет окончательно зеленой спустя некоторое время) - отчасти отсюда и вытекает то, что автотесты находят мало.
- автотесты становятся outdated - они отстают от того что из себя представляет система, и в том числе поэтому не могут отловить баги на этом промежутке времени - между тем моментом когда они были актуальны и тем моментом когда они станут актуальны. Угадайте когда этот интервал времени? Правильно, на релизе.
1. О, да... Первый месяц раз в два дня прибегал и орал, мол, бага. А мне говорили, что это не бага, это недоделанная фича и вообще.
ОтветитьУдалить2. Мы фигачим тесты на вебку с асинхроном, так что эта проблема особенно актуальна, ага,
4. С отставанием ситуация интересна.
Сама фраза "отстаем" - неверна. Мы уже догнали и при желании обгоним. Но есть нюанс.
Мы не покрываем все многообразие вариантов, взаимосвязей и зависимостей.