Некоторые аспекты нельзя определить, просто прочитав код. Отправляется ли форма, завершается ли сценарий, корректно ли отображается страница — для этого нужно запустить приложение и взаимодействовать с ним.
Тесты в браузере позволяют Coroid проверять такие случаи. Найти их можно в разделе Качество → Тесты → Браузер.
Сценарии
Сценарий описывает пользовательский поток на понятном языке: что нужно сделать и какими должны быть результаты после этого.
Sign in as a standard user, open the billing page, and change the
plan from Free to Professional.
Expect: the confirmation dialog lists the new monthly price, and after
confirming, the plan shown in the header is Professional.Описывайте ожидаемые результаты как видимые признаки. Фраза «страница работает» не даёт точного критерия для провала; а вот «в шапке отображается надпись „Professional“» — да.
Цели тестов и учётные записи
Это цель теста — это среда, в которой выполняется сценарий, обычно это превью изменения, которое подлежит проверке.
Цели тестов имеют собственную конфигурацию и учётные записи для тестирования. Учётные записи для тестирования — это специальные учётные данные, созданные для этих целей.
Условия по результатам
Результаты тестов в браузере могут использоваться для настройки ограничения по качеству так же, как и любая другая проверка — в режиме блокировки или предупреждения.
В данном случае режим предупреждения является стандартным вариантом, в отличие от других случаев. Тесты в браузере — самый нестабильный тип проверок в любой системе: они зависят от времени, сети и работающей среды. Сделайте их блокирующими только после того, как убедитесь в стабильности конкретного сценария при множестве запусков.
Как сохранить их полезность
- Немного, но важное. Десять сценариев, охватывающих критически важные потоки, эффективнее, чем сто сценариев, покрывающих всё подряд. Каждый из них увеличивает время выполнения при каждом запуске.
- Независимые. Если один сценарий зависит от предварительного выполнения другого, он может давать неоднозначные ошибки.
- Очищайте данные. Сценарий, создающий данные, не должен оставлять состояние, которое нарушит следующий запуск.
Если сценарий завершается ошибкой
Сначала проверьте доказательства, а не код. При запуске в браузере фиксируется то, что произошло, и чаще всего причинами являются внешние факторы — превью не было готово, зависимость не работала, учётная запись была заблокирована.
Настоящая ошибка воспроизводится при повторном запуске. Временная ошибка — нет.