Тест-план, тест-стратегия и отчёт о тестировании: что это и из чего состоят

Что такое тест-стратегия

Тест-стратегия бывает отдельным документом или главой тест-плана. Отдельная стратегия, если не углубляться в подробности, – это высокоуровневый тест-план. В программе ISTQB она так и определяется: верхнеуровневое описание процесса тестирования, как правило, на уровне продукта или организации.

В стратегии пишут цели тестирования, например зачем продукту тестирование безопасности или производительности, общие сведения о продукте и виды тестирования: смоук, регресс, ретест, функциональные и нефункциональные проверки. К отдельным функциям их не привязывают. Обычно стратегию составляют для всего продукта, чтобы у заказчика, менеджмента и команды сложилось общее представление о тестировании, реже для отдельного модуля.

Например, в стратегии мобильного банка записано, что каждый релиз проходит смоук и регресс переводов и платежей, тестирование безопасности раз в квартал проводит отдельная команда, а нагрузочное тестирование обязательно перед изменениями в процессинге. Какие кейсы проверят в новой функции, скажем в переводе по номеру телефона, стратегия не описывает. Это решают в тест-плане итерации.

Пример стратегии из моего ролика сделан таблицей в Excel. В строках объекты системы и действия с ними, а в столбцах важность каждого, вид тестовой документации, функциональные и нефункциональные тесты, приоритет, ссылки на тесты и их статус. Такую же стратегию можно написать обычным документом в Word.

Работа над стратегией идёт по шагам.

• 1. Сбор информации

  Разговоры с заинтересованными сторонами, заказчиком и бизнес-аналитиком, чтение документации, исследовательское тестирование продукта.

• 2. Анализ

  Из большого объёма сведений выбирают самое важное и сужают круг задач, как при работе с требованиями.

• 3. Решения

  Какие виды тестирования понадобятся, решают по уже известным требованиям, основным модулям продукта и прошлому опыту.

• 4. Презентация

  Этот шаг необязателен. Готовую стратегию показывают менеджменту, команде или заказчику, если так принято на проекте.

Что такое тест-план и какие они бывают

Тест-план – документ более низкого уровня. Он описывает весь объём работ по тестированию конкретной функции, итерации или релиза, и все активности расписаны в нём подробно. Если стратегия входит в тест-план главой, её части в нём повторяются, но упор сделан на виды тестирования для конкретной функции или итерации.

Стратегию и тест-план обычно пишет менеджер или старший специалист, иногда тестировщик уровня middle и выше, у которого есть опыт с этим или похожим продуктом. В небольшой компании, где тестировщик на проекте один, стратегию, тест-план и отчёты придётся писать ему, даже если он джун.

Тест-планы бывают трёх видов.

• Мастер-тест-план

  Высокоуровневый документ для всех участников проекта с довольно статичной информацией: общие сведения о проекте, все виды тестирования, состав команд, окружения. По нему каждый понимает, чем заняты коллеги и о чём продукт. В глоссарии ISTQB это master test plan, который обычно охватывает несколько уровней тестирования.

• Детальный тест-план

  Пишется для каждой тестовой команды, если их на проекте несколько, а также для каждой итерации или релиза. Информация в нём меняется и касается той части продукта, которую тестирует команда.

• План приёмочных испытаний

  Перечень тестов, которые выполняет заказчик на этапе приёмочного тестирования.

• Пример: сервис бронирования отелей

  Мастер-тест-план описывает весь проект: сайт, мобильные приложения и API, команды и окружения. Команда мобильного приложения пишет детальный план на каждый релиз, команда API – на свою итерацию. План приёмочных испытаний перечисляет сценарии, которые заказчик пройдёт сам: поиск номера, бронирование, отмена и возврат денег.

• СтатьяПроцесс тестирования, если тестировщик на проекте один

Что пишут в тест-плане

Ниже разделы детального тест-плана из урока. В мастер-плане такая детализация не нужна. Состав на каждом проекте свой и зависит от процесса, менеджмента и пожеланий заказчика.

• Виды тестирования

  Всё, что будут применять в этой итерации или для этих функций. Часто этот раздел и называют стратегией тестирования.

• Приоритеты

  Порядок тестирования: функцию, которую заказчик хочет получить первой, первой и разрабатывают, и проверяют. Здесь же пишут, что автоматизируют в первую очередь, например смоук и регресс.

• Окружения

  Сколько их и для чего: dev для разработчиков, стабильная версия на stage для тестировщиков и prod, где работают пользователи.

• Задачи тестировщиков

  Что тестировщики делают и чего не делают: на каких встречах бывают, общаются ли с заказчиком, в каком баг-трекере работают. На некоторых проектах их роль сильно ограничена.

• Тестовая документация

  Чек-листы или тест-кейсы и почему в этой итерации выбрали именно их.

• Техники тест-дизайна

  Например, доменное тестирование, диаграмма состояний и переходов или попарное тестирование, и почему в этой итерации выбраны они.

• Баг-трекинг

  В какой системе заводят дефекты и как устроен их жизненный цикл, например с каким статусом появляется новый баг.

• Критерии начала и окончания

  Когда тестирование начинается, например когда user story перешла в статус "Ready for test". Когда оно заканчивается, например когда не осталось открытых багов с серьёзностью critical.

• Инструменты

  Баг-трекер (Jira, Azure DevOps или таблица Excel), JMeter для тестирования производительности, Burp Suite для тестирования безопасности и всё остальное, что понадобится.

• Оценка качества и метрики

  Когда продукт считается качественным или протестированным, например нет багов уровня critical или проверены все user story. Метрики определяют менеджмент и процесс в компании.

Шаблоны тест-плана: IEEE 829, RUP и план на одной странице

В ролике я показываю два распространённых шаблона. Первый взят из стандарта IEEE 829. План по нему открывают идентификатор, введение и объекты тестирования, то есть требования, спецификации, руководства пользователя и процедуры. Дальше идут функции, которые тестируют и которые не тестируют, подход, критерии прохождения и приостановки, результаты работы. Завершают план задачи, требования к окружению, ответственность, персонал и обучение, расписание, риски и утверждение. В 2013 году IEEE 829 заменила серия ISO/IEC/IEEE 29119, и за примерами тест-планов программа ISTQB отсылает к её третьей части, 29119-3.

Второй шаблон построен по методологии RUP (Rational Unified Process). В нём есть история изменений документа, цель и объём тестирования, используемая документация, требования к тестированию, стратегия, инструменты, ресурсы и роли с обязанностями, сведения о системе, контрольные точки с трудозатратами и датами, результаты и приложения.

Оба документа получаются объёмными, а писать и поддерживать их долго. Поэтому на проектах с гибкой методологией тест-план часто договариваются упрощать. В идеале он помещается на одну страницу, особенно если пишется на итерацию или отдельную функцию, а бывает оформлен и дашбордом из блоков. Если же заказчик требует подробный план по стандарту, писать придётся полный.

Ниже разделы плана на одной странице из урока, заполненные для условной итерации, в которой в интернет-магазин добавляют оплату картой.

• Название и автор

  Тест-план итерации: оплата картой. Составил тестировщик проекта.

• Объём

  Входят оплата картой в корзине и письмо с чеком. Не входят личный кабинет и каталог, их не меняли.

• Новая функциональность

  Ввод данных карты, подтверждение платежа, отказ банка, возврат в корзину после ошибки.

• Другие виды тестирования

  Смоук новой сборки, регресс корзины и оформления заказа, проверка в мобильных браузерах.

• Инфраструктура

  Окружение stage с тестовым режимом платёжного сервиса, баги заводят в Jira.

• Риски

  Платёжный сервис подключат в конце итерации, и на регресс останется мало времени.

• Шпаргалкатест-план

Отчёт о тестировании

Отчёт о тестировании показывает, как прошло тестирование за определённый период. Отчёты бывают промежуточными (дневными, недельными, месячными, по версиям или итерациям) и финальными. В программе ISTQB 2018 года первые называются отчётами о ходе тестирования, вторые – итоговыми отчётами о тестировании, а в версии 2023 года итоговый называют отчётом о завершении тестирования (test completion report).

На своей работе я пишу итерационный отчёт: в конце итерации заполняю шаблон и отправляю его менеджменту, владельцу продукта и представителям заказчика. Из отчёта видно, как прошла итерация с точки зрения тестирования, какой инкремент продукта сдан, каково промежуточное качество и какие user story перешли в следующую итерацию.

Например, отчёт по итерации приложения доставки, в которой добавили отслеживание курьера на карте, сообщает: из 64 кейсов прошли 63. Упавший кейс связан с дефектом medium, карта не обновляется после того, как приложение свернули и развернули, и этот баг переходит в следующую итерацию. Критических дефектов не осталось, поэтому отчёт рекомендует выпуск.

Финальный отчёт пишут, когда работа над продуктом закончена: какого качества добились и в каком состоянии продукт уходит в поддержку или к заказчику. Продукт не всегда отдают без единого бага. Бывает договорённость, что остаются дефекты medium и low, и заказчик подтверждает её своей подписью.

Отчёт оформляют наглядно, с графиками, чтобы читатель с первого взгляда понял, как прошла итерация. В уроке разобран пример отчёта компании Performance Lab: краткое описание процесса, список тест-кейсов с результатами, диаграмма, выводы и приложение с найденными дефектами и их критичностью. Чаще всего в отчёте есть такие разделы.

• Команда

  Тестировщики, их роли и за какие виды тестирования отвечал каждый.

• Сроки

  Период отчёта, например итерация в две недели с такого-то по такое-то число.

• Что тестировали

  Проведённые виды тестирования, число пройденных и обновлённых тест-кейсов, процент пройденных и динамика по сравнению с прошлым отчётом.

• Дефекты

  Критичные баги, или только незакрытые, которые переходят в следующую итерацию, или все найденные. Что именно, зависит от шаблона, принятого в компании или полученного от заказчика.

• Регресс

  Результаты регрессионного тестирования, если его проводили в этом периоде.

• Рекомендация

  Вывод, можно ли выпускать продукт, с обоснованием. Например, на проекте договорились не выпускать продукт, если 20% найденных багов критические, и тогда решение опирается на эту метрику.

• Планы

  Только в промежуточных отчётах. В финальном планов уже нет, потому что работа закончена.

• Шпаргалкаотчёт о тестировании

Видеоурок, шпаргалки и задания

Я разбираю тест-стратегию, тест-план и отчёт о тестировании в отдельном видео на YouTube и показываю шаблоны каждого документа. Шаблоны в каждой компании свои, поэтому на новом месте стоит сразу спросить, какая тестовая документация принята и где лежат образцы. В бесплатном базовом курсе по тестированию тема идёт уроком "Тест-план, тестовая стратегия, отчет по результатам тестирования", и после теории в нём есть задания.

В шпаргалке по тест-плану его можно собрать из разделов и посмотреть, зачем нужен каждый. Шпаргалка по отчёту так же собирает отчёт из блоков и объясняет, на какой вопрос читателя отвечает каждый блок.

• Урок курсаЭтот урок с заданиями – бесплатно
• Мой видеоуроктест-план, тест-стратегия и отчёт по тестированию
• Шпаргалкатест-план
• Шпаргалкаотчёт о тестировании
• Шпаргалкаоценка трудозатрат в тестировании
• СтатьяЧек-лист и тест-кейс: остальная тестовая документация

Курсы по теме

• бесплатный

  Тестирование ПО с нуля. Теория + Практика. Базовый уровень

  Первое рабочее место тестировщика

  89 уроков113 441

Вопросы и ответы