Рис. 10.1. Деятельности в рамках тестирования
Не все деятельности в рамках тестирования выполняются последовательно, многие могут выполняться параллельно.
Управление тестированием. Управление тестированием включает в себя следующие действия:
планирование ресурсов для тестирования;
распределение что и когда должно тестироваться;
управление инцидентами, ошибками, проблемами, рисками;
проверка того, что известные ошибки и документация обработаны;
отслеживание прогресса и сбор данных от обратной связи с различными этапами тестирования;
осуществление незначительных изменений для уменьшения ошибок в промышленной эксплуатации;
фиксация базового состояния конфигураций;
тестирование набора метрик, анализ, ведение отчетности и управление.
Метрики тестирования используются для оценки деятельностей в рамках тестирования. Они позволяют персоналу, ответственному за тестирование, контролировать прогресс и успешность тестирования.
Планирование и проектирование тестирования
Планирование и проектирование тестирования рассматривает следующие вопросы:
обеспечение ресурсами;
программное, аппаратное обеспечение, персонал и другие мощности;
необходимые ресурсы со стороны бизнеса/заказчиков;
поддерживающие услуги;
определение дат контрольных точек;
согласованное время предоставления результатов тестирования;
точка и время приемки;
финансовые требования.
Проверка плана и проекта тестирования контролирует то, что:
модель тестирования предоставляет адекватные и подходящие тесты, покрывающие все риски, связанные с услугой;
модель тестирования покрывает все ключевые аспекты интеграции и интерфейсов;
сценарии тестирования точные и завершенные.
Подготовка среды тестирования, в том числе фиксирование базового состояния для начала тестирования.
Осуществление тестирования - проведение тестов с использованием ручных или автоматизированных процедур. Если тестирование провалилось, причины должны быть документированы. Тестирование должно проводиться в соответствии с принятыми планами и стратегиями тестирования.
Достижение критериев выхода и формирование отчета
Результаты тестирования должны быть сравнены с прогнозируемыми. Они могут быть интерпретированы в терминах "прием/отклонение" тестирования; рисков для бизнеса или поставщика; изменении спроектированной ценности, вызванное увеличением издержек или уменьшением выгоды от использования услуги. По результатам тестирования формируется итоговый отчет.
завершение тестирования.
Входами процесса Подтверждения и тестирования услуг являются:
пакет услуг;
Пакет уровня услуг (SLP);
интерфейсы поставщика услуг;
проектная документация (SDP);
планы релизов и развертывания;
критерии приемки;
Запросы на изменения.
Основными выходами процесса Подтверждения и тестирования услуг являются:
формирование базового состояния конфигураций для проведения тестирования;
осуществляемые тесты;
результаты этих тестов;
анализ результатов - сравнение реальных и прогнозируемых данных, анализ выявленных в ходе тестирования рисков.
Ключевые показатели производительности процесса Подтверждения и тестирования услуг:
первостепенные показатели отражают ценность для бизнеса и заказчиков:
раннее подтверждение того, что услуга сможет предоставлять предсказанную ценность;
уменьшение негативного влияния ошибок и инцидентов в промышленной эксплуатации;
более эффективное использование ресурсов;
уменьшение задержек в тестировании, которые влияют негативно на бизнес;
улучшение понимания новой или измененной услуги;
четкое понимание ролей и ответственностей, относящихся к новой или измененной услуге;
затраты и ресурсы, необходимые от пользователей и заказчиков.
второстепенные показатели - внутренние по отношению к поставщику услуг. Эти показатели отражают эффективность и результативность тестирования:
объем работ и стоимость настройки среды тестирования;
объем работ для нахождения дефектов;
уменьшение повторяющихся ошибок - достигается за счет обратной связи тестирования с проектированием и внедрением. Благодаря анализу результатов тестирования ошибки исключаются из будущих релизов;
уменьшение количества ошибок/дефектов на поздних стадиях тестирования и в процессе производства;
повторное использование данных тестирований;
количество ошибок на каждой стадии жизненного цикла;
количество и процентное соотношение ошибок, которые были обнаружены в ходе тестирования;
инциденты, найденные в ходе тестирования, как процент от общего количества инцидентов, произошедших в ходе эксплуатации;
количество известных ошибок, задокументированных на ранних стадиях тестирования.