Система управления тестированием (Test Management System, TMS) позволяет планировать, отслеживать и проверять результат выполнения тестов. Благодаря TMS можно быстро сделать вывод, работает ли продукт, как ожидалось, или требует исправления и доработки. Эксперты компании IBS AppLine рассказывают чем еще полезны системы тест-менеджмента и какие из них используют в своей работе.
Зачем нужна Test Management System
Системы тест-менеджмента помогают выстроить и оптимизировать процессы тестирования, а также получить быстрый доступ к инструментам групповой работы, обеспечить качественное взаимодействие проектных команд. В системах управления тестированием хранится информация о тест-планах — о том, как должно проводиться тестирование и в какой очередности. Кроме того, такие системы позволяют в любой момент получать отчеты о стадии тестирования и качестве тестируемого продукта.
Для чего используют инструменты тест-менеджмента
# 1 Улучшение качества ПО
Разработчики преследуют одну цель — создать и предложить продукт, который мог бы удовлетворить требования заказчика. Тестирование программного обеспечения выявляет возможные ошибки и находит дефекты, из-за которых этот продукт работает не так, как планировалось. В работе над улучшениями ПО инструмент управления тестированием предоставляет отчетность о готовности новой функциональности к выпуску на основе работы команды тестирования.
# 2 Мониторинг результатов тестирования
Разработка программного обеспечения — это процесс, который требует значительных затрат времени и усилий. Когда продукт разработан, подключаются тестировщики, которые проводят его оценку и занимаются фиксированием неполадок при возникновении ошибок. Разработчикам требуются динамические отчеты о текущей работоспособности продукта, чтобы точно оценивать, анализировать и устранять обнаруженные ошибки в системе. Отсроченное вмешательство может нанести еще больший ущерб, следовательно, необходима TMS, которая визуализирует процесс тестирования и по возможности выдаст результаты в режиме реального времени.
# 3 Снижение количества рутинных задач
При выполнении рутинных задач и повторяющейся монотонной работе риск ошибки возрастает. Инструмент управления тестированием помогает снизить вероятность того, что люди будут выполнять одинаковую работу. Test Management System направит задачу именно тому человеку, который должен ее решить, предотвратит дублирование работы, что сэкономит временные и другие ресурсы.
# 4 Повышение продуктивности команды
Согласовать и синхронизировать усилия команды — приоритетная задача инструмента тест-менеджмента. Продуктивность IT-специалистов влияет на объемы и результаты работ, что в конечном счете создает настрой и для всей компании.
# 5 Защита информации о тестировании
Стоит использовать только те инструменты, которые гарантируют, что данные, обрабатываемые в программном обеспечении, будут в безопасности. Большинство TMS имеет возможность настройки по ролям, то есть имеет несколько вариантов пользовательских доступов. Ограничение доступа к конфиденциальной информации снижает вероятность ее утечки в сеть. Отдавайте приоритет инструментам, имеющим специальные сертификаты, что указывает на их соответствие современным стандартам безопасности.
Что должно быть в удобной TMS
Управление тестовыми сценариями
Выбирайте Test Management System, которая поддерживает анализ уже существующих тест-кейсов по выбранным метрикам, покрытие тестами, согласно требованиям, планирование тестирования по расписанию и пр.
Управление автоматизированным тестированием
Идеальная TMS позволит управлять ручным функциональным и автоматизированным тестированием в одной среде. Это требование становится критичным, если на проекте планируется или уже используется автоматизированное тестирование. Обратите внимание, предоставляет ли выбранный инструмент плагины для тех фреймворков, которые вы уже используете, например для UFT, TestComplete и Selenium.
Управление нагрузочным тестированием
Для многих проектов важно отслеживать не только запуски функциональных тестов, но и тестирование производительности. Управление нагрузочным тестированием, как правило, не включается в TMS и идет отдельной системой. Однако гораздо удобнее, когда все это есть вместе. Мониторинг и оценка прошлых запусков станет прозрачнее, если результаты будут храниться в одной системе управления тестированием. АС «Кайман», о которой мы расскажем чуть позже, в этом смысле — исключение.
Поддержка версионности тестовых сценариев
Как и сам продукт, тестовые сценарии могут иметь несколько версий. Хорошая система управления тестами предоставляет инструменты для хранения и управления разными версиями тест-кейсов без создания дубликатов.
Переиспользование тестовых сценариев
Авторизация, регистрация, заполнение формы заказа — сценарии, часто повторяющиеся в тестовых случаях. Хорошая TMS хранит тест-кейсы, которые при удобном случае можно будет переиспользовать.
Импорт и экспорт тестовых сценариев
Если для проекта уже написана тестовая документация, нужен простой способ импортировать существующие тест-кейсы в систему управления тестированием. Также может пригодиться функция экспорта тестовых сценариев для внешней отчетности или интеграции с другими сервисами. Импорт и экспорт обычно осуществляются в форматах JSON, CSV, XML.
Связь ручных сценариев с требованиями
Одна из задач тестировщика — обеспечить покрытие технических и бизнес-требований тестовыми сценариями. Если необходимо осуществлять мониторинг покрытия и качества тестовой документации, используйте Test Management System, которые показывают такую связь.
Пользовательские атрибуты в тестовых сценариях
Зачастую для сбора метрик не хватает полей в тест-кейсах, которые система предлагает по умолчанию. Если известно, какие метрики нужны для анализа процесса тестирования, выбирайте те TMS, которые позволяют настраивать поля под нужды пользователя.
Управление планами тестирования
TMS помогает не только организовать текущий поток задач, но и продумать будущие этапы верификации и валидации продукта.
На этапе планирования тестирования формируется набор задач, позволяющих определить, что тестировать, почему, когда и где. На этой же стадии осуществляется управление тест-кейсами: исключаются избыточные проверки, а также выделяются группы, которые следует обновить перед началом тестирования. Необходимые конфигурации программного и аппаратного обеспечения будут определены и задокументированы в TMS.
Наиболее удобные системы, по оценке специалистов IBS AppLine
Сравнение систем тест-менеджмента по функционалу
ALM Octane (ранее HP ALM) — одна из самых известных систем управления тестированием. Сложность в использовании, которая может ощущаться в первое время, с лихвой покрывается множеством мануалов и видеоинструкций по настройке и использованию приложения. Предоставляет высоко детализированные отчеты, поэтому успешно используется в крупных компаниях, где особо концентрируются на деталях производства.
Преимущества системы управления тестированием ALM Octane:
- управление тестовыми сценариями и автоматизированными тестами;
- управление релизами;
- интеграция с Jira;
- ролевая модель разграничения доступов;
- настройка уведомлений;
- индивидуальные дашборды «Мои задачи» для каждого участника;
- облачная версия;
- наличие бесплатного пробного периода (30 дней).
Минусы:
- отсутствует система управления нагрузочными тестами;
- нет интерфейса на русском языке.
TestIT — отечественный продукт, разработанный «тестировщиками для тестировщиков». Система гибкая и предоставляет возможность кастомизации как для создания тест-кейсов, так и для политики безопасности и прав доступа.
Основные плюсы:
- управление тестовыми сценариями и автоматизированным тестированием;
- интерфейс на русском языке;
- есть дашборд «Мои задачи»;
- интеграция с Jira;
- ролевая модель разграничения доступов;
- управление уведомлениями.
Минусы:
- отсутствует система управления нагрузочными тестами;
- не имеет облачной версии.
TestRail — широко известный инструмент, используется не только командами QA, но и разработчиками. Система предоставляет различные возможности планирования тестирования в зависимости от выбранной методологии для разработки продукта.
Основные плюсы:
- управление тестовыми сценариями и поддержка версионности;
- возможность управления релизами;
- есть дашборд «Мои задачи»;
- планирование тестирования;
- управление автоматизированными тестами;
- интеграция с Jira;
- ролевая модель разграничения доступов;
- настройка уведомлений.
Минусы:
- не имеет системы управления нагрузочными тестами;
- нет интерфейса на русском языке.
Zephyr — плагин Zephyr для Atlassian Jira, предлагает полную интеграцию процесса тестирования с процессами команды разработчиков. Тестовые сценарии создаются и управляются так же, как и любые другие задачи в Jira. Очевидное преимущество — ссылки на user story и баги в одной системе.
Основные плюсы:
- управление тестовыми сценариями и поддержка версионности;
- возможность управлять релизами;
- планирование тестирования с помощью тестовых циклов;
- управление автоматизированными тестами;
- прямая интеграция с Jira.
Минусы:
- не имеет системы управления нагрузочными тестами;
- нет дашборда «Мои задачи»;
- отсутствует ролевая модель.
«Кайман» — универсальная система с поддержкой всех видов тестирования ПО — ручного, автоматизированного, нагрузочного. Сокращает время на поддержку и актуализацию тестовых сценариев, а также снижает временные и финансовые издержки на каждой итерации тестирования. Разработана профессионалами в сфере тестирования из компании IBS AppTest для специалистов-тестировщиков.
Главные преимущества:
- управление тестовыми сценариями;
- планирование тестирования;
- управление автоматизированными и нагрузочными тестами;
- интеграция с Jira;
- пользовательские атрибуты в тестовых сценариях;
- управление уведомлениями;
- в ближайших планах — регистрация решения в Реестре российских программ для ЭВМ и БД.
На рынке также есть оpen source-системы хранения тест-кейсов, такие как TestLink, которые не требуют лицензии. Как правило, их функциональность сильно урезана, а интеграции придется дополнительно настраивать. Если есть потребность в полноценной системе управления тестирования, а не просто в хранилище, лучше обратиться к лицензионным аналогам TestLink и подобных систем.
Как итог
Каждую систему необходимо подбирать согласно тем задачам, которые ставятся перед тестированием и менеджментом. Компания IBS AppLine является официальным поставщиком системы «Кайман». Если вам нужна полноценная система управления тестированием или вы сомневаетесь в своем выборе, обращайтесь за консультацией и расчетом стоимости к нашим специалистам.