5 свежих инструментов для тестирования ПО

Содержание статьи

• Testmo
• QA Wolf
• Testigma
• BugBug
• ClickUp

Для обзора мы выбрали 5 актуальных инструментов тестирования мобильных, веб- и десктоп-приложений. Они пригодятся для разных видов и этапов тестирования ПО, например, для сквозного тестирования, для управления циклами и для отслеживания ошибок.

Эти инструменты — технологические решения последних лет, которыми пользуются тестировщики по всему миру. В обзоре вы найдете как бесплатное и открытое ПО, так и коммерческие варианты.

Testmo

Testmo — это унифицированное программное обеспечение, с помощью которого можно управлять всей деятельностью IT-команды по контролю качества и тестированию. 

• Testmo позволяет настраивать и масштабировать управление тест-кейсами, поддерживает исследовательское тестирование и управление сессиями. Интегрируется с множеством инструментов для автоматизации и отчетности.

_{Интерфейс системы Testmo}

Основная функциональность

• Управление тестовыми наборами, тест-кейсами, прогонами и их результатами.
• Контроль исследовательского тестирования, ведение заметок.
• Полная интеграция с Jira, GitHub, GitLab, Jenkins, Bitbacket и другими инструментами.
• Интеграция с инструментами автоматизации тестирования, CI/CD-конвейером, инструментами DevOps.
• Гибкая система создания отчетов, широкий выбор метрик, обновление дашбордов и графиков в реальном времени.
• Высокий уровень кастомизации с возможностью создавать процессы и артефакты в необходимом формате.
• Масштабируемость под разные размеры команд.

Стоимость

Есть только платные версии: 

• Team — до 10 пользователей за $99 в месяц;
• Business — $299 в месяц за каждые 25 пользователей;
• Enterprise — $499 в месяц за каждые 25 пользователей.

Плюсы 

• Поддержка исследовательского тестирования, ведение заметок.
• Полезные метрики для пользователей, чтобы улучшить производительность тестирования.

Минусы

• Только облако, нельзя развернуть локально.

QA Wolf

QA Wolf — это гибридная платформа и сервис, который помогает командам быстрее выпускать качественное ПО за счет отказа от программирования тестов своими силами. 

Вы можете отдать написание автотестов на аутсорс команде QA Wolf, а затем следить за запусками и поддержкой автоматических сквозных тестов через приложение. При развертывании, а затем и ежедневно, тесты проверяют основные пользовательские процессы, например, вход в систему. 

• По результатам тестирования QA Wolf либо вносит правки в тесты, либо предоставляет отчеты об ошибках.

_{Интерфейс системы QA Wolf}

Основная функциональность 

• Генерация Javascript-кода на основе действий тестировщика на сайте.
• Возможность запуска параллельных тестов в развертываниях Netlify или Vercel.
• Интеграция с Slack, Vercel и GitHub.
• Возможность повторно запускать определенные строки кода.
• Журналы и видео для документации сбоев после непройденных тестов.
• Интеграция в процесс CI/CD.
• Автоматизация планирования тестов, отслеживание активности.
• Импорт и экспорт данных, гибкие отчеты, аналитика и визуализация данных в реальном времени.
• Совместимость с Юникод.

Стоимость

Есть только платная версия. Стоимость рассчитывается на основе объема работ. 

• Однако в QA Wolf обещают, что их услуги обойдутся в два раза дешевле, чем собственная разработка.

Плюсы

• Интуитивно понятное и простое создание и запуск тестов без программирования.
• Запуск и исправление тестов внутри браузера, без локальной пересборки или сборки CI.

Минусы

• Нет интеграции с многими широко используемыми инструментами.

Testsigma

Testsigma — это облачная платформа для автоматизации тестирования, которая позволяет Agile-командам упростить и ускорить контроль качества веб-приложений, мобильных приложений и API без настройки и фреймворка. 

• Вам достаточно записать шаги сценариев на английском языке. Дальше Testsigma, используя ИИ-движок, преобразует их в автотесты и будет поддерживать актуальность, например, при изменении интерфейса системы.

_{Интерфейс системы Testsigma}

Основная функциональность 

• Персонализация информационных панелей для каждой роли. 
• Быстрый доступ к результатам последнего прогона и к списку последних действий.
• Единая платформа для управления тестированием веб-приложений, Android Web, Android Native, iOS Web, iOS Native-приложений и веб-сервисов.
• Управление пользователями.
• Создание специализированных артефактов, например, категории требований, типов и приоритетов тестовых наборов.
• Управление и миграция тестов одним кликом мыши.
• Планирование тестов и их параллельное прохождение.
• Настраиваемые динамические и контекстно-зависимые отчеты. 
• Автоматическая отчетность об ошибках.
• Интеграция с Jenkins, Circle CI, Jira, YouTrack, Slack, Browserstack и т.д.

Стоимость

Есть бесплатная версия с возможностью последовательного запуска тестов. Платная версия — от 1 до 25 параллельных тестов от $349 до $8725 в месяц при покупке подписки на год. Также доступен кастомный тариф.

Плюсы

• Разработка автоматизированных тестов на английском языке без знания программирования.
• Внедрение ИИ для упрощения поддержки автотестов. 

Минусы

• Отсутствие простой возможности запуска одного набора теста сразу после завершения другого.
• Не решает все проблемы автоматизации тестирования, например, проблемы редактирования тестов при изменении логики страницы или рабочего процесса.

BugBug

BugBug — это облачное ПО для запуска, отладки и управления тестами веб-приложений на едином портале. Платформа позволяет записывать и воспроизводить действия в браузерах для просмотра и редактирования результатов.

_{Интерфейс системы BugBug}

Основная функциональность

• Создание тестов через воспроизведение действий в браузере. 
• Запуск тестов как локально, так и в облаке. 
• Возможность записи новых тестовых шагов в середине теста.
• Автоматизация тестирования по расписанию.
• Интеграция с конвейерами CI/CD.
• Интеллектуальный автоматический выбор наиболее подходящих CSS- или Xpath-селекторов для элемента.
• Прохождение тестов по примеру реальных тестировщиков без ожидания между шагами.
• Поддержка различных фреймворков, например, React, Vue, Angular, jQuery. 

Стоимость

Есть бесплатная версия. Платная версия с более широкой функциональностью стоит $49 месяц. Также доступен кастомный тариф.

Плюсы

• Доступная цена, есть бесплатная версия для небольших проектов.
• Возможность редактирования сразу нескольких тестов путем преобразования шагов теста в компоненты, которые потом можно использовать в разных местах.

Минусы

• Тестирование только для браузеров, проверка нативных приложений недоступна.
• Отсутствие отчетности или анализа тенденций.

ClickUp

Тестирование — неотъемлемый этап жизненного цикла ПО. Планирование разработки, создание функциональных требований, к которым можно обратиться при приемочном тестировании, приоритизация и распределение задач — тестировщик приносит пользу на каждом из этих этапов. Поэтому мы включили в обзор одну из систем управления проектами.ClickUp — это программное обеспечение для управления проектами, которое помогает руководителям и участникам групп придерживаться графика и слаженно выполнять работу. ClickUp позволяет назначать задачи, устанавливать сроки, общаться с командой и настраивать интерфейс в соответствии с потребностями. 

_{Интерфейс системы ClickUp}

Основная функциональность 

• Отслеживание прогресса команды через гибкие приборные панели. 
• Большое количество виджетов, в т.ч. диаграммы BurnUp, BurnDown, Cumulative Flow и Velocity Chart.
• Массовое создание задач из списка.
• Форма отправки сообщений об ошибках и возможность создания задач на основе этих ответов.
• Настраиваемые представления отслеживания ошибок (Agile, Scrum, диаграммы Ганта).
• Определение и отслеживание зависимостей между задачами.
• Широкие возможности для группировки и сортировки задач с помощью статусов, тегов и приоритетов.
• Более 50 вариантов автоматизации для оптимизации рабочих процессов.
• Ведение документов в ClickUp Docs.
• Интеграция с Jira, Slack, Front, Sentry, GitHub, LambdaTest, Marker.io и еще с более чем 1000 инструментов.

Стоимость

Есть бесплатная версия. Платные версии: 

• Unlimited — $5 за пользователя в месяц при покупке подписки на год;
• Business — $12 за пользователя в месяц при покупке подписки на год;
• Business Plus — $19 за пользователя в месяц при покупке подписки на год;
• Enterprise — кастомный тариф, цена согласуется с отделом продаж.

Плюсы

• Наличие бесплатной версии с неограниченным количеством пользователей.
• Управление через мобильные приложения для iOS и Android.
• Несколько шаблонов для управления ошибками по Agile-методологии.

Минусы

• В мобильном приложении нет представления досок.
• Довольно сложная настройка системы.
• Медленные поиск и фильтрация. 

Поделитесь опытом

Многие тестировщики подбирают инструменты под специфику проекта и задачи, которые предстоит решить. А опытные специалисты зачастую предпочитают привычные системы, которые уже настроены под текущие нужды. 

Даже если функционал новой системы в целом покрывает актуальные проблемы, обычно требуется довольно много времени, чтобы ее работа стала по-настоящему стабильной. Энтузиастам это не мешает. Например, кто-то переходит с Jira на ClickUp, так как разработчики ClickUp исправляют баги быстрее. 

А какими инструментами пользуетесь вы? Поделитесь своим опытом и впечатлениями в комментариях.