不安定なテスト

テストは、リトライ後に成功した場合、不安定と見なされます。つまり、最初の試行では失敗し、その後の 1 回以上のリトライで成功した場合です。リトライとその設定方法の詳細については、コマンドライン CLIをお読みください。

Testim は、これらの不安定なテストを見つけ、そのステータスを決定する簡単な方法を提供します。

不安定なテストを見つける

この機能は テストステータス 機能の一部です。この機能を使用するには、Testim LABS 設定で Test Status 機能がオンになっていることを確認してください。
不安定なテストを表示するには:

1. Test List ⇒ Tests に移動します。
2. Filter ボタンをクリックします。
3. Filter Test ペインの Show only flaky tests で、Yes チェックボックスを選択します。

再実行で成功したテストは、「Last Runs」列に黄色のマークが表示されます。

不安定なテストのステータス変更

不安定なテストの理由に基づいて、ステータスを変更することを検討する必要があります。各理由に対して以下のステップが推奨されます:

• テストがまだ作業中で追加の作業が必要 - この場合、テストの実行を継続したい場合は、テストステータスを 「Evaluating」 に変更することをお勧めします。ステータスを変更した後、テストは実行を続けますが、CI/スケジュール実行を失敗させません。
• アプリケーションにバグがある - この場合、2 つのオプションを検討する必要があります:
• バグをすぐに修正したい場合 - テストが 「Active」 ステータスであることを確認してください。これにより、失敗した場合に実行全体が失敗します。その間、アプリケーションのバグ修正に取り組み続けてください。
• バグを後で修正したい場合 - この場合、テストステータスを 「Quarantine」 に変更する必要があります。テストは CI/スケジューラーの一部として実行されません。バグを修正した後、テストステータスを 「Evaluating」 または 「Active」 に変更できます。