Testim Docs JA

Tricentis Testim ユーザー制作日本語翻訳ドキュメント

実行結果一覧

Testim Docs

実行(Execution)は、単一の実行として実行される 1 つまたは複数のテストのセットです。実行は、自動的に(Scheduler など)または手動で(特定のラベルを含むテストを実行する CLI など)開始できます。Execution Runs 画面には、以前の実行に関する情報が表示されます。これらの実行は、スイート、ラベル、またはテストプランごとにグループ化されます(実行された各テストを個別のエントリとしてリスト表示するTest runsビューとは対照的です)。

Execution Runs 画面の一覧ビュー

実行リスト

実行リストには、個々の実行に関する情報が表示されます。

実行リストテーブルの例

  • Execution: 実行の名前。実行名は、実行がどのように実行されたかに関する追加の詳細を提供します。詳細については、以下の実行名の規則を参照してください。実行名をクリックすると、実行の詳細が表示されます。
  • Branch: 実行のテストブランチの名前
  • Browser (web): 実行で使用されたブラウザ
  • Device (mobile): 実行で使用された物理または仮想デバイス
  • OS (mobile): 実行で使用された物理または仮想デバイスのオペレーティングシステム
  • Started: 実行が開始された時刻
  • Duration: 実行の時間
  • Concurrency: 並列で実行されたテストの数
  • Results: 合格/不合格テストの数
  • Result labels: 実行に追加された結果ラベル。詳細については、結果ラベルを参照してください。
  • Status: 現在の実行ステータス。可能なステータス値は次のとおりです。
  • Passed - 実行内のすべてのテストが合格しました。
  • Failed - 実行内の少なくとも 1 つのテストが失敗しました。
  • Queued - 実行が処理待ちです。
  • Running - 実行が処理中です。
  • Aborted - 実行が停止/中止されました。
  • Timeout - 実行が設定されたタイムアウト期間内に結果を返しませんでした。タイムアウトステータスは必ずしも最終ステータスではありません。詳細については、以下の注記を参照してください。

実行名の規則

実行名は、実行がどのように実行されたかに関する追加の詳細を提供します。

実行名 説明
Remote run (Testim Editor) テストライブラリから特定のテストをリモート(グリッド上)で実行する場合
Local suite
  • テストライブラリから特定のテストをローカルで実行する場合
  • スイートライブラリから特定のスイートをローカルで実行する場合。Test Editorから単一のテストを実行した場合は表示されません。
<suite name> または
<label name> または
<test plan name>
  • CLI を使用して特定のスイートおよび/またはラベルを実行する場合
  • CLI を使用して特定のテストプランを実行する場合。CLI または Scheduler を使用して複数のテストプランを実行する場合は、複数の実行エントリが作成され、各テストプランが独自の実行エントリを持ちます。
ラベルまたはスイートで特定の Scheduler を実行する場合
<スケジューラー名>//<テストプラン名> テストプランで特定の Scheduler を実行する場合
CLI を使用して複数のテストプランを実行する場合、各テストプランが独自の実行エントリを持ちます。

統計パネル

統計パネルには、現在表示されている実行の集計統計が表示されます。

統計パネルのサマリー表示

  • Success Rate: すべてのテストが合格した実行の割合を表示します。上記の例では、リスト内の実行の 67%(3 つのうち 2 つ)が合格しています。
  • Executions Passed: 合格した実行の総数を表示します。
  • Average Duration: 各実行を完了するのにかかった平均時間を表示します。上記の例では、3 つの実行(1 分、2 分、37 秒)があり、平均は 1 分 13 秒です。

実行グラフ

実行グラフは、実行数と実行ごとのテスト数の概要を提供します。特定の実行をドリルダウンして検査し、各テストの結果を確認できます。ステータス、時間、実行/ラベルでフィルタリングすることもできます。グラフにカーソルを合わせると、各実行の詳細が表示されます。

実行グラフの例

  • X 軸: 実行が行われた時刻を含む圧縮されたタイムラインを表示します。
  • Y 軸: 実行の数を表示します。

実行グラフの非表示/表示

実行グラフを非表示にするには:

  1. グラフの上にあるHide sectionボタンをクリックします。

グラフを非表示にする操作

Testim はグラフを折りたたんで非表示にします。

  1. グラフを再度表示するには、Execution Runs タイトルの下にあるShow sectionボタンをクリックします。

グラフを再表示した状態

Testim がグラフを表示します。

実行操作

操作パネルを使用すると、実行リストをフィルタリングし、リストをエクスポートできます。次のアクションが利用可能です。

  • Filter by Run Date: 指定された期間中に実行された実行のみを表示します。
  • Advanced Filters: ステータス、ブラウザ、テストプラン、ラベル、またはブランチに基づいて実行のみを表示します。
  • Export Execution List: 現在表示されている実行のリストを CSV 形式でダウンロードします。
  • Search Execution List: 名前で実行を検索し、検索条件に一致する実行のみを表示します。

実行日でフィルタリング

実行を日付でフィルタリングするには:

  1. 操作パネルのFilter by Dateボタンをクリックします。

日付フィルターの指定画面

  1. 事前定義されたリストからフィルターを選択するか、カスタムの日付範囲を選択します。

事前定義フィルターとカスタム範囲

Testim は、選択した期間に基づいて実行リストを自動的にフィルタリングします。このフィルタービューの保存について詳しくは、フィルタービューの保存を参照してください。タイトルの横の数字は、選択したフィルターに一致する実行の数を表示します。

フィルター適用後の実行一覧

詳細フィルター

実行リストに詳細フィルターを適用するには:

  1. 操作パネルのAdvanced Filtersボタンをクリックします。

詳細フィルターを開くボタン

Testim がFilter Execution Runsパネルを表示します。

Filter Execution Runs パネル

  1. 目的のフィルターを選択し、Applyボタンをクリックして実行リストにフィルターを適用します。このフィルタービューの保存について詳しくは、フィルタービューの保存を参照してください。

詳細フィルター適用後の一覧

  1. すべてのフィルターを削除するには、詳細フィルターパネルのReset filtersリンクをクリックします。

フィルターリセットリンク

タイトルの横の数字は、選択したフィルターに一致する実行の数を表示します。

フィルター件数の表示例

実行リストのエクスポート

現在表示されている実行リストをエクスポートするには:

  1. 操作パネルのExport Execution Listボタンをクリックします。

Export Execution List ボタン

Testim がローカルにダウンロードする CSV ファイルを生成します。

実行を名前で検索

実行を名前で検索するには:

  1. 操作パネルの検索ボックスに実行名を入力します。

実行名での検索ボックス

Testim は、一致する実行名を持つ実行のみを表示します。

検索条件に一致する実行のみ表示

実行詳細画面

実行詳細画面で、特定の実行の追加の詳細を表示できます。
実行の詳細を表示するには:

  1. 実行リスト内のいずれかの実行をダブルクリックします。

実行詳細画面への遷移

Testim が実行詳細画面を表示します。

実行詳細画面の例

実行の詳細

実行詳細画面の上部には、次のような実行に関する基本情報が表示されます。

  • 実行の名前
  • 実行内のテストの総数
  • 実行されたテストの総数
  • 実行 ID

実行テスト統計

統計パネルには、現在表示されている特定の実行の集計統計が表示されます。

  • Success Rate: 合格したテストの割合を表示します。上記の例では、リスト内の 100%(8 つのうち 8 つ)のテストが合格しています。
  • Tests Passed: 合格したテストの総数を表示します。
  • Average Duration: 実行内の各テストを実行するのにかかった平均時間を表示します。上記の例では、8 つのテストが実行され、平均は各 11 秒です。

実行テストリスト

実行詳細画面の下部には、実行に含まれるテストのリストがあります。各テストについて、次の情報が表示されます。

  • Test Name: テストの名前
  • Browser (web): 実行で使用されたブラウザ
  • Device (mobile): 実行で使用された物理または仮想デバイス
  • OS (mobile): 実行で使用された物理または仮想デバイスのオペレーティングシステム
  • Started: テストが開始された時刻
  • Duration: テスト実行の時間
  • Result labels: 結果タグ
  • Failure Type: テストが失敗した場合、失敗のタイプを表示します。表示される可能な失敗タイプの値は次のとおりです。
  • Bug in app(アプリのバグ)
  • Environmental Issue(環境の問題)
  • Invalid test data(無効なテストデータ)
  • Test design(テスト設計)
  • Other(その他)
  • Untagged(タグなし)
  • Status: 現在の実行ステータス。表示される可能なステータス値は次のとおりです。
  • Passed(合格)
  • Failed(不合格)
  • Queued(キュー)
  • Running(実行中)
  • Aborted(中止)
  • Timeout(タイムアウト)
  • Information Icon: 情報アイコンにカーソルを合わせると、次のようなテストに関する追加の詳細を取得できます。
  • Status(ステータス)
  • Base URL (web): テストの実施に使用されたベース URL
  • Device Info (mobile): テストの記録に使用された物理または仮想デバイスのデバイス名とオペレーティングシステムを含む
  • Application (mobile): テストの記録に使用されたモバイルアプリ名
  • Test Data: テストの実施に使用されたテストデータ。「See Test Data」をクリックして、テストで使用されたパラメーターを表示します。

テスト操作

実行詳細画面から、さまざまなアクションを実行し、実行に関する追加の技術的詳細を確認できます。

  • 現在実行中の実行を中止する
  • 単一のテストを再実行する
  • 詳細なデバッグ情報を表示する
  • テスト履歴を表示する
  • 失敗タイプをタグ付けする
  • 実行詳細に表示されるテストをフィルタリングする
  • テストの詳細を表示する

現在実行中の実行を中止する

テストの実行中に実行詳細画面を表示している場合、実行を中止して、それ以上のテストが実行されないようにすることができます。
実行を中止するには:

  1. Execution Runs 画面で、現在実行中の実行をダブルクリックします。
  2. Abort Runボタンをクリックします。

Abort Run ボタンの位置

Testim が実行を停止します。

実行詳細画面から直接テストを再実行する(Web)

実行詳細画面にいる間、テストを再実行できます。

コマンドラインインターフェース(CLI)

実行詳細画面からテストを再実行するには:

  1. 実行詳細画面で、テストリスト内のテストの 1 つを選択します。

実行詳細画面でテストを選択

  1. アクションパネルのRerun with same paramsボタンをクリックします。テストリスト内の任意のテストを右クリックして、Rerun with same paramsを選択することもできます。

同じパラメーターでのテスト再実行

Testim は、Test Editorにいるかのようにテストを実行します。

詳細なデバッグ情報の表示

実行詳細画面から、デバッグに役立つ実行に関する追加情報を表示できます。
詳細なデバッグ情報を表示するには:

  1. 実行詳細画面から、操作パネルの情報アイコンにカーソルを合わせます。

詳細なデバッグ情報のポップアップ

Testim が次の情報を表示します。

  • Concurrency - 現在の実行と同時に実行された実行の数
  • Extension Version - 実行を実行した Testim Extension のバージョン
  • Source - 実行がどのように実行されたか(ローカル、リモートなど)
  • CLI Version - 拡張機能の実行に使用された CLI のバージョン
  • Grid Name - 実行の実行に使用されたグリッドの名前
  • Test Data - 実行の実行に使用されたパラメーターおよびその他のテストデータを表示

テスト履歴の表示

実行詳細画面から、実行内の特定のテストの履歴を表示できます。これにより、過去のテスト実行に関する情報が得られます。
実行詳細画面からテスト履歴を表示するには:

  1. テスト行を右クリックし、Test Historyを選択します。

Test History メニューの選択

Testim がその特定のテストのみのテスト履歴を表示します。

テスト失敗のタグ付け

テストが失敗した場合、特定の失敗タイプで失敗をタグ付けできます。
Execution Runs 画面から失敗タイプをタグ付けするには:

  1. テストリスト内の失敗したテストを右クリックし、Tag failure typeを選択します。

失敗テストに対する Tag failure type 操作

  1. テスト失敗タグ付け画面を完了します。詳細については、失敗した実行への失敗タイプのタグ付けを参照してください。

失敗タイプタグ付け画面

実行結果画面に表示されるテストのフィルタリング

デフォルトでは、Testim は実行結果画面に実行に含まれるすべてのテストを表示します。ただし、より洗練されたビューのためにテストをフィルタリングできます。
実行結果画面に表示されるテストをステータスでフィルタリングするには:

  1. 操作パネルのAdvanced Filtersボタンをクリックします。

ステータスでテストをフィルタリング

  1. フィルターパネルのStatusセクションから 1 つ以上の値を選択します。

ステータスフィルター選択画面

  1. Applyボタンをクリックして、実行リストにフィルターを適用します。

ステータスフィルター適用後の結果一覧

実行結果画面に表示されるテストをテスト所有者でフィルタリングするには:

  1. 操作パネルのAdvanced Filtersボタンをクリックします。

Test Owner フィルターの Advanced Filters

  1. フィルターパネルのTest Ownerセクションから 1 つ以上の値を選択します。

Test Owner の選択画面

  1. Applyボタンをクリックして、実行リストにフィルターを適用します。

Test Owner フィルター適用後の結果一覧

実行結果画面に表示されるテストを失敗タイプでフィルタリングするには:

  1. 操作パネルのAdvanced Filtersボタンをクリックします。

失敗タイプフィルターの Advanced Filters

  1. フィルターパネルの失敗タイプセクションから 1 つ以上の値を選択します。

失敗タイプの選択画面

  1. Applyボタンをクリックして、実行リストにフィルターを適用します。

失敗タイプフィルター適用後の結果一覧

実行結果画面に表示されるテストをラベルでフィルタリングするには:

  1. 操作パネルのAdvanced Filtersボタンをクリックします。

ラベルフィルターの Advanced Filters

  1. フィルターパネルのLabelセクションから 1 つ以上の値を選択します。
  2. 次のいずれかのオペランドを選択します。
  3. OR - 選択したラベルの 1 つ以上を含むテストを返します。
  4. AND - 選択したすべてのラベルを含むテストのみを返します。
  5. Applyボタンをクリックして、実行リストにフィルターを適用します。

ラベルフィルター適用後の結果一覧

テストの詳細を表示

実行結果画面から、テスト実行に直接移動し、テストのステップバイステップの詳細を表示できます。これは、テストのどのステップが失敗したかを確認したい場合に役立ちます。
実行内のテストのステップバイステップの詳細を表示するには:

  1. 実行結果画面から、テストリスト内のテストの任意の場所をダブルクリックします。

テスト行をダブルクリックして詳細に移動

Testim がテストの詳細なステップを表示します。

テスト実行のステップ詳細画面