テスト自動化は運用が9割　～効率や品質を改善する上で知っておきたい運用のポイント～

これまで４回にわたり、テスト自動化の大きな運用のポイントを説明してきました。

今回は、運用の効率化を改善すること、テスト環境の規模が大きくなると考えておかないといけないこと、テスト自動化の品質などについて解説します。

一つ一つが大きなものではありませんが、テスト自動化の運用のなかで避けられないもの、役に立つものをご紹介していきます。

第１回：プロダクトの仕様が追加・修正された際に発生する運用について

第２回：テスト実行した後の運用と効率を上げるための３つの工夫

第３回：テスト実行が不安定になる要因とそれを取り除く改善策

第４回：テスト自動化の成果を関係者と共有するために取るべきメトリクス

第５回：効率や品質を改善する上で知っておきたい運用のポイント

もくじ

1. テストケースの見直し
   1. 冗長なテストケース
   2. 不要なテストケース
   3. 価値の低いテストケース
   4. テストデータの見直し
2. テスト自動化にかかわる構成管理
3. テスト自動化の品質に関わる「 偽陰性」・「偽陽性」を減らす
   1. 偽陰性が発生する要因
   2. 偽陽性が発生する要因
4. テスト実行のトレンド分析
   1. プロダクトの不具合傾向
   2. プロダクトのパフォーマンス
   3. テスト自動化の安定度
   4. テスト自動化のパフォーマンス
5. 最後に

1．テストケースの見直し

テストケースが増えていくと、さまざまな課題が発生します。

よく発生する課題と、改善方法について解説します。

1-1　冗長なテストケース

冗長なテストケースとは、同じ機能をテストするテストケースが複数発生することです。特に複数人でテストケースを作成すると、発生する可能性が高いです。

複数のテストケースで同じ機能をテストすること自体には問題はありませんが、トータルのテスト実行時間が長くなってしまいます。

このような場合、テストシナリオを見直して、重複している機能テストを減らすことを行うと、実行時間の短縮につながります。

ただし、ログイン機能といった、どのテストケースでも必要なステップなどは削減する必要はありません（できません）。

1-2　不要なテストケース

不要なテストケースは、すでに廃止された機能のテストケースです。

廃止されているため、当然ですが実行すればエラーになると思います。このようなテストケースは、ソースコードのメンテナンス上残しておくことは望ましくありませんので、削除することをお勧めします。

1-3　価値の低いテストケース

テストケースが多くなった時、そのテストケースを実行する価値があるかを再検討すると良いです。

例えば、

• ほかの機能テストに比べて、重要な機能ではなく、ほとんど使われない機能
• 修正がこれまでに入らない機能で、かつこれまでテストの失敗が発生しない機能
• 仮にこの機能で本番で不具合が発生しても、サービス的に大きな問題が発生しない機能

主として、リスクベースで検討することになりますが、テストケースが肥大化した場合、一度価値のあるテストケースであるかを考えましょう。

実行するテストケースをスリム化することは、テスト自動化運用コストの面で良いでしょう。

1-4　テストデータの見直し

テストケースで使用しているテストデータを一度精査すると、改善する場合があります。

例えば、テスト実行のためのテストデータを毎回作成している場合です。それぞれのテストケースでテストデータを作成するのではなく、一つのテストデータを作成して複数のテストケースで利用できるようになるのであれば、テストデータ作成処理のスリム化になります。