組合せテストとは？技法や手順と使いこなす4つのポイント

ソフトウェアテストには、ソフトウェアの内部構造は意識せずに、入力値と出力結果に着目してテストの振る舞いブラックボックステストという手法があります。ブラックボックステストの技法の一つが「組合せテスト」です。

組合せテスト技法はテストケースを大幅に削減できる、非常に強力な技法です。

しかし、組合せテスト技法はうまく工夫しないと適切な因子・水準を抽出できなくなってしまうため、効率的かつ効果的にテストを行うことが重要です。

この記事では、組合せテスト技法の代表的な手法や大まかな手順、システム開発で組合せテストを使いこなすための4つのポイントをご紹介します。

組合せテスト技法の基本の「き」

テスト技法「組合せテスト技法」について解説しているミニ冊子です。技法の概要から使い方とポイントについて、初心者にもわかりやすく解説しております。

資料ダウンロード

もくじ

1. 組合せテストの概要と大原則
   1. 組合せテストとは
   2. 組合せテストの大原則
2. 組合せテスト技法の代表的な手法
   1. 直交表
   2. オールペア法（ペアワイズ法）
3. 組合せテスト技法の大まかな手順
   1. 因子の洗い出し
   2. 因子ごとの水準洗い出し
   3. 禁則組合せの除外
   4. 表による組合せの作成
4. システム開発で組合せテストを使いこなす4つのポイント
   1. 必要なテストパターンを網羅する因子と水準を設定する
   2. 禁則組合せの抜け漏れや重なりに着目する
   3. 因子や水準の優先度を調整する
   4. 「機能要求」から必要な因子・水準を抽出する
5. 組合せテスト技法を効率化するツール
6. まとめ：組合せテスト技法を取り入れ、効率的にテスト成果を高めよう

1．組合せテストの概要と大原則

組合せテストとは、「ブラックボックステスト」の技法の一つです。ブラックボックステストではソフトウェアの内部構造を考慮せず、入出力にフォーカスして確認を行います。

ここでは組合せテストの概要や、事前におさえておきたい原則について解説します。なお、ブラックボックステストについて詳しくは、次の記事を参考にしてください。

1-1　組合せテストとは

組合せテストとは、複数の条件を組み合わせてシステムの動作を確認するテスト技法です。「単一の条件では発生しないけれど、複数の条件が組み合わさった際に発生する欠陥」を検出できます。例えば、Windows上でMicrosoft Edgeブラウザを用いると問題ないテストケースが、Chromeブラウザだとエラーになるケースも考えられます。このような問題は、OSの条件にブラウザの条件を組み合わせることで、初めて判明します。

組合せテストでは、テスト対象における条件を「因子」、各条件が取りうるパターンを「水準」と呼びます。例えば「OS」を因子とした場合、水準には、「Windows」「macOS」「Linux」などが該当します。あくまで一例ですが、OSやブラウザ、言語といった因子に該当する水準を列挙すると下表の通りです。

しかし、因子や水準には他にも多数のパターンがあり、すべてを組み合わせると膨大なテストケースが必要になるでしょう。このように膨れ上がる組み合わせパターンから価値の高いテストケースを選定することが、組合せテストの重要な目的です。

具体的には、表の横（列）に因子、縦（行）に水準をとり、任意にn列（つまりn因子）を選んだときの水準の組み合わせがすべて1回以上表れるようにします。このような組み合わせを「n因子間網羅」といいます。

組合せテスト技法を端的にいえば、この「n因子間網羅」となるテストケースを作成することです。組合せテスト技法では、特に2因子間網羅をよく使用します。

1-2　組合せテストの大原則

組合せテストの技法は、条件が増えてテスト実行に支障が生じる場合に活用する手法であり、効率性を求めて安易に頼ることは望ましくありません。

どのようなテストであっても、すべての条件の組み合わせを網羅できることが理想です。初めから組合せテスト技法を適用してテストパターンを削減したり、因子や水準の性質を考慮せずに組み合わせを省略したりすると、本来テストケースがカバーするべき条件が満たされない場合があります。

洗い出した因子・水準をそのまま用い、後述する手法を活用しながらテストパターンを作成することが組合せテストの大原則です。テストパターンの削減や効率化に活用するテスト技法は、目的や意図に合わせて見極める必要があります。

2．組合せテスト技法の代表的な手法

組合せテスト技法では、膨大な組み合わせパターンから必要なテストケースを選定するために、主に2つの手法が用いられます。それぞれの基本を知っておきましょう。

2-1　直交表

「直交表」とは、どのn因子を選んだとしても、同数の組み合わせパターンが含まれる表のことです。例として、シンプルな直交表をご覧ください。それぞれ「〇（有効）」「×（無効）」の2水準を持つ4因子を組み合わせた場合の直交表です。

2水準に4因子を組み合わせると、通常は2×2×2×2＝16パターン必要となります。しかし、この表では8パターンに抑えられました。

また、どの2因子の組み合わせ（AB／AC／AD／BC／BD／CD）においても、「××」「×〇」「〇×」「〇〇」がそれぞれ2回ずつ出現します。同様に、どの3因子を組み合わせても同数のパターンが含まれます。このように、任意の因子を組み合わせたときに同数のパターンが含まれるのが直交表です。

直交表は、後述するオールペア法よりも網羅性を高めやすいといえます。その反面、テストケース数が増大しやすく、パターン作成の難易度が高いのがデメリットです。

2-2　オールペア法（ペアワイズ法）

「オールペア法（ペアワイズ法）」とは、どの2因子を選んだとしても、最低1回以上の組み合わせパターンが含まれる表のことです。オールペア法では因子数が最小の「2」でよく、パターンの登場回数にバラつき・重複があっても構いません。

先ほどの4因子・2水準の直交表をオールペア法で表現すると、一例として次のような表になります。

直交表では8パターンでしたが、ペアワイズ法だと5パターンに抑えられました。どの2因子の組み合わせ（AB／AC／AD／BC／BD／CD）においても、「××」「×〇」「〇×」「〇〇」がそれぞれ最低1回以上は出現します。ただし、直交表と比べてバラつきがあり、同じパターンが重複するケースも含まれます。

このように、オールペア法は直交表と比べるとテストケース数を圧縮しやすいのがメリットです。一方で、組み合わせによってバラつきがあり、3因子間以上の網羅度は直交表よりも低くなります。

3．組合せテスト技法の大まかな手順

ここでは、手動により組合せテストを実施する場合の大まかな手順を紹介します。

3-1　因子の洗い出し

まずはOSやブラウザなど、考えられる因子を洗い出しましょう。因子を組み合わせてテストケースを作るため、因子に漏れがあるとテストケースにも漏れが生じます。ただし、この段階で直交表やオールペア法の表に落とし込む必要はありません。

3-2　因子ごとの水準洗い出し

洗い出した因子ごとに、考えられる水準を洗い出しましょう。OSはWindows、macOS...、ブラウザはMicrosoft Edge、Chrome、...といった具合に、水準を列挙します。

なお、水準の洗い出しにおいては「同値分割法」や「境界値分析」といった技法が有効です。それぞれについて詳しくは、以下の記事をご確認ください。

3-3　禁則組合せの除外

洗い出した因子同士を組み合わせていきますが、このとき「禁則組合せ」を除外しましょう。禁則組合せとは、システムの仕様や論理上あり得ない組み合わせパターンのことです。例えば、iOSやmacOS向けのブラウザ「Safari」は、Windowsでは使えません。そのため、Windows×Safariというパターンは禁則組合せといえます。

冒頭に挙げた因子水準表でいえば、以下の横線で消去している組み合わせが除外されるということです（組み合わせは一部抜粋）。

禁則除外後のテーブル

禁則組合せを除外することで無効なテストケースを除外でき、必要なテストケース数を把握しやすくなります。一方で、禁則組合せがあるとテストケースの組み合わせを考えるうえでの制約が多くなります。禁則組合せが多いほど、組合せテストの意義である「n因子間網羅の達成」は難しくなるでしょう。禁則組合せを除外する際には、ほかの組み合わせでn因子間網羅を達成できるかも考えて慎重に行うべきです。

3-4　表による組合せの作成

前述した直交表やオールペア法を用いて、組合せテストのパターンを表に落とし込んでいきます。どの手法を採用するかは、テストに使える工数や求められるテスト品質などにより選びましょう。

完成した表にしたがって、テストケースを作成します。テストケース作成以降の工程は、一般的なブラックボックステストと変わりません。

4．システム開発で組合せテストを使いこなす4つのポイント

組合せテストの大原則を踏まえた上で、効率よくテストを実施するためのポイントを見ていきましょう。