テスト観点のとらえ方

鈴木三紀夫 @mkoszk

テスト観点で僕が対立語／漢字を重視しているのは、仕様記述者がある見方で固定される（武道でいうところの居つく感じかな）というか、勝手な思い込みというか、そういうのを揺さぶるためです。この対立語／漢字を使うというテクニックは、レビューでも使えると思うわけで。

鈴木三紀夫 @mkoszk

でね。基本が「揺さぶり」なわけですから、本来ならば、レビューというよりも「分析」で行うべきと言えるわけで、そうなると、テスト観点→レビュー観点→分析観点となり、余計に混乱すると。おそらく観点は独立してあって、どのアクティビティで使うかによって名前が変わると思って異るんだけどね。

鈴木三紀夫 @mkoszk

テスト観点を用いたテスト設計を数回繰り返すと、似たようなテスト観点が現れることに気づき、このテスト観点を蓄積し活用できれば、組織にとって効果がありそうだと想像し始める。でも、テスト観点を収集しだすと、厄介な問題に遭遇する。

鈴木三紀夫 @mkoszk

コンサルタントならば、「ご自由に。組織にとって実施しやすい方法を採用してください。」と言うのかもしれないけれども、当事者にとっては面倒な問題になる。

鈴木三紀夫 @mkoszk

にしさん曰く、テスト観点は入力系と結果系に分類できる。結果系は品質特性や過去の障害事例から導くことが多いんだけど、このテスト観点は扱いにくかったりする。たとえば、過去にタイミング問題が多かったので、「タイミング」というテスト観点を導く。

鈴木三紀夫 @mkoszk

でも、タイミングってテストを設計しにくいんだな。起こしやすいタイミングもあるけど、再現しづらいタイミングもあるから。こういう結果系のテスト観点を集めた場合、たいていは裏付けがしっかりしているので反対意見はでない。でもね。現場に展開したとき、テスト設計できなくて困るんだな。

鈴木三紀夫 @mkoszk

入力系なら大丈夫かというと、別の問題がある。JaSSTのときに、きょんくんと話をしたけど、テスト観点を動詞・形容詞・副詞で捉えるか、それともテスト対象の属性の一種で考えるか、そこで悩み始める。

鈴木三紀夫 @mkoszk

最初は「大きい」とか「長い」とか「並行に」とかで捉えるんだけど、これらを集めて現場に展開しても、まず喜ばれない。何をどう使えばいいか分からないから。「入力ファイルのサイズが大きい場合」と具体化されれば活用できるけれども、たいていの現場は「大きい」だけじゃ使えないんだ。

鈴木三紀夫 @mkoszk

あ～、自分でテスト観点を集めて整理している場合は別だよ。スタッフ部門がよかれと思ってテスト観点を集約して、それを各部門に展開しようとする場合の話ね。この問題に対して数年悩んでいるけど、なかなか解決の糸口がつかめないんだな。

鈴木三紀夫 @mkoszk

それから、テスト観点を集める人って、テストケースをレビューする人が多い。テスト設計しやすいように観点を集めるのでは無く、複数のテストケースに現れる共通要素を抜き出して、テスト観点として扱おうとしがちなので、この場合もテスト設計しづらかったりするんだな。

Yasuharu NISHI @YasuharuNishi

タイミングって、入力系じゃないの？ タイミングってふるまいのタイミング？ RT @mkoszk: …テスト観点は入力系と結果系に分類できる。結果系は品質特性や過去の障害事例から導くことが多い…過去にタイミング問題が多かったので、「タイミング」というテスト観点を導く。

Yasuharu NISHI @YasuharuNishi

それはテスト観点を収集し展開する時の問題じゃないでしょ。テスト技法とかテスト実施環境、テストドライバの問題じゃないの？ RT @mkoszk: でも、タイミングってテストを設計しにくいんだな。起こしやすいタイミングもあるけど、再現しづらいタイミングもあるから。

Yasuharu NISHI @YasuharuNishi

「大きい」とか「長い」とかはテスト観点じゃないよ、VSTePでは。だって、詳細化してもテストケースにならないじゃん。それはバルテ（以下自粛）… RT @mkoszk: 最初は「大きい」とか「長い」とか「並行に」とかで捉えるんだけど、これらを集めて現場に展開しても、まず喜ばれない

Yasuharu NISHI @YasuharuNishi

どういう意味？よく分からない。 RT @mkoszk: それから、テスト観点を集める人って、テストケースをレビューする人が多い。テスト設計しやすいように観点を集めるのでは無く、複数のテストケースに現れる共通要素を抜き出して、テスト観点として扱おうとしがち…

Yasuharu NISHI @YasuharuNishi

どういう意味？ RT @kyon_mm: テスト観点を設計につかいたいのか、チェックリストとして使いたいのか、ブレストにつかいたいのか、いろいろあるとは思うんですよね。そのときに「テストフレーム」や「テスト観点」という智美塾での定義が合う合わないがあるんだとおもいます。

Yasuharu NISHI @YasuharuNishi

テスト観点について@mkoszk と@kyon_mm から見解がツイートされているけど、こういう対話を通じて方法論が成熟していくので、とてもありがたい限り。お２人とも、感謝してます。 m(_)m

あきやま🍠 @akiyama924

な、なんだって！　"@YasuharuNishi: 「大きい」とか「長い」とかはテスト観点じゃないよ、VSTePでは。だって、詳細化してもテストケースにならないじゃん。それはバルテ（以下自粛）… RT @mkoszk: 最初は「大きい」とか「長い」とか「並行

あきやま🍠 @akiyama924

「大きい」とか「長い」はそれらを分解してもテストケースにはなりませんがテスト対象やテスト目的と組み合わせる、ことで、テストケースになるので、テスト観点と思っていました。違ってたのかー。意地悪漢字は テスト観点ではないのか！？

Yasuharu NISHI @YasuharuNishi

だからWモデルチュートリアルの資料でそう紹介してるじゃない。 RT @akiyama924:…意地悪漢字はテスト観点ではないのか！？

あきやま🍠 @akiyama924

@YasuharuNishi た、確かに・・・。いつからですか？

Shukuguchi @Shukuguchi

@mkoszk オブジェクト指向黎明期には、クラス抽出方法として、要求文等から「動詞」「名詞」を抽出して・・・という方法がありました。まぁ、それだけではダメだというのが現在ではありますが…クラスも観点といえば観点なので…要は、そういった先の話で、具体的に表せる品詞ってこと？

Shukuguchi @Shukuguchi

@mkoszk デバッグ手法（方法）の話に聞こえます・・・何のタイミングだろうか？

鈴木三紀夫 @mkoszk

@YasuharuNishi タイミングというテスト観点を基づいてテスト設計をするとき、データの入力タイミングの話もあり得るし、データの出力タイミングの話もあります。また、プロセスの実行タイミングもあります。ですので例として適切ではなかったかもしれません。

鈴木三紀夫 @mkoszk

@YasuharuNishi 収集されたテスト観点を配布すれば現場で活用できると思っているスタッフ部門を想定しています。テスト設計をイメージしやすい入力系の場合、詳細なガイドラインが無くても広まる可能性はありますが、結果系の場合途方に暮れる可能性があるということを意図しました。

鈴木三紀夫 @mkoszk

@akiyama924 @YasuharuNishi テスト観点がテスト対象とテスト目的からなり、テスト目的単独でもテスト観点となり得る場合、「大きい」は「負荷を与えた場合の動作を確認したい」という目的の部分になると思っています。ただし文脈依存だとは思います。