探索的テストの難しさに関する議論

コヤマン @koyaman2

@tosikawa んで何故特別に難しいと言われるかというと、実際に製品経験などに基づく操作・予測からその場で設計して記録する高度なものを、アドホックにやる人間が「オレ探索的！」と誤用しないためかな、とｗ

かわにし @tosikawa

@mkoszk @koyaman2 確かに、探索的テストに限らず、馴染みの薄い割と新しい言葉を用いてズルしようとする人はいますよね。確かに、それを防ぐために「アドホックとは違くて難しいんだよ」という説明をするのはすごく分かりますし、どんどん言った方が良いと思います。（つづく）

かわにし @tosikawa

@mkoszk @koyaman2 ただ、この場合って、本質的に探索的テストが特別に難しさを抱えているというよりかは、文化的、政治的な理由ですよね。もちろん、全ての手法には、長所短所があるわけですから、難しい部分無いという分けではないですけれども。

かわにし @tosikawa

@snsk 確かに、事前にやるよりかは、即興でやるほうが難しい場合がほとんどかもしれません。ただ、「 (即興の難しさ) < (動かさないと分からない部分による分析・設計の難しさ) 」という場合も少なからずあるような気がしています。

かわにし @tosikawa

@snsk だからそういう意味では、探索的テストを特別扱いするのはちょっと不自然で、ケースバイケースなのかなと感じています。（「即興」というところに本質的な難しさがあるのかな......、そうだったら、自分の認識不足で、すみません。）

かわにし @tosikawa

@snsk あと、 (即興の難しさ) というのは、大人数で組織的にやるほど大きくなって、「 (即興の難しさ) > (動かさないと...な難しさ) 」になりやすいのかなというイメージを持っています。（あくまでイメージでちゃんと説明できないのですが。）

コヤマン @koyaman2

@tosikawa あ。誤解させてしまったかも知れませんが、僕の認識では文化的、政治的な理由が全てとは言っていません。6:4くらいかな。実際にモノを渡されて「んじゃ探索的テストして」と言われて果たして僕はできるだろうか？と考えると、素直に難しいです。(つづく)

コヤマン @koyaman2

@tosikawa　探索的テストの定義を見て思ったのは、ドレイファスモデルのうち熟練者～達人の域に達していないと、そう呼べないのかなと思っています。だから僕では力不足と感じ、難しいと。確かに「作法」はいくつかあると思うのですが、その作法だけが探索的テストではないという認識です。

かわにし @tosikawa

@koyaman2 えっと、「んじゃ、３日以内に分析、設計、実行して何か成果だして」と言われても、僕は難しいです。ホントに「探索的テストだから」難しいんですかね？分析、設計も作法がありますが、その作法だけが全てではないですよね。

コヤマン @koyaman2

@tosikawa 分析や設計も作法が全てではない、は全く同意です。探索的テストはそれの最たるものというか、最も経験にモノを言わせるテストであるから？なんというか、自分の経験と対象を比較しながら「探索」していくから、ですかねぇ。

コヤマン @koyaman2

仕事で「明日までにテスト設計して次の日テストして結果出して」ということはままあるのですが、実施する前に確認や相談ができるから結果ドキュメント等の操作は比較的できるかな、と。

かわにし @tosikawa

@koyaman2 ありがとうございます。先ほど @akiyama924 さんも @koyaman2 さんも書いていただいた「経験」という言葉についてもう少し伺いたいのですが、すみません、明日、またお願いします。

かわにし @tosikawa

探索的テストも充分、確認や相談ができると思うんだけどな......。

コヤマン @koyaman2

@tosikawa うーん。僕はイメージに捉われすぎているかも知れないですね。ちょっと寝てから考えますｗ

かわにし @tosikawa

自分が思い始めているのは、（リー・コープランドの）スクリプトテストも探索的テストも、実は同じようにテストの基礎体力が必要で、同じくらいゴマカシがきかないものだったりしないのかと。ただ、スクリプトテストに慣れている人が多いから、探索的テストが難しいと言われるのではないかと。

あきやま🍠 @akiyama924

@tosikawa 経験の一つには、非機能要件に対する妥当性の判断があります。探索的テストは動かしながらのテストですから、非機能要件についてもテストしています。そこに対して「おかしい・不十分だ」と指摘するためには良いソフトウェアを山ほど使って目利きになっている必要があります。

あきやま🍠 @akiyama924

@tosikawa スクリプト型のテストも難しいですよ。ただ、それぞれのテスト技法やテストタイプが果たそうとしている目標(網羅基準など)を達成するための道筋が明確に定義されている分、易しいと思います。

鈴木三紀夫 @mkoszk

@tosikawa スクリプトは途中経過を人に説明しやすく、探索的は説明し難いところがあります。僕自身が探索的テストを苦手としているので、余計にそう思うのかもしれませんが、通常のテスト設計と探索的テストでは、頭の使い方が違うように感じます。

鈴木三紀夫 @mkoszk

@tosikawa 意地悪テストのテスト設計だと、両方とも似ているように思うのですが、僕の中では、違うんですね。思考過程がまったく異なるので、人に説明しづらいのです。また、論理的に追い詰める部分（ここは説明できます）と、直感的に判断する部分とが混じり、分けられない感じなのです。

しんすく(け) さん。 @snsk

@tosikawa 言葉遊びっぽくなってしまって申し訳ないのですが「 (即興の難しさ) =(動かさないと分からない部分による分析・設計の難しさ)」 ではないでしょうか。認識不足というより僕の言葉足らずですが、まさに「即興」(かつ上手くやること)がまさに難しさの本質と思います