探針テストと「強いQA」「弱いQA」

Yasuharu NISHI @YasuharuNishi

ともあれ、強いQAと弱いQAのどちらになるかは、その組織のとても重要な経営意思決定になります。リソースの配分が全然変わってきますし、人財育成やジョブローテーション、必要な素養なども変わってきますのでね。この辺りの議論もどこかでなされるべきだと思っています。

Yasuharu NISHI @YasuharuNishi

「強いQA」「弱いQA」というと、もしかしたら誤解を受けるかもしれません。別にどちらが良い悪いという意味ではないからです。「踏み込むQA」「促すQA」と呼んだ方がいいかもしれませんね。でも踏み込むことも促すことも両方必要だからなぁ...。

Yasuharu NISHI @YasuharuNishi

強いQAは通常、出荷権限を握っています。その代わり、市場流出不具合やクレームの責任も取りますし、不具合分析もQA主導でしっかり行います。

Yasuharu NISHI @YasuharuNishi

「強いQA」というのは、開発技術に非常に通じており開発工程にかなり踏み込むタイプのQAです。まさにいにしえの日立の検査部はそうだったらしいですね。一方「弱いQA」というのは、プロセスの監査や開発側でのQAの推進のみに留まるタイプのQAを意味します。

Yasuharu NISHI @YasuharuNishi

それだけでなく、いま書いたように、そこまでのレビューや開発側テストで何を観点としてQAをしてきているかというのをきちんと把握しているわけです。いわゆる「強いQA」ですね。QAアーキテクチャ全体がしっかりしているので、終盤にシステマチックにQAが進められる好例でしょう。

Yasuharu NISHI @YasuharuNishi

QA（検査部）による評価なので、探針テスト開始時の品質がかなり向上していることが前提であり、かつそこまでのレビューやテストがしっかりしていることが前提だということを差し引いても、探針は凄い技術の蓄積だと思います。

Yasuharu NISHI @YasuharuNishi

ちなみに、段階的テスト実行を行うためのテストケースの選び方やまとめ方は、テスト要求分析やテストアーキテクチャ設計に直結します。何を塊として層別し、何段階に層を形成し、個々の層でどういうテスト結果になったら実行順序をどう変えるか、もしくは動的に層別をどうやり直すか、ですからね。

Yasuharu NISHI @YasuharuNishi

なので探針の最も重要なポイントをサンプリングだと誤解している方々は、まず探針の基本的考え方をきちんと学び、次にサンプリングという統計的技法をきちんと学んだ上で、常磐線方面に向かって頭を垂れるとよいのではないかと思います。いや戸塚か？

Yasuharu NISHI @YasuharuNishi

問題は探針の中身を代表させる時にしばしばサンプリングという技術を割り当てる人がいること。もし段階的テスト実行のようなコンセプトの技術が正しいとするならば、サンプリングに代表させるというのは探針に対する技術的な無理解か、意図的な悪い誘導か、もしくは数式に惑わされているか、です。

Yasuharu NISHI @YasuharuNishi

で、それはそれとして、探針。探針という名前はよいと思います。魚群探知機みたいなもので、これからの漁の方向性を決めるわけですから。

Yasuharu NISHI @YasuharuNishi

なのであきやまさんは別にネーミングセンスが悪いわけじゃありません。自分の名前付けの価値を、センスというなんだかよく分からない不思議なものにわざわざ依存させることで、自分の中で低めているだけです。僕はHAYST法という名前は好きですよ。由来も含めてね。

Yasuharu NISHI @YasuharuNishi

大事なのは、自信を持って呼び続けることじゃないかな。別に初対面の人が「ハイスト法？」と言ったとしても、最初に説明すればヘイスト法で浸透するから。むしろその最初の誤解が話のタネになったりするし。 (^^;

Yasuharu NISHI @YasuharuNishi

「モーニング娘。」という名前が最初に付いた時のASAYANのつんく♂。違和感ありまくりの名前に、「呼んでりゃ慣れる」みたいなことを言っててね（うろ覚え。違うかも。でも僕の記憶の中ではそうなってる。）。あーそういうものか、となんとなく腹落ちしたことを覚えてます。

あさこ @acha_821

@YasuharuNishi 線形推定≪　統計的推定というイメージです。線形推定も、統計の一部ですから(*^^*) 違い、という言葉が誤解を招きますね。反省です。 ありがとうございます！

あきやま🏃🏻‍♂️=͟͟͞͞ @akiyama924

@YasuharuNishi 違わないと思いますがネーミングって、皆がにしさんのようにセンスが有るわけではないので難しいです。 それで、探針は私は結構良く出来た名前だと思っています。探索と方針、QPのプローブからイメージされること。などなど、結構好きです。

あきやま🏃🏻‍♂️=͟͟͞͞ @akiyama924

探針は開発部門のテストが十分に終わって品質がかなり良くなったソフトウェアに対して、第三者評価を行う品質保証部がN件のテストを始める前にN件のテストでバグがたくさん見つかったら困るのでたくさん見つからないことを確認する目的の検査なのですが、テストを減らす目的で使う所もあるのか。 twitter.com/yasuharunishi/…

Yasuharu NISHI @YasuharuNishi

そうだとして、そう理解している人は少ないと思うよ。 RT @kz_suzuki: …探針はサンプリングテストではない…探針は、選び出してすでに実行したn件も含めて、N件全部実行することが前提なので。

2017-01-07 00:36:30

Yasuharu NISHI @YasuharuNishi

以上、統計が苦手でマフィアを破門になったテキ屋のにーちゃんの戯れ言でした。ご気分を害されたり読んでて疲れてしまった某H社関係者や、気が重くなったりしてしまった某N勉強会関係者の皆さんには深くお詫びします。戯れ言なので気にしないでください。 m(_)m

Yasuharu NISHI @YasuharuNishi

ちなみにテストでの標本抽出を深く考えると、層別サンプリングから同値クラスに行き、クラシフィケーションツリーを経由してテスト観点みたいな考え方に思い至ると思うよ。そうすると、境界値分析はサンプリングなのかどうかという意外に議論を呼ぶテーマを正しく考えることができるようになると思う。

Yasuharu NISHI @YasuharuNishi

というわけで @kz_suzuki さん、探針について調べたら片っ端からツイートするかブログに書いてくださいな。もちろん、探針だけをテーマにした343日分の一人アドベントカレンダーを明日から初めて頂いても構いません。よろしくっ！

Yasuharu NISHI @YasuharuNishi

なのでSNSや勉強会で「うちの会社では昔から…をやっていてね」と発言する人がいたら、「凄い！それってどういう考え方なんですか？教えてくださいゴロニャン」と言って教えてもらいましょう。渋ったら食い下がりましょう。それは、その人の会社のためにもなるんですよ（その人が上手くやればね）。

Yasuharu NISHI @YasuharuNishi

そのプラットフォームが協業なわけですが、SNSだって勉強会だって研究発表会だってオープンイノベーションのプラットフォームになるわけです。

Yasuharu NISHI @YasuharuNishi

それが「オープンイノベーション」の一形態です。オープンイノベーションとは何も、大学やベンチャー企業に研究開発機能をアウトソーシングしてコストダウンやリスクヘッジする方法を指しているわけではありません。社外の知恵を取り込んで発展させることです。

Yasuharu NISHI @YasuharuNishi

であれば、社内で伝承されなくなっている技術を社外に提示して議論して、社外のリソースを使って体系化して、それをそっくりそのまま社内で発展させられれば自社にとってメリットは大きいわけです。そもそもその技術は、その会社の社風に合った技術なわけですから、他社よりも自社の方が得意なはず。

Yasuharu NISHI @YasuharuNishi

社内で確立したけど伝承されなくなっている技術の多くは、残念ながら根拠が希薄になり、「なんだか分かんないけどこうしたらいいらしいぜ」を経由して、「これはこうするもんなんだこれが我が社の伝統なんだ」に落ち着きます。いいこと無い。

Yasuharu NISHI @YasuharuNishi

もちろん技術を塩漬けにして腐らせて自社も他社も使えないようにして競争を不利にしないという消極的戦略が存在することは理解しています。しかしそれは社内の技術の希薄化を進めることになるので、全体としては技術的に衰退していきます。