テストケース管理ベストプラクティスドラフトバージョン

Yasuharu NISHI @YasuharuNishi

途中まではいい感じだったんだけどな。でも最初の連載よりはよくなってる。 RT 作成怠り手戻り多発、ソフトウエアテストに必要な文書一覧 tech.nikkeibp.co.jp/atcl/nxt/colum…

Yasuharu NISHI @YasuharuNishi

細かいことですが、IEEE829はもう使われません。ISO/IEC/IEEE29119-3に公式に移行してます。そして829-1998がら-2008もかなり変わってるので、まだ829-1998を使ってる組織があったら相当に勉強不足です。実務では…のレベルではないです。

Yasuharu NISHI @YasuharuNishi

問題はテストケース表です。典型的な、まずいテストケース表です。テスト対象機能という枠が存在するのに、テスト対象エリアとテスト対象項目とテスト観点という混同しそうな枠が3つもあり、テスト条件はそのいずれの詳細化でもありません。多分このテスト設計は事実上アドホックです。

Yasuharu NISHI @YasuharuNishi

テストケース表に、実行日、実行者、実行結果がそれぞれ一つずつ記載するようになっているのも問題です。何度も実行することは無いのでしょうか？何度も実行したという情報は有用ですから、消えてしまうようなフォーマットは避けるべきです。そもそもテスト実行の管理が十分考慮されていないようです。

Yasuharu NISHI @YasuharuNishi

まぁでも、このレベルのテストケース表が氾濫してる現場もありますからね。テストのことをよく分かってる人が誰もおらず、そもそも開発でデスマってますけど、テストでそれに拍車をかけるような現場ですね。そのような現場しか経験されてないのでしょう。おいたわしや。

Yasuharu NISHI @YasuharuNishi

てか、テストのプロを標榜する会社に入ったんだから、誰かこんな基礎的なことくらい教えてあげなよ、と思う。誰も彼女に教えてあげないのかなぁ。かわいそうに。

Yasuharu NISHI @YasuharuNishi

いいことも書いてある記事だからこそなお、ね。次回はもっとよい原稿を書いてね。楽しみにしてるから。がんばれ！ (^_^)

yoshitake @yoshitake_1201

昔疑問に思ってたなぁ…。最後だけパスになればそれでいいの？とか。 テストケース使い捨てになってるの勿体無いなぁ…とか。 繰り返し使われることもあるけど、その割にメンテされなくて、項目にない重要なことを昔からの人が確認して結果だけつけたり…このテストケースは意味あるのか？みたいな。 twitter.com/YasuharuNishi/…

yoshitake @yoshitake_1201

その現場は1ヶ月だけだったんだけどね。 いろいろ疑問は持ったよ。初めてだったし。

yoshitake @yoshitake_1201

ISO…読んでみたいなぁ…。(読んだことない

しずか @s_banban

@yoshitake_1201 今はどうしているの(・・?)

しずか @s_banban

@satomiogu 素晴らしい(` ・ω・´)

Kazu SUZUKI @kz_suzuki

@yoshitake_1201 テストケースとしては「確認したいこと」と「手順」を分離した方が見通しが良く、テストケースとテスト実行はやはり分離しておくのがいいなと思います。テスト実行は、確認結果や日時ややった人という情報のほか、バージョンや環境も変わっていることが多いので。

Yasuharu NISHI @YasuharuNishi

@yoshitake_1201 一度九州では話したことがあるんだけど、Excelで管理するテストケース表ってついつい肥大化させたくなっちゃうのよね。（表面的な）管理しやすさが優先されて、テスト全体が改善されなくなっちゃう罠にはまる。

Yasuharu NISHI @YasuharuNishi

@yoshitake_1201 九州でみんなで読んでちゃんとコメント作ってくれるなら（以下略

yoshitake @yoshitake_1201

@s_banban その後、メンテナンスされるテストケース(エクセル)→スプレッドシート→testrailってなりましたね。 使い方は1回Passになったら終わりだったんですが、別途探索的テストの時間で実行者の体感で不安なところとか見たいところおとかを共有して、わりと納得感ある感じのテストをしていましたね。

yoshitake @yoshitake_1201

@s_banban 今はだいたい1人でテストすることが多いっていうのもあってただただエクセルですね。(担当者と確認した日付あるやつ) 単発の案件が多いから、繰り返し使うことがあんまりないので、とりあえず実行した情報だけ残している感じになってますね。(どこをどれぐらい見たかは自分の体感で…という感じです。

yoshitake @yoshitake_1201

@kz_suzuki 確認したいことと手順をわける！ 今ものすごくスッキリしました。なるほどっす。 -- その当時、テスト実行を主にやっていた時に初めてテストケース作ろうとした時、「どうやったら手順が効率よく実行できるか」ベースでいきなりテストケース作ろうとしたんですよね。

しずか @s_banban

@yoshitake_1201 えーと、繰り返し利用や使い捨ての解を持っていないように受け止められるけれど、あってる？

yoshitake @yoshitake_1201

@kz_suzuki でもそれだと考慮漏れる可能性が大きいと言われ、機能ベースで観点を出してテストケースを作るようになりました。この時から手順ベースでテストケース作るのはよくないと思ってたんですが、そのエッセンスは一部良かったんだなぁと。

yoshitake @yoshitake_1201

@kz_suzuki 確認することを出す→手順書を作る、っていう作業の時間を確保しないといけないっすね。

yoshitake @yoshitake_1201

@kjstylepp 支離滅裂な…w 2万か…それぐらいだったんですね。もっとお高いものかと勝手に思ってました。 読みたいもの読めるなら実質タダっすねw

Kazu SUZUKI @kz_suzuki

@yoshitake_1201 「手順」という言葉も人によって粒度違うので気をつけないといけないですよね。 ログイン→ログアウト を手順という人もいるし、「ログイン画面を開いてユーザ名に○○、パスワードに△△に入力してログインボタンを押す」というのを手順と呼ぶ人もいるし。確認内容や実行者によって変えないとですね。

yoshitake @yoshitake_1201

@s_banban エクセル使うのやめてテスト管理ツール使う。 エクセル使うのやめてチケットでテスト管理する とかそういうのかなぁとか思ってました。 Kazuさんのおっしゃるように確認したいことと手順を分けて、手順書を実行&記録しやすいように作ると、繰り返し利用できるようになるかなぁって思いましたね。

yoshitake @yoshitake_1201

@s_banban 使い捨てにならないように、はどうなんだろう？何を持って使い捨てっていうのかがちょっと気になってきました。 受託開発&メンテナンスなしみたいな案件のテストケースは使い捨てとも言えそうですね。 (もちろんテストするために必要だからテストケース作ったと思うんで、無価値ではないと思いますが。