#テスト実行がやりづらかったテストケース まとめ

みずのり：jack of all trades/freelance @NoriyukiMizuno

みなさんの「テスト実行がやりづらかったテストケース」のトップを集めるとおもしろいかも

鈴木三紀夫 @mkoszk

100万人同時アクセスのテスト twitter.com/NoriyukiMizuno…

みずのり：jack of all trades/freelance @NoriyukiMizuno

自分は ・1ヶ月に1回程度しか発生しないマルチスレッド問題による不具合の再現をさせるテストケース（2007年頃に自動化した） ・49.7日問題に気づくまでの確認 という感じ。もっと知識があれば楽に対処できたかも。

あきやま🍠 @akiyama924

「あり得ないんだけど念のため、おまじないとして入れておいた」と開発者が言った、エラー処理ルーチンのテスト。 twitter.com/NoriyukiMizuno…

miwa @miwa719

これはとても興味あります（みなさんのご苦労を知りたいのでわたしも書こっと） X線を出す装置に組み込んで使うあるモノをワイヤレス対応した時の「X線を出してる最中に電波が弱くなったり、電波が切れる状況を想定した撮影のテスト」です ぼやっとした書き方しかできないけど察して…!! twitter.com/noriyukimizuno…

しんすく(け) さん。 @snsk

CSS WG の reftest。現在の技術で可能な新たな表現を再現して、それと画像比較する、とゆー。 twitter.com/noriyukimizuno…

しんすく(け) さん。 @snsk

あとまだドラフト段階のmmsのクライアントのプロトコルのテスト。対向側にリファレンス実装が無かったので、泣きながらサーバ書いてテストしました。テスターは必要ならサーバ実装もする(´；ω；`)

しんすく(け) さん。 @snsk

異常系のプロトコルのテスト。既に世の中にはあるプロトコルでも、マトモに実装されたサーバは仕様外のデータをくれないので、一段下のレイヤのライブラリ（httpの変なレスポンス返したいならtcp）使って自分で書く。echoサーバで毎回返してもいいんだけど何度かやり取りする応答はシナリオにしたく

くっきぃ @MAQ69

@NoriyukiMizuno 性能試験で画面の起動時間の判定(どっちかと言うとチェッキング)。ストップウォッチ片手に計測。しかも、一つの画面を二回ずつ計測すると言う…。

しんすく(け) さん。 @snsk

ネタ）CEOとCTOで意見が割れたまま、なし崩し的に実装された機能のテスト。期待動作はどこに稟議上げるといいですかねー。

しんすく(け) さん。 @snsk

@NoriyukiMizuno オトナテスターやでえ、、、

しんすく(け) さん。 @snsk

reftest 補足すると、「現在の技術で表現可能な」って書くと、それ以上の表現できないのでは？と思われるかもですが、JavaScriptアリです。静的なやつなら、極端な話、1pxのdiv箱を position: absolute で並べて行けば何でも書けるでしょ。っていう。あまり歓迎されないけれど最後は辞さない。

あさこ @acha_821

一番難しかったテストは、やっぱりタイミングを見てメッセージ送る異常系テストだなぁ。 DBをhaltして特定のプロセス走っている間にコマンド送信！とか、ネットワーク関連とか。

カルバート @trickmrbiz

@acha_821 ネットワークの物理的な切断や、ミドルウェアを落とすなどのテストは、「どのタイミングでやるべき？」がよくわかっていません…

ぱいん🍍 @pineapplecandy

いわゆる長期安定試験は、やりづらいかなあ。いきなり、72時間後とか出てくると、(ﾟДﾟ)ってなる。 あとは、miwaさんも上げてらっしゃるソフトに物理空間が絡んでくる試験。テストの意図として「途切れる」とか「干渉する」を狙うと、単純な切断などよりやらづらくなる。 twitter.com/NoriyukiMizuno…

カルバート @trickmrbiz

@acha_821 アプリケーションの外側で異常が起きた場合に、アプリケーションがそれらを適切にハンドリングできるかを見たい、というイメージです。テスト目的が曖昧(具体的でない)という気がしてきました！ ありがとうございます！

ぱいん🍍 @pineapplecandy

コンテストが既に始まってるので、早めにハッシュタグ決めた方が良さげ #テスト実行がやりづらかったテストケース twitter.com/NoriyukiMizuno…