運用のアンチパターン①手作業の介在。自動テストに結局人手がかかってコストが下がっていない。⇒手動と自動の領域を分け、全自動化できる所に力を入れる。環境準備(ユーザ作成とか)もちゃんとスクリプト化すべし。 #bpstudy
2014-10-31 20:29:12自動化するはずが手作業が入り込んでしまう。→手動と自動を切り分ける。CIツールを開発屋にネジ込んで綺麗にさせる。 #bpstudy
2014-10-31 20:29:52#bpstudy 「自動テストの内容をテスト担当者しか理解できていない」 これ、複雑な部分をテストできるようにして、自動テストが複雑化していくと顕在化するよなぁ。。。
2014-10-31 20:31:24テスト結果をわかるのが自動テスト担当だけでNG出ても開発がわからない→レポーティング強化。失敗時のキャプチャと操作ログ。まずはテスト担当者で一次切り分けてから開発に投げる。 #bpstudy
2014-10-31 20:33:22#bpstudy 啓蒙重要だよなー 特にE2Eテストとかのコストが高い代わりに適応範囲が広いテストの場合、「なにを目的としてテストを行っているか」をちゃんと考えないと不安定なテストを延々メンテすることになる
2014-10-31 20:34:23啓蒙活動かー、チームを暖めるのに良さそう。うちの場合、自動テスト入っていて、時々エラー検知してくれて助かってる。書きすぎても金にしづらい箇所なのでほどほどに #bpstudy
2014-10-31 20:35:01運用のアンチパターン②内容・結果が分かり難い。自動テスト担当しか理解できない、自動テストのカバー範囲が分からない。⇒レポーティング強化が対策。どう失敗したかを明確に。失敗時のキャプチャ取得や各操作ログ出力。KPIを明確にしたり自動化担当以外にも啓蒙すべし。 #bpstudy
2014-10-31 20:35:42#bpstudy そういえば、この内容って基本的に「テストエンジニア」と「開発エンジニア」が分かれてる前提なのか。 (開発エンジニアがやる想定だったので「テストしやすくするために実装変える」のはふつうのコトだと思ってた)
2014-10-31 20:36:45#bpstudy テストチームと開発チームの枠を超えるコミュニケーションが大切、と理解した テストの話に限らず、互いの壁を超えるコミュニケーションができる人、推進者はメッチャ重要ですわ。 fearless changeっぽいまとめですがw
2014-10-31 20:39:43自動化アーキテクトは開発寄りの知識、経験が必要。スクリプト書く人やテスト設計者にはテストに対する知識、経験、適正が必要 #bpstudy
2014-10-31 20:42:11テスト開発は適性が大切。ずっとテストコードを書き続けられるのもある種の才能 それでいうと俺、才能無い派やわー←苦手な人 #bpstudy
2014-10-31 20:43:23#bpstudy 「自動テストで品質を守るという文化の醸成」、非常に難しいし重要だと思う。 「結局最後は手でテストしないとだめだよね」って言われることはあるし、実際かなり頑張らないと「自動テストで品質を守る」という意識になるのは難しい
2014-10-31 20:43:58#bpstudy 「ここは難しいから手動でいいよね」って意識になったらどんどんテストの質が落ちていくし、「やっぱり手でいいよね。自動テスト自体無駄じゃない?」って言われるし、反論もできなくなるし、味方もいなくなる
2014-10-31 20:44:19