2015/02/19 デブサミ2015【19-B-5】システムテスト自動化のアンチパターン #devsumiB

Developers Summit 2015 Growth! http://event.shoeisha.jp/devsumi/20150219/session/646/ <講演概要> 本セッションでは、昨年12月に発売された「システムテスト自動化 標準ガイド」の原著者であるDorothy Graham達がまとめているテスト自動化のパターンのサイトより、特に現場で遭遇しがちなアンチパターンを取り上げて、実例を盛り込んで解説します。 また、上記のパターンとしてはまとまっていませんが、講演者が実プロジェクトで遭遇した典型的に陥りがちなアンチパターンについても臨場感あふれる具体的なコードで解説します。 続きを読む
1
前へ 1 ・・ 3 4 次へ
あいさか @mist_dev

テストケースがそれぞれ依存しており、特定の順番しか実行できない。あ...あああ #devsumiB

2015-02-19 15:45:18
Makoto Ishisaka @mild100

テストケースの依存はあるある #devsumiB

2015-02-19 15:45:47
おがさわら @bonbon_0605

テストケースが互いに依存するケースは、マニュアルテストから自動化した場合に多い。なるほど。 #devsumiB

2015-02-19 15:45:47
guyon @gu4

マニュアル化ベースでやっている人はテストを効率化するためにデータの再利用(前のデータの続きとして)してしまう。一つこけると全てこけるのでやめましょう。自己完結しましょうというお話。 #devsumiB

2015-02-19 15:45:52
猫提督ff/kei @nekoteitoku

自動テストケースをそれぞれ独立させる #devsumiB

2015-02-19 15:45:53
🐊𝕏 @alligator_tama

新しいスライドが出ると笑えるくらいシャッター音の嵐になるw あれかな、社内に展開しようにも外部のネットワークに一切アクセスできないし、下手したら印刷された資料しか持ち込めないような会社なのか。きっとそうだ。納得した。 #devsumiB

2015-02-19 15:47:17
guyon @gu4

システムテストでロールバックの話。自前でロールバックできる仕組みにしておこう。 #devsumiB

2015-02-19 15:47:29
猫提督ff/kei @nekoteitoku

Sorcerer’s Apprentice Syndrome より効率的な解決策を探さずに手動テストをそのまま自動化しようとする。 #devsumiB

2015-02-19 15:48:51
YASUI Tsutomu @yattom

Sorcerer's Apprenticeは文字通り「魔法使いの弟子」で、初歩的な魔法しか使えないのにそれですべての問題を解決しようとする、くらいの意味かしらん。ディズニーの映画では、師匠が最後に一発で解決する(んだったかな。うろ覚え) #devsumiB

2015-02-19 15:50:13
猫提督ff/kei @nekoteitoku

One Clear Purpose 各テストは一つだけを検査する #devsumiB

2015-02-19 15:50:20
guyon @gu4

トータル実行時間を短くしないとというのは、自動化をモノにした人が顕著に感じる事だと思います。後々自動化がベースで自動化があたり前になってくるときつくなってきますよね。キツいという体験心理があるだけで随分違う。 #devsumiB

2015-02-19 15:50:49
猫提督ff/kei @nekoteitoku

Erratic Test 自動テストが失敗したり成功したりする。 開発環境では動くけどテスト環境では落ちる、とか。 #devsumiB

2015-02-19 15:51:06
猫提督ff/kei @nekoteitoku

Fail Gracefully 失敗したとき、ゴミを残さないようにする。 #devsumiB

2015-02-19 15:51:33
🐊𝕏 @alligator_tama

固定のウェイト入れる。 あるあるw やっちゃいけないものわかるんですけどね #devsumiB

2015-02-19 15:51:34
guyon @gu4

「テストが失敗した時にゴミを残さず後続に影響させないようにしよう」 #devsumiB

2015-02-19 15:51:44
有村行人 @KenKen_t

午後2のMicrosoftのIoT、ブレッドボードでのデバイス開発が個人的に懐かしいw 組込みからクラウド吸い上げとデータ表示分析まで繋げることを総合格闘技と。今年は色々な面でシフトチェンジの年になるのかもな。 #devsumiB

2015-02-19 15:52:01
猫提督ff/kei @nekoteitoku

Right Interaction Level SUTとテストが相互作用するレベルとリスクに気をつける。 SUTとテストが相互作用する方法やレベルには複数あることを理解する。 偽陽性と偽陰性のリスクがある。 #devsumiB

2015-02-19 15:52:42
guyon @gu4

ふむ、Right Interaction の話はゆっくり頭を整理して把握したい #devsumiB

2015-02-19 15:53:07
あーくん @NewOgt

テスト自動化において、前のテストケースの事後状態を、次のテストケースの事前条件にしてしまうことがある。 マニュアルベースの手動テストの経験者が陥りがちなアンチパターン。 各自動テストケースは自己完結できるようにすること。 #devsumiB

2015-02-19 15:53:18
猫提督ff/kei @nekoteitoku

False Fail SUTのエラーではなく、テスト自動化テストウェアやテスト自動化環境が原因でテストが失敗する ポップアップが出ると落ちるとか.. #devsumiB

2015-02-19 15:53:29
🐊𝕏 @alligator_tama

「テスト対象のシステム (SUT; System Under Test)」ね。 #devsumiB

2015-02-19 15:53:46
猫提督ff/kei @nekoteitoku

False Pass SUTがエラー状態なのにテストが成功してしまう #devsumiB

2015-02-19 15:54:00
aikazuyendo @aikazuyendo

INEFFICIENT EXECUTIONとの付き合いが長い #devsumiB

2015-02-19 15:54:43
猫提督ff/kei @nekoteitoku

Inefficient Execution 自動テストの実行が非常に遅い テストは並列実行できるか? #devsumiB

2015-02-19 15:54:54
前へ 1 ・・ 3 4 次へ