JaSST'18 Tokyo チュートリアル「How to identify test flakiness in your test result data」 #JaSST
-
nihonbuson
- 5679
- 4
- 0
- 0
-
- いいね！0
みかまま
@mikantsuki
#JaSST #jasst2018tokyo_nichidai_ochanomizu 第七会場、Micco氏チュートリアルは演習環境セットアップ中
2018-03-08 09:57:05
broccoli
@nihonbuson
Miccoのチュートリアルにて 「推奨ブラウザはありますか？」 「もちろんGoogle Chromeさ！」 #JaSST
2018-03-08 10:03:22
yuki shiromoto
@yuki_shiro_823
Google BigQuery初めて触ってる。初心者にも安心仕様。英語は聞き取れたり聞き取れなかったり。 #JaSST
2018-03-08 10:32:19
Kazu SUZUKI
@kz_suzuki
Excelならテーブル結合など使わずにこうやるだろうなって考えてしまいました・・・ #jasst twitter.com/miyajan/status…
2018-03-08 11:08:11
Kazu SUZUKI
@kz_suzuki
flaky 昨日の理解: 実行するたびに結果が違う。 今日の理解: 1回のテストの中でリトライが走って、最初に失敗したけど後から成功したとか か？ まだしっくりこない。 #jasst
2018-03-08 11:10:09
broccoli
@nihonbuson
@kz_suzuki 一般的なFlakyの定義と、GoogleでのFlakyの定義が説明の中で混ざっている気がします。 #JaSST
2018-03-08 11:11:00
Kazu SUZUKI
@kz_suzuki
1回のテスト実行に対して「flaky」という言葉を使うこともあれば、複数回のテスト実行の結果が変化（transison）するテストを「flaky」と呼んでいることもある気がして、ここ理解しないとだめだ。#jasst
2018-03-08 11:12:41
miyata
@miyajan
リトライして成功したテストをflakyと言っているのとは別に、頻繁にtransitionが発生するテストもflakyと言っている #jasst
2018-03-08 11:18:39
broccoli
@nihonbuson
質問を通じて、Googleにおける自動テストでのFlakyに対する取り組み方が違うことに改めて気付かされた #JaSST
2018-03-08 11:22:36
Kazu SUZUKI
@kz_suzuki
ミッコさんが繰り返し強調しているのは、flakyの分析もさることながら「自動テストの失敗が何に由来しているのか」をきっちり切り分けておいて、たとえば自動テストインフラの問題をdevに投げないような工夫をしている点ですね。#jasst
2018-03-08 11:24:08
miyata
@miyajan
テスト結果を細かく分類しているのは責任の所在と改善の指標をはっきりさせるため。コンパイルエラーやテストの失敗は開発者の責任、テストの実行すらできずにシステムの問題での失敗はインフラの責任、といった具合。 #jasst
2018-03-08 11:26:46
Kazu SUZUKI
@kz_suzuki
確かにみんなの前で質問するのは勇気がいりますが、もう僕はその辺は「どうせ無知はすぐバレるから」と悟りを開いていて、聞きまくることにしています。#jasst
2018-03-08 11:31:46