編集可能

JaSST'18 Tokyo チュートリアル「How to identify test flakiness in your test result data」 #JaSST

Flakyの理解が進むチュートリアルでした
1
みかまま @mikantsuki

#JaSST #jasst2018tokyo_nichidai_ochanomizu 第七会場、Micco氏チュートリアルは演習環境セットアップ中

2018-03-08 09:57:05
broccoli @nihonbuson

Miccoのチュートリアルにて 「推奨ブラウザはありますか?」 「もちろんGoogle Chromeさ!」 #JaSST

2018-03-08 10:03:22
broccoli @nihonbuson

Miccoがチュートリアル参加者のGoogleアカウントを登録するのに手こずってたw #JaSST

2018-03-08 10:15:03
broccoli @nihonbuson

「非常に単純なテスト結果」といって、件数が340万件…。 #JaSST

2018-03-08 10:28:23
broccoli @nihonbuson

あれ?それとも「単純なQuery」という意味なのかな? #JaSST

2018-03-08 10:30:04
broccoli @nihonbuson

単純なテスト結果という意味でした…。 #JaSST

2018-03-08 10:44:08
yuki shiromoto @yuki_shiro_823

Google BigQuery初めて触ってる。初心者にも安心仕様。英語は聞き取れたり聞き取れなかったり。 #JaSST

2018-03-08 10:32:19
broccoli @nihonbuson

#JaSST に来ている方々はテストエンジニアなので、チュートリアルでトラブルが起きても適切に報告できると信じてる

2018-03-08 10:35:20
Kazu SUZUKI @kz_suzuki

チュートリアル、申し訳なさがすごい。#jasst

2018-03-08 10:37:40
broccoli @nihonbuson

Googleしっているか BigQueryのアカウント登録は漢字に弱い #JaSST

2018-03-08 10:39:53
broccoli @nihonbuson

INTERNAL_ERRORと判断できているのがすごいなー どうやって判断しているかを後で聞いとこ #JaSST

2018-03-08 10:48:40
broccoli @nihonbuson

FLAKYの内容が今はっきりした! #JaSST

2018-03-08 10:56:59
miyata@『GitHub Actions 実践入門』販売中 @miyajan

John Miccoのチュートリアル、テスト結果の分類だけでめちゃくちゃ参考になる #jasst

2018-03-08 10:57:19
miyata@『GitHub Actions 実践入門』販売中 @miyajan

transition数をカウントするクエリやばいなw #jasst

2018-03-08 11:02:39
Kazu SUZUKI @kz_suzuki

Excelならテーブル結合など使わずにこうやるだろうなって考えてしまいました・・・ #jasst twitter.com/miyajan/status…

2018-03-08 11:08:11
Kazu SUZUKI @kz_suzuki

flaky 昨日の理解: 実行するたびに結果が違う。 今日の理解: 1回のテストの中でリトライが走って、最初に失敗したけど後から成功したとか か? まだしっくりこない。 #jasst

2018-03-08 11:10:09
broccoli @nihonbuson

@kz_suzuki 一般的なFlakyの定義と、GoogleでのFlakyの定義が説明の中で混ざっている気がします。 #JaSST

2018-03-08 11:11:00
Kazu SUZUKI @kz_suzuki

1回のテスト実行に対して「flaky」という言葉を使うこともあれば、複数回のテスト実行の結果が変化(transison)するテストを「flaky」と呼んでいることもある気がして、ここ理解しないとだめだ。#jasst

2018-03-08 11:12:41
miyata@『GitHub Actions 実践入門』販売中 @miyajan

リトライして成功したテストをflakyと言っているのとは別に、頻繁にtransitionが発生するテストもflakyと言っている #jasst

2018-03-08 11:18:39
broccoli @nihonbuson

質問を通じて、Googleにおける自動テストでのFlakyに対する取り組み方が違うことに改めて気付かされた #JaSST

2018-03-08 11:22:36
miyata@『GitHub Actions 実践入門』販売中 @miyajan

休憩時間の質問も通訳してもらえるの神対応すぎる #jasst

2018-03-08 11:23:00
Kazu SUZUKI @kz_suzuki

ミッコさんが繰り返し強調しているのは、flakyの分析もさることながら「自動テストの失敗が何に由来しているのか」をきっちり切り分けておいて、たとえば自動テストインフラの問題をdevに投げないような工夫をしている点ですね。#jasst

2018-03-08 11:24:08
miyata@『GitHub Actions 実践入門』販売中 @miyajan

テスト結果を細かく分類しているのは責任の所在と改善の指標をはっきりさせるため。コンパイルエラーやテストの失敗は開発者の責任、テストの実行すらできずにシステムの問題での失敗はインフラの責任、といった具合。 #jasst

2018-03-08 11:26:46
broccoli @nihonbuson

チュートリアルの内容とは若干違う質問なのが、チュートリアル中に質問するか困るところ #JaSST

2018-03-08 11:29:52
Kazu SUZUKI @kz_suzuki

確かにみんなの前で質問するのは勇気がいりますが、もう僕はその辺は「どうせ無知はすぐバレるから」と悟りを開いていて、聞きまくることにしています。#jasst

2018-03-08 11:31:46
残りを読む(21)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?