JaSST'18 Tokyo チュートリアル「How to identify test flakiness in your test result data」 #JaSST

Kazu SUZUKI @kz_suzuki

このシンプルな「results」テーブルの理由。シンプルでもうまく行っているのと、数万qpsのデータベースI/Oの関係。 確かにもっと情報を追加したくなる気持ちはわかる。メトリクス病かもしれない。#jasst

miyata @miyajan

このデータセットはユニットテストも結合テストも含む。ただ1テスト15分でタイムアウトするようになっているので大きなシステムテストとかはない。 #jasst

miyata @miyajan

flagsカラムで同じテストでも環境の違いがわかるようになっている。フラグは408種類あるｗ #jasst

miyata @miyajan

この会場はいい質問が多くて理解が深まる #jasst

Kazu SUZUKI @kz_suzuki

ミッコさんたちの取り組みってものすごく複雑怪奇なものではなく、アイデア自体はむしろシンプルなんだよな。実際やろうとするとハードルに直面するんだろうけれど。#jasst

miyata @miyajan

一定期間でtransitionのタイミングが複数の他のテストとかぶるテストはflakyではない傾向がある #jasst

miyata @miyajan

ライブラリやサブシステムの変更に問題があると複数のテストが同時にtransitionするからこのような傾向が発生する #jasst

miyata @miyajan

ただし、他のシステムにテスト結果が影響されるような場合は例外 #jasst

broccoli @nihonbuson

どれがFlakyかと同時に、どれはFlakyではないかを示すようにしている #JaSST

Kazu SUZUKI @kz_suzuki

拡張子の ANON って Anonymous のことか。#jasst

miyata @miyajan

テストを壊しやすい言語、テストを壊したチェンジリストの特定、テストをよく壊す人の特定といったことも行える。テストをよく壊す人のリストは人事に共有してはいけないｗ #jasst

broccoli @nihonbuson

これらのデータは直接開発者にFBするのではなく、解析したものを機械学習に投入するために使っている うん、質問出来て良かった。 #JaSST

Kazuyuki Koishikawa @naghbIQtIqHom

意外と簡単なsqlqueryで分析してるな。データがすごいでかいだけ。 #jasst

Kazu SUZUKI @kz_suzuki

世界のNAGATA「フレーキーってのは、テストコードを指すのかプロダクトコードを指すのか」#jasst →「どちらに原因があるかを区別していない。よく聞かれる」

broccoli @nihonbuson

Miccoの反応 d(･ω･)b かわいい #JaSST

miyata @miyajan

テストサイズがflakyに影響するというのはこちらの記事ですね。 testing.googleblog.com/2017/04/where-… #jasst

miyata @miyajan

GoogleのSETIについてはこちらの記事をどうぞ。 testing.googleblog.com/2016/03/from-q… #jasst

broccoli @nihonbuson

今回使ったBigQueryにはいつまでアクセスできる？ 私が権限を削除するまでは、このまま使えるよ とのこと。 #JaSST

Kazu SUZUKI @kz_suzuki

２日目AM、ほかのセッションも魅力的なものばかりなので迷ったけど、チュートリアル選んで良かった。楽しすぎた。 ミッコさんが同時通訳の方々を「あなたたちすごすぎ！」って超絶賛していた。確かに素晴らしかった。#jasst