JaSST'18 Tokyo A1 「Advances in Continuous Integration Testing at Google」
-
- いいね！0
yuki shiromoto
@yuki_shiro_823
Grrenishがいまいちよく分からなかった。すべてPassにならなくてもPassになるだろうという予測のもと、リスク込みでリリースすることもあるってこと？ #JaSST
2018-03-07 10:25:26
ぱいん🍍
@pineapplecandy
結局、時系列でとらえて、パタン化しているということなのかな。パタン化できるノウハウが統計的にわかってきているってことかな。 #jasst
2018-03-07 10:29:49
あきやま🍠
@akiyama924
テスト結果を元にリリースしても安全か安全でないかは、ゼロ・イチで判断するのではなく、確率的に述べるべきです。 確率的にリリースすることによって、どの程度のリスクを負うかの話です。Googleではそれを判断するアルゴリズムを作り運用しています。 #jasst
2018-03-07 10:30:20
broccoli
@nihonbuson
効率よく犯人探しをするには、 1. テスト間隔を減らして、テスト結果と原因のコミットを1:1に近づける。（Unitテストはまさにこれ） 2. テストとコミットの紐付けを分析する 3. 分析結果を元に、テスト間隔を広げる の3Stepがあり、GoogleはStep2以降をきちんと出来ているイメージ #JaSST
2018-03-07 10:33:47
リナ？
@____rina____
【用語解説】John Micco氏の言う"Flaky"なテストとは？ - JaSST東京実行委員ブログ jasst-tokyo.hatenablog.jp/entry/2018/02/… #jasst
2018-03-07 10:37:45
あきやま🍠
@akiyama924
Flakyとは、同じテストでもパスしたりフェイルしたりするという定義です。 Flaky testに対して開発者は無視したいけれども、よく考える必要があります。 #jasst
2018-03-07 10:40:14
Yasuharu NISHI
@YasuharuNishi
日本のソフトウェア開発は、開発自身のデジタルトランスフォーメーションが必要。デジタルトランスフォーメーションに成功するとこんなに素晴らしい世界が待っている、というのが今日のgoogleの話だよ。 #jasst
2018-03-07 10:45:40
あきやま🍠
@akiyama924
Flaky testの84%はテストが悪く本当は問題のないテスト結果ですが、なかにはリソースを待ちあいしていることやマルチスレッドが原因でフレークの性質が出てくることがあります。 遷移が多いテストにフレーク性が高いことも確認されています。 #jasst
2018-03-07 10:45:49
Kazu SUZUKI
@kz_suzuki
テストがこけた場合、実行結果に何が原因だったか記録しないとダメよね。テストの安定性のメトリクスにもなる。 ➀プロダクト ➁自動テスト ➂環境 ➃人の凡ミス ➄前のテストのゴミの影響 みたいな感じで… #jasst
2018-03-07 10:46:45