-
- いいね！0
Yosuke Furukawa
@yosuke_furukawa
Googleのテストチームが flaky な red -> green / green -> red がコロコロ変わるテストだけ常に監視して、それ以外のテストは自動チェックで終わらせるようにしてテストの監視感度上げたみたいな話がどっかであったな。 #nwc_testing
2023-12-16 15:15:02
azu
@azu_re
Launchableがこの辺をやってる #nwc_testing "Launch fearlessly for engineering teams" launchableinc.com
2023-12-16 15:14:53
おおた
@ota42y
flakyがリアルに起きうる問題を偶然引いているのか(日付変更時とか)、テスト固有の問題なのかを判断するのが大変なイメージ #nwc_testing
2023-12-16 15:14:30
ken7253
@ken7253_
Flaky test Reactの場合Reactのレンダリングの仕組みを理解してるかも大きいと思ってる #nwc_testing
2023-12-16 15:14:24
mizdra
@mizdra
複数の job のログを辿らないと、どのテストケースがどれくらい flaky なのか定量的にわからないので、機械にやってほしいんだよなー #nwc_testing
2023-12-16 15:14:07
azu
@azu_re
GoogleのFlaky Testの論文とか面白い #nwc_testing "Advances in Continuous Integration Testing at Google" research.google/pubs/advances-…
2023-12-16 15:13:36
azu
@azu_re
人間Flaky Testがあっても意識せずにリトライしてしまうので、機械的にFlaky Testかどうかを判定する必要がありそう #nwc_testing
2023-12-16 15:13:20
🐏 narirou
@narirow
広告のような重要なのにサードパーティという特性をもったE2Eがフレーキーになりやすく、完全なテストが難しい。どうするのが最適解なのか知りたい。 #nwc_testing
2023-12-16 15:12:52
Yosuke Furukawa
@yosuke_furukawa
単純なロジックで flaky になることは少なくて、関わるモジュールが増えれば増えるほど不確実になって flaky になるので、E2Eとかはflakyになりやすいし、それを見つけたら安定させるか、謎の「3秒待ってから実行する」みたいなワークアラウンド入れてく感じになるよなぁ。 #nwc_testing
2023-12-16 15:12:38
おーみー
@aumy_f
Cycle.jsのstreamが共有されててflakyになったことがあり、DRYにこだわらないことで回避できるflaky testもありそう #nwc_testing
2023-12-16 15:12:30
統合開発環境
@sadnessOjisan
DataDogはじめ、APM系のサービスってDevSecOpsの会社になっていっていて、この辺りのサポートされはじめてきてる #nwc_testing
2023-12-16 15:12:09
kadoppe
@kadoppe
#nwc_testing 書いてから一回も落ちてないテストは仕事してない、だから消してもいいという考え方もあり、それは自分は結構好き。
2023-12-16 15:10:49
Yosuke Furukawa
@yosuke_furukawa
flaky test って書いたときは flaky になると思ってないから、後で flaky だなってなって直していくしかなくね？ #nwc_testing
2023-12-16 15:10:48
3846masa
@3846masa
実行順で変わるテスト、多分シングルトン撲滅すればいいんだよな、って僕は思いました そういう点でいうと、jsdom とかの DOM のモックはテストごとに作り直したほうがいい気はしているだけど、僕はね #nwc_testing
2023-12-16 15:10:46
Yosuke Furukawa
@yosuke_furukawa
flaky test を埋め込まないようにする工夫ありますか？ 全員「....困ったな...」 #nwc_testing
2023-12-16 15:09:53