デフォルトでテスト成功にするという JUnit の設計判断とその功罪について

Takuto Wada @t_wada

デフォルトでテスト成功にするという JUnit の設計判断とその功罪について考えたい。

Hideki Kishida @quicy

自分用のC用ユニットテスターは、アサーションなしの場合はエラーにしていた。

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

@t_wada デフォルトで成功には違和感を覚えますね。。。故にIDEのJUnit自動生成ではスケルトンコードで失敗するようになっているんでしょうけど。一番怖いのがリファクタリング時にもし何かassertを消してしまった場合にも成功するというのが。

Takuto Wada @t_wada

@kyon_mm リファクタリングで assertion を消すことがあるかは疑問ですが、デフォルト成功というところには予想以上に多くの初心者が足を取られているようですね。

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

@t_wada JUnit使い始めた人ってデフォルトで成功というのを気にしていないので、リファクタリング時の確認がかなりおろそかになっています。（それがPGとしてダメという話もありますが。

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

JUnitのデフォルト成功がいい点ってあまり無いよね。。。mainメソッドつくるの面倒だから@Testで実行させてみるとかはあるかもしれないけど、それにしたって。。。

Takuto Wada @t_wada

@kyon_mm いま言っているリファクタリングとはテストのリファクタリングですか？

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

@t_wada あ、そうです。すいません＞＜

せとあず @setoazusa

@kyon_mm デフォルト、というのは？assertが1回も呼ばれなかったらfailってこと？

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

@setoazusa ですです

せとあず @setoazusa

@kyon_mm 面白いけどJUnitではテストケースとassertメソッドは実装が独立している、というのが原則だからな−。そうしないとカスタムアサーションが作りづらくなっちゃう。

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

@setoazusa そうなんですよねー。そのおかげ？でGroovyでもJUnitを楽に拡張できたんだろうなーとは思っていますし、自分でも作りやすいんだろうなーって。で、JUnit4からはアノテーションで区別できなかったのか。とたまに思うのです。

Hideki Kishida @quicy

自分でユニットテストフレームワークを作ってみて分かったのは、テストランナー、テストクラス、アサーションを別々に設計して、独立性を高めた結果、テストはデフォルト成功扱いになる感じ。ランナーとアサーションの結合を受け入れることで、デフォルト失敗に修正した。

Takuto Wada @t_wada

@quicy なるほどなるほど！ @setoazusa さんも言っていますが、結合度、拡張性などとのトレードオフ関係を考えた上での設計判断なのですかね。つぶやいてみてよかったです。

goyoki @goyoki

assertを全く書かず、基準以上のコードカバレッジとjunitがグリーンという結果でテスト完了、と判断してしまう現場が出てきてるからなー >デフォルトグリーン

Takuto Wada @t_wada

@goyoki そうなんですよね…

Hideki Kishida @quicy

Assertionフリーテスト問題は、「テストの進捗をとりあえず上げたい」という欲望に根ざしているので、デフォルト失敗にしてもassertTrue(true)とかやっちまうんじゃないだろうか。

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

JUnit4は@Testだとデフォルト失敗で@TestDefaultSuccessだとデフォルト成功。とかにしてほしかった。

きょん＠アジャイルコーチ、システムアーキテクト @kyon_mm

@TestDefaultSuccessは原則禁止とかプロジェクトで決めればいいわけで。使うときはコメントなり仕様書に反映なりなんなり的な。

Hideki Kishida @quicy

Assertionフリー問題は、前職でリアルに経験しました。それを経験するまでは、テストツールをデフォルト失敗にはしなかったと思う。テストツール作る側にとって「まさかそんなことあるわけw」という頭は、どうしてもあったなぁ...。

goyoki @goyoki

@t_wada もしかしたら成功、失敗の他に、テスト無しみたいな結果があればいいですねー

sue445 @sue445

@goyoki @t_wada テストケースのあるコードをリファクタリングしててassertがコメントアウトされていた時の絶望感と言ったら、、、、

安心沢ガブ美 @gab_km

JUnitはテストがデフォルトで成功しちゃうのね。NUnitもそうだったような。

せとあず @setoazusa

JUnitのデフォルト成功という挙動をかえるのは無理なので、もしやるなら静的解析の出番なんだろうな。

wtnabe, yet another yak shaver @wtnabe

もともとTDDの教えを先に知ったのでJUnitのデフォルトGREENに違和感は特になかったり。PHPで書くときはまずREDにするところまでを準備と受け入れている。