rubyspecとrubyのtest-allについて

nagachika @nagachika

rubyspec は昔少し覗いてみた印象としてはテストじゃなくてMRIの*実装を*愚直に反映させて他実装がreferenceにしたいためのもの(バグも再現している)って感じだったので、テストは別に必用。spec って名前だけど「仕様」じゃなくて「実装」を反映してるよねあれ

成瀬 @nalsh

@nagachika バグ互換の仕様だと思えばまぁ。でも、所詮は CRuby 側が決める仕様のキャッシュなんですよね。で、CRuby の仕様はどこに書いてあるのか、例えば実装と rdoc とテストが矛盾していたとき正しいのはどれか問題とかは、実は議論しないと確定しないってのが

nagachika @nagachika

@nalsh 「実装にはバグも完全に記述されている(キリッ」って感じですか。まあ確かに今の開発体制で仕様と実装という言葉を区別する意味はないかもしれませんね。

成瀬 @nalsh

@nagachika 仕様変更ならブランチにバックポートされますし、バグならバックポートされるので、区別されるんですが、その基準はなんとなく議論で決まるとか

Ayumu AIZAWA @ayumin

@nalsh @nagachika rubyspecは補完的に実行されれば良いというか第三者目線によるチェックの仕組みだとおもっています。

nagachika @nagachika

別に rubyspec の存在価値を否定するわけではなくて、他実装が参考にしたいものとして有用なのだと思うのでそれはよいんですけど、「こう動いて欲しいなぁ」じゃないという意味でテストではないというただそれだけです。

成瀬 @nalsh

@ayumin @nagachika って言う風に使えるといいんですけど、どうもわたし以外に CRuby との矛盾を見てる人はいない気がするのがなんとも

nagachika @nagachika

@ayumin @nalsh そうなんですかねぇ。あまりたくさんチェックした経験はないんですけど、rubyspec がこけたから調べてみて CRuby 側の問題だってケースを体験してないような気がするんですよね

成瀬 @nalsh

@nagachika @ayumin 感覚的に10個に1個くらいは CRuby 側かな

Ayumu AIZAWA @ayumin

@nalsh @nagachika わたしはrubyspecでコケたのがきっかけでひとつBugチケットを起票した経験があるます。

nagachika @nagachika

@ayumin なるほどー。やっぱりサンプル数が少ないと体験からくる印象にもムラが出ますね。

小崎 資広 (KOSAKI Motohiro) @kosaki55tea

@nalsh @ayumin @nagachika わたしはrubyspecで品質向上してないと思ってるのでrubyspec死ね死ね派です（もう断言しちゃう）。テストはちゃんと考えて作らないと工数吸い取る蟻地獄になっちゃうんじゃよー。テストの意味を考えるのは必須なの

vyv03354 @vyv03354

@nalsh すみません、どちらもバックポートされるならどのように区別されるのでしょうか。

成瀬 @nalsh

@vyv03354 あ、あれ、「仕様変更はバグ変更されない」が正しいです。失礼しました

Hiroshi Nakamura @nahi

@nagachika "「こう動いて欲しいなぁ」じゃないという意味でテストではない" に従うとtest-allも「テストではない」です。結局程度の差で、そこに問題があるとすれば、程度の差しかない（いい名前持ってるのに同じ事やってる）ことだと思います。

nagachika @nagachika

@nahi あれはつまりtest-allがエラーになったらrubyが壊れたかtest-allが間違っているかだけど、rubyspecがエラーになったら基本的にはrubyspecを合わせるよね(なぜなら不具合込みでどう動作するかを反映しているように見える)、という意味でした。

nagachika @nagachika

@nahi まあでもあちこちから指摘されたように実際にはその都度バグじゃないか議論するということなので、確かに程度問題ですね。

( Φ _⊞) @n0kada

@nahi test-allは本来のテストとregressionが混じってるからねぇ

Hiroshi Nakamura @nahi

@n0kada 本来のテスト、って仕様のテストのことですかね？いっそspecディレクトリに仕様テストを移動する？

( Φ _⊞) @n0kada

@nahi そのほうがいいかもしれないという気もちょっとしてきた

Hiroshi Nakamura @nahi

@n0kada specディレクトリはtest-unitのみ？mspecを許容？minitestは？

( Φ _⊞) @n0kada

@nahi specに移動よりも逆にregressionを分離するほうがいい気がしてきた

Hiroshi Nakamura @nahi

@n0kada 確かに。ついでに標準添付ライブラリのも分離するかー。

成瀬 @nalsh

@n0kada @nagachika @ayumin そうですね。それだったら適当なRailsアプリのテスト走らせたほうがたぶんいい

( Φ _⊞) @n0kada

@nalsh @nagachika @ayumin 走らせる環境を作る手間が少ないのは利点かも。SEGVするかどうかくらいしか見ないけど。