MRUnitってマイナー？

グリーンラベリスト @yanaoki

MRUnitが物足りねぇなと思ってググってたら、某まーぶる氏のgithubにたどり着いたの巻

marble @marblejenka

@yanaoki あれもびみょうなんですけどね。。最近のMRUnitとくらべてだとどうかわからないですが、Jobに対してテストが書けるのと、多段MRのテストがちょっと書きやすいとか、そのくらいです。

marble @marblejenka

Asakusaのtest-driverだけ切り離したらどうか説もあるけど、ツンデレ門とくっついてることに価値があるという側面もあり、なんとも。

marble @marblejenka

あと、0.21.x以降だと思うけど、MiniDfsCluster的なものでもうちょっと疑似分散っぽいテストが、簡単かどうかはさておき、できるはずで、そういう意味だとMRUnitの存在意義はどうなのかという話も。

グリーンラベリスト @yanaoki

@marblejenka 参考にさせていただきます(^-^)/。なんかMRUnitって開発があまり活発じゃないんですかねぇ、不思議。

marble @marblejenka

http://t.co/Velu4Yi 世の中こんなものか

marble @marblejenka

@yanaoki たぶん生MRって書いてる人は実は相当少なくて、Pig/Hiveのレイヤでどうにかしているのかなと。Pig/Hiveのテストは書いたことないので何ともですが。

marble @marblejenka

http://t.co/Y6SGvRv ていうかプロジェクトのsiteもないんだよね。やっとリポジトリみつけた。

グリーンラベリスト @yanaoki

@marblejenka あぁ、ほんと、そうっすね。。少数派の自覚が足りなかったです。。

wyukawa @wyukawa

MRUnitってマイナーなのか。まあ象本はMockitoのみの記述だったような気もする。

marble @marblejenka

jiraみてると、あーそれたしかにMRUnitつかってるとはまりんぐ＞＜、みたいなのがあり、 http://t.co/1lQ1KgQ 世間知らずだった少年時代から自分だけを信じてきたような、そんな気分になる。

wyukawa @wyukawa

生MapReduceのプログラムを書くのが少ないとして、Pig/Hiveならどうするか。PigはPigUnitなるものがあるようだけど

marble @marblejenka

どうにかすべきじゃないかという心情もある反面、MR書いてるとか（笑）みたいな話はなきにしもあらずで、どうすべきかは悩ましいところ。

wyukawa @wyukawa

JUnitで実行されるのか。Jenkinsでくえるのかな＞PigUnit - Pig script testing simplified. http://bit.ly/phD2vE

marble @marblejenka

jiraとコードを見る限りだと、パッチは投げられてるけどあたってないとかそんな感じか。E. Summerってたしかclouderaの人だし、たぶんcloudera的にもMRUnitはいらんとかそういう雰囲気なのだろう。

wyukawa @wyukawa

Hiveの場合はHiveUnit的なものは無いし、どうすんのがいいのかねえ。いっそのことProcessBuilderでhive実行しちゃったほうがJenkinsで結果を食えて良いみたいなところがあんのかな

marble @marblejenka

MRUnitがあるからMapReduceの単体テストができるので大丈夫的な議論はみたことあるような気がするけど、それは多分書いたことない人が言っているか、段数1なMRしかテストしたことがないかのどちらかか。

グリーンラベリスト @yanaoki

@marblejenka MRを書くような場面って結構凝ったことするので（しリアライズとかMultiとか）、そういう痒いところがテストできないと意味ねー、とか思いました。

marble @marblejenka

@yanaoki なるほど。たしかに、なかなか悩ましいところではあります。

宮川 拓 @miyakawa_taku

@marblejenka MiniDFSClusterって、クラスタのスタブだと思うので、それ使ったテストは「単体テスト」としては粒度が荒すぎるんじゃないかなあという気がしました。

宮川 拓 @miyakawa_taku

@marblejenka かといって、map&reduce は粒度が細かすぎる=期待結果がそれ自体で業務的な意味を持たない場合があるし、そもそも容易にテストできる代物でもないので、頑張ってクラス単体をテストしても不毛な感もあり、どうしたものか、という感じです。

marble @marblejenka

@miyakawa_taku そんな感じですね。単体テストの単体ってなんなのか、みたいな話だと思いますが、やっぱ意味のある単位でテストしたいなあと。