Masahiro Kasahara
@mkasahara
IDCLのあのスライドですか?それは、システムの論文においては個々のアイディアというよりはアイディア(部品)の組み合わせが素晴らしいかどうかを判定しなくてはならず、手っ取り早くそれを示せるのが各種ベンチマークだからじゃないでしょうかね。
2011-06-14 15:15:15
Masahiro Kasahara
@mkasahara
タイヤで頑張るとエンジンに負荷が掛かって、良いエンジン積むと重量が増えてタイヤに負荷が、といったトレードオフのネットワーク構造が必ずあるから定性的な議論は無駄で、サーキット10週が何秒で走れたか、といった数字にしてシステム全体を代表させてるんじゃないかと思ってます。
2011-06-14 15:19:42
Masahiro Kasahara
@mkasahara
みんなイライラしてるのは、システムとして評価される方向と、論文として評価される方向に違いがあることなんじゃないかと。
2011-06-14 15:23:33
Masahiro Kasahara
@mkasahara
良くメンテナンスされているかとか、バグが少なく安定して動作するかとか、ドキュメントが充実しているかとか、使い勝手がいいとか、そういう客観的指標で表しにくい話は論文では非常に主張しにくいですよね。
2011-06-14 15:32:27
Masahiro Kasahara
@mkasahara
ただ、ソフトを使う側の話を聞くと、最初に確認するのは ChangeLog の日付がそこそこ密にあるか(メンテされているか)だったりして。
2011-06-14 15:34:41
Masahiro Kasahara
@mkasahara
次世代シークエンサー周りの解析ツールでも http://bit.ly/iNoSdI ここの Wiki に各ソフトが「メンテされているかどうか」記述する項目があったりして、みんな見ているみたいですね。
2011-06-14 15:38:05