スパコンのベンチマークについて

@telmin_orcaさんの連ツイのまとめ
2
山田てるみ @telmin_orca

ここんとこ京が話題だけど、なんかビミョーな嘘が出回ってるからつらつら呟く。スパコンにはメジャーな3つのベンチマークがある。Top500、Graph500、HPCGというもの。まぁ分野別ランキングみたいなもの

2016-11-18 00:52:08
山田てるみ @telmin_orca

Top500(Linpack)の内容はともかく、性能特性としては、「理論演算性能(ピーク性能)に対してどれぐらい出せるか」というもの。この比率を実行効率と呼ぶ。Top500はその特性上、今日では現実に即していないという批判がある。そのため、方々では色々と議論があるのは事実

2016-11-18 00:55:50
山田てるみ @telmin_orca

だからと言って、中国のスパコンはLinpackモンスター、だとか、日本は使いやすさ笑重視だからとかのたまっていいかというとそういうわけではない。ピーク性能に対して実行効率がどれだけ出るかというのは、頑張ればここまでは出るという指標になる

2016-11-18 00:58:40
山田てるみ @telmin_orca

つまりこの計算機では、頑張ればここまでは出る、転じてこれ以上は出ない(出にくい)という一種の指標になる。そこでそもそもこの問題はこの計算機に適しているかが決定できる

2016-11-18 00:59:35
山田てるみ @telmin_orca

Graph500は幅優先探索で大規模なグラフ構造をトラバースしていくもので、特性としてはネットワーク、メモリ帯域が問われるようなものになっている。こっちもTop500に対して実用アプリベンチマークとか言われてるけど、まぁ否定はしないがこれだけ取り出して世界一とかいう話しても…

2016-11-18 01:02:33
山田てるみ @telmin_orca

んで、HPCGも、特性上完全にメモリアクセスがネックになるもの。かといってメモリアクセスだけでいいかというとそうでもなくて、HPCGはバランスが求められるって感じではある

2016-11-18 01:10:24
山田てるみ @telmin_orca

あと、HPCGは実用アプリベンチマークというわけでもない。実用性がないかと問われれば、ある方とは答えるものの、しかし、あくまで性能特性を測るものと考えるべき。なぜならデータは特定の問題のみであって、必ずしも他の問題でも同様の性能が出るわけではないと考えられるから

2016-11-18 01:13:20
山田てるみ @telmin_orca

でまぁ、スパコンではこの三つのベンチマークどれか一つが、という議論でもなく、この三つぐらいは全てカバーしていないと使いやすいスパコンとは言えないと俺は考えているワケで、特定部門で一位取ったからといってそこまで大喜びするのもなぁ、と思うワケ

2016-11-18 01:14:51
山田てるみ @telmin_orca

もちろん、それぞれ凄いわけだけど、あるところだけを取り出して京は素晴らしいとか日本素晴らしいとか言っても仕方ない

2016-11-18 01:16:50
山田てるみ @telmin_orca

それで、「ほんとうに使いやすいスパコンだとしたら、なぜそれが量産されていないのか」を考えて欲しい。GPUを使ったヘテロジニアスなスパコンがなぜあり、一方で京のようなホモジニアスなスパコンがなぜあるのか?それは、それでいい、って言ってる人たちがいるから

2016-11-18 01:22:33
山田てるみ @telmin_orca

一人一人に持ってる問題は違っているんだから、画一的なスパコンがあるわけねーだろという話。だから「このベンチマークが重要。わかる人にはわかる」とかbreakthrough案件ぶっこいててもpgrするしかないわけですよ

2016-11-18 01:23:41
山田てるみ @telmin_orca

わかる人にはわかるとかいってるお前が一番わかってねーよと

2016-11-18 01:24:20
Yosuke Onoue @_likr

解きたい問題を解くためにハードウェアから設計しよう?

2016-11-18 01:25:27
山田てるみ @telmin_orca

それをやったのが牧野先生のGRAPEであり、これは一つの解になるわけだ

2016-11-18 01:26:32
山田てるみ @telmin_orca

だから、使いやすさ、という言葉が一人歩きしている今の状況はムカつく。お前らもう少し使いやすさとはなんなのか考えるべき

2016-11-18 01:29:11
山田てるみ @telmin_orca

つーわけで、誰かこれtogetterにまとめといて

2016-11-18 01:29:33
山田てるみ @telmin_orca

俺はこれからブースへ向かう

2016-11-18 01:29:45
山田てるみ @telmin_orca

杉本先生、牧野先生、と訂正しておきます。RT @telmin_orca: それをやったのが牧野先生のGRAPEであり、これは一つの解になるわけだ

2016-11-18 01:30:40
山田てるみ @telmin_orca

訂正しておきますってめっちゃえらそう

2016-11-18 01:36:20
emuonpsp@C103 12/31東S62b @emuonpsp

@telmin_orca ちょっと前、毎年出てくるhpcなやつはいつもLinackに最適化したチューンでランキング入りしようとする輩が多い気がしました。当時はなんだかな~と思ってましたが、まあ分かり易い指標ですしねえ(今もそうなんですかねえ)

2016-11-18 01:32:40
山田てるみ @telmin_orca

@emuonpsp 今でもLinpackモンスターはいっぱいいますからねぇ(目を逸らしながら

2016-11-18 01:38:08
山田てるみ @telmin_orca

この話の笑いどころは、俺が別にスパコンエンジニアとかではないことと、HPCの重鎮の方々に全部見られていることですかね…

2016-11-18 01:40:44
山田てるみ @telmin_orca

今スパコンってTwitter検索すると面白いよ

2016-11-18 01:42:57