計算機の性能評価

須田礼仁 @reijiS

並列処理、高性能計算は、実践である。知ることではなく、行うことが本質だ。その評価は、理論ではなく、成果によりさだまる。

須田礼仁 @reijiS

いまや、あらゆるコンピュータが並列計算機になった。スパコン、クラスタ、クラウド、グリッド、から、ノートブックプロセッサ、モバイルプロセッサまで、すべて並列計算機である。

須田礼仁 @reijiS

すべてのアルゴリズムとは言わずとも、すべての大規模ソフトウェアは、並列処理を使っている。実世界で必要となる複雑な処理の実現は、並列処理にかかっている。

須田礼仁 @reijiS

かつてはそうではなかった。並列計算機は、特別な計算機であり、特別なユーザだけのものであった。

須田礼仁 @reijiS

しかし、近年ではあらゆる計算機が並列性を有している。もはやシングルコアのラップトップは見当たらない。マルチコアであり、しかも各コアは短ベクトルのSIMD並列命令を有している。ワークステーションは、数十コアを有する。

須田礼仁 @reijiS

並列性も多様化している。データ並列は簡単だが、一般のアルゴリズムてはそうはゆかない。いまや、あらゆる計算が並列処理を求めている。

須田礼仁 @reijiS

ところが、我々は、一般の並列を表現するモデルを持たない。我々が知っているのはごく特定のパターンであり、そこから離れると、急に知識が少ない。 MIMD, SIMD, SPMD, vector などのモデルは、あまりにも特殊である。

須田礼仁 @reijiS

新しい現実のために、新しい理論が生まれるには時間がかかる。 並列には理論はあったが、現実にマッチしなかった。理論家はがっかりした。並列は理論を受け付けないとおもった。

須田礼仁 @reijiS

それは正しくない。理論が架空すぎて、現実に性能が説明できなかったのだ。ハードと理論がマッチすれば、理論に基づく新しい並列処理は生まれてくるだろう。ただ、それが何時なのかは、誰も知らない。きっと、天才の登場が必要である。

須田礼仁 @reijiS

ただ、我々は、天才の登場を指をくわえて待っているわけにはゆかない。現に目の前にある並列計算機を使い、現に目の前にある問題を解いて行かねばならぬ。

ｈｒｋ先生 @Prof_hrk

@reijiS いきなり保守的な意見で申し訳ないですが、いろいろなモデルが出ては消えました。私見ではPRAMモデルとDataflowモデルを両極端として持てば用は足りるのではないかと考えています。私の講義ではそのように扱っているつもりです。

ｈｒｋ先生 @Prof_hrk

@reijiS 更に私見ですが、Flynnの4分類はプログラムを書く上で非常に重要なので、特殊とは考えていません。

Jun Makino @jun_makino

真面目な話、並列計算の理論的問題ってあったとすればほぼ Feynman と Hillis と Steele によって解決されていて、単にそのことを認めたくない人がいるだけじゃないかという気もする。

Jun Makino @jun_makino

Hillis による http://t.co/0wghEnWom3 Richard Feynman and The Connection Machine

Jun Makino @jun_makino

ほぼ Feynman が TMC 作ったみたいなもんだなこれ。

ｈｒｋ先生 @Prof_hrk

@jun_makino Hillisの論文が1985、CM-1が1985で、Feynmanの参加が1990なので、CM-5への貢献というものでしょうか。でも、CM-5というとLeisersonの影響が大きい気もします。

Jun Makino @jun_makino

@Prof_hrk あ、そうじゃなくて、親のファインマンがTMCにかかわったのは83 年前後からみたいです。で、88年に亡くなってます。

ｈｒｋ先生 @Prof_hrk

@jun_makino 情報をありがとうございます。親子ということを忘れていました。

須田礼仁 @reijiS

みなさまいろんなコメントありがとうございます。 気まぐれな性格なもので、続きはいつになるか(あるかどうか)わかりません。すみません。

Jun Makino @jun_makino

私もこれはちょっと聞いてみたい的→ http://t.co/p4pVnnQnxh FPGA のコンパイルに i3770 で十五分ぐらいかかるんだけど、 京だと何秒ぐらい？

Jun Makino @jun_makino

80 年代だと、スパコンの用途の 1 つに論理シミュレーションというのがあっ たんだけど、現在ではソフトウェアもそれが動くハードウェアも全部外国製。 しかも、分散処理とかほとんどできてなくて、、、

Jun Makino @jun_makino

大規模 FPGA のコンパイルに数時間、っていうのは 20 年前からまるで変わっていない。

ｈｒｋ先生 @Prof_hrk

@jun_makino それはお客が離れる限界が大規模FPGAで一晩にあるからなので、更に大きくなれば速くなる技法を入れざるを得なくなると思います。並列make的なものは容易ですが、高々構成ブロックの数なので、そのままでは並列性が高くならないと思います。

ｈｒｋ先生 @Prof_hrk

@jun_makino これって、SPARC64 VIIIfxでどの位、と言うことを聞いている訳ではないですよね。

Jun Makino @jun_makino

@Prof_hrk もちろん、分散メモリ並列化できたとして、の話です。