スーパーコンピューター「京」開発のはなし

スーパーコンピューター「京」の開発のお話をまとめました。
25

第24回 回路とシステムワークショップ, 淡路, 2011.08.01~02 (電子情報通信学会、電気学会、IEEE)

大規模インタコネクトシステム検証における現状と課題 -京速コンピュータ「京」のネットワーク検証 (C1-2-1)

OISHI Ryosuke @roishi2j2

Cに移動。スパコン「京」のネットワーク検証の話。

2011-08-01 10:44:58

京速コンピュータ「京」のアーキテクチャと開発の現状 (A1-3-1)

OISHI Ryosuke @roishi2j2

お陰様で京が1位になりました。性能も消費電力も連続稼働時間も1位です http://twitpic.com/5z71os

2011-08-01 14:51:49
拡大
OISHI Ryosuke @roishi2j2

top取ったり取られたりしています。事業仕分けがあったりして少し遅れてますw http://twitpic.com/5z72je 名前は京になりました。理由は後付けですが数の単位です。「京」という字には「大きな門」という意味もあるそうですが知りませんでした。

2011-08-01 14:55:54
拡大

       ● TOP500 List 2011年6月

       ● 日本のTOP500ランキング1位記録 と 性能(Rmax)     (出典:TOP500 List)
         1993/11        数値風洞(NWT)     124GFlops
         1994/11-1995/11 数値風洞(NWT)     170GFlops
         1996/06        SR-2201/1024     232GFlops
         1996/11        CP-PACS/2048    368GFlops
         2002/06-2004/06 地球シミュレータ    36TFlops
         2011/06                  8.162PFlops

       ● Green500 List 2011年6月

OISHI Ryosuke @roishi2j2

システムは複雑です。6次元のメッシュ/トーラス結合で簡単に説明出来ません。CPUはSPARC64VIIIfxでレジスタがいっぱいありますが、キャッシュは少し少なめです。8コアでSIMD拡張命令を持ってます。CPU1個とインターコネクトとメモリで1ノードを構成します。

2011-08-01 15:01:35
OISHI Ryosuke @roishi2j2

ユーザからは3次元のネットワークに見えます。4ノードでボード1個、24ボードで1ユニットです。システムとしてはアプリケーション開発者の要望をかなり取り入れてます。CPUは128Gflopsで58Wの省電力。省エネスパコンランキングで第6位。

2011-08-01 15:04:58
OISHI Ryosuke @roishi2j2

信頼性も高いです。6次元メッシュ/トーラス結合ですが通常は3次元しか使わず残りは冗長構成です。ライバルと比較しますとlinpackは速いです。他のアプリはわかりません。一番のライバルはアメリカです。中国は資料を出してくれません。

2011-08-01 15:07:31
OISHI Ryosuke @roishi2j2

セクターキャッシュ機能があります。キャッシュを半分にぶった切って、二度と使わないデータとそうでないものを分けてキャッシュして効率化しています。

2011-08-01 15:10:46
OISHI Ryosuke @roishi2j2

ユーザ環境ですがフロントエンドはRHEです。fsは2階層です。ジョブはバッチシステムで実行します。ジョブを投入するとスケジューラが振り分けてくれます。プログラミングはスレッド並列とプロセス並列のハイブリッドです http://twitpic.com/5z7ad5

2011-08-01 15:14:32
拡大
OISHI Ryosuke @roishi2j2

京はまだ完成してませんが4月から試験運用が始まっています。いまアプリケーションが20本くらい、アカウント数は200くらいです。一度に全ノードが使えるわけではなく、8ノードから始めて実績を見ながら数千ノードぐらいまで増やしています。

2011-08-01 15:17:43
OISHI Ryosuke @roishi2j2

京のブツは神戸のポートアイランドにあります。駅の名前が「京コンピューター前」になりました。コンピューターがなくなったら駅名をまた変えてくれるそうです。計算機棟は地上3階地下1階で中の階は空調専用です。冷却は2系統あります。

2011-08-01 15:20:57
OISHI Ryosuke @roishi2j2

こんな感じで納入しています。 http://twitpic.com/5z7da4

2011-08-01 15:22:18
拡大
OISHI Ryosuke @roishi2j2

1階のロビーは自由に見学できます。広報に問い合わせていただければ団体も可能です。11/5に一般公開予定です http://twitpic.com/5z7ebq ありがとうございました。続いて2件目あります

2011-08-01 15:26:23
拡大

京速コンピュータ「京」に向けたアプリケーションの高性能化 (A1-3-2)

OISHI Ryosuke @roishi2j2

京のアプリケーション関連の話をします。スパコンはいろんな用途に使えます。しかし使うのは難しいです。超並列性を引き出すのが鍵です。並列計算出来ない部分をとにかく減らします。メモリウォール問題などが知られています。データは水でCPUは食洗機です。キャッシュで再利用するモデルです。

2011-08-01 15:30:12
OISHI Ryosuke @roishi2j2

運用に先立ってシステム性能を検証します。研究者が書いたアルゴリズムに超並列性を持たせるように書き直すのが我々の仕事です。いくつかの重点アプリケーションがあります。 http://twitpic.com/5z7h5n

2011-08-01 15:33:26
拡大
OISHI Ryosuke @roishi2j2

コードを開発する計算科学者とチューンする計算機科学者が共同で作業してます。まず特性を分析しカーネルを評価します。演算の特性、通信の特性をブロックごとに分析します。コード全体を評価してしまうと特性がなかなか見えてきません。

2011-08-01 15:37:09
OISHI Ryosuke @roishi2j2

高並列化のために、非並列部分の影響、ロードバランス、隣接通信時間、大域通信時間が超並列時にどの程度影響するかを見ます。ウィークスケーリングで少しずつ並列度を上げながら評価します。

2011-08-01 15:41:18
OISHI Ryosuke @roishi2j2

評価ひた結果はこんな感じです http://twitpic.com/5z7kpw

2011-08-01 15:42:51
拡大
OISHI Ryosuke @roishi2j2

高速化のためには並列化だけでなくSIMDや拡張浮動小数点レジスタなどを使いこなす必要があります。事例を紹介します。 http://twitpic.com/5z7lvg 固有値を計算するアルゴリズムです。

2011-08-01 15:46:58
拡大