2011年8月18日

データ爆発時代の天文学:巨大電波望遠鏡群 SKA の場合

将来に計画されている巨大電波望遠鏡群 SKA (Square kilometer Array)では、観測技術以上に膨大に発生するデータの処理技術が克服すべき大問題となっています。天文学者の大石さんと、スーパーコンピューターTSUBAMEの立役者の松岡さんを中心とした雑談です。
10
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

データ爆発の時代になると、天文学者だけではなく計算機科学者と一緒にやらないとどうしようもない。

2011-08-17 20:13:20
Satoshi Matsuoka @ProfMatsuoka

是非 “@mo0210: データ爆発の時代になると、天文学者だけではなく計算機科学者と一緒にやらないとどうしようもない。”

2011-08-17 20:39:26
Nobuyuki Kawai @NobuKawai

特にSKAに計算機学者を大規模に巻き込んで日本が参加したらいいのじゃないかと傍目には思いますが如何なもんでしょう。RT @ProfMatsuoka: 是非 “@mo0210: データ爆発の時代になると、天文学者だけではなく計算機科学者と一緒にやらないとどうしようもない。”

2011-08-17 23:26:05
Satoshi Matsuoka @ProfMatsuoka

オーストリアでは既にCSROを中心にそのように。確かに日本でもそれは必要かも。ただSKAは技術ハードルは大変高い。RT @NobuKawai 特にSKAに計算機学者を大規模に巻き込んで日本が参加したらいいのじゃないかと傍目には思いますが如何なもんでしょう。RT @mo0210

2011-08-17 23:53:01
Satoshi Matsuoka @ProfMatsuoka

一般の方に:SKA = Square Kilometer Array.何千もの小型電波望遠鏡を数千kmの距離に分散し一体運用してすごい仮想電波望遠鏡をつくるという史上最大の電波望遠鏡プロジェクト。http://t.co/5un0pms

2011-08-17 23:57:35
Satoshi Matsuoka @ProfMatsuoka

SKAは色々技術的に大変なことがあるけど、情報系としてはそのデータ量と処理ニーズがもう半端ではないという点。京やTsubame2.0を超えるマルチペタスケールスパコン、およびマルチペタ~エクサバイト級の巨大な高速ストレージ、更には超高速信号処理系を必要としている。

2011-08-18 00:00:43
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

@ProfMatsuoka @NobuKawai さっき、Aus SKAでデータを扱っているAndreas WIcenecと話しました。彼とは以前からの知り合いなので、いろいろ聞けました。

2011-08-17 23:59:11
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

@ProfMatsuoka @NobuKawai SKAにむけたパイロットプロジェクトであるASKAPでさえも、Tbits/sのデータフローが発生。SKAが実現するとすれば、もっとすごいことになる。

2011-08-18 00:00:41
Satoshi Matsuoka @ProfMatsuoka

はい。ペタフロップス級のスパコンがフルスピードで通信したような。しかもそれを処理格納の要が:@mo0210 SKAにむけたパイロットプロジェクトであるASKAPでさえも、Tbits/sのデータフローが発生。SKAが実現するとすれば、もっとすごいことになる。 @NobuKawai

2011-08-18 00:02:57
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

@ProfMatsuoka 欧州が進めているLOFARというプロジェクトも同様です。スパコン級の処理速度で4秒でフィードバックを掛ける、というとんでもないことをやろうとしています。

2011-08-18 00:08:34
Nobuyuki Kawai @NobuKawai

@ProfMatsuoka @mo0210 個別部品のトランジスタからICへの進化のような、技術的ブレイクスルーがないとSKAの実現は難しいのでしょうか。

2011-08-18 00:07:32
Satoshi Matsuoka @ProfMatsuoka

松岡の理解では、結局はいかに速いスパコンを造るかという話と技術的にはオーバーラップが大きので、大変ですがお金とエクサへの技術進化で何とか…:@NobuKawai 個別部品のトランジスタからICへの進化のような、技術的ブレイクスルーがないとSKAの実現は難しい? @mo0210

2011-08-18 00:10:15
Satoshi Matsuoka @ProfMatsuoka

ただ、最新の技術パラメタを使ってちゃんと考えたことはないので、はっきりしたことは申せません。まあどのみちエクサと同様技術・資金共大変なのは間違いないのですが。RT @NobuKawai @mo0210

2011-08-18 00:11:51
Satoshi Matsuoka @ProfMatsuoka

あーそうだネットワーク屋さんの技術、特にLong HaulでTbitの安定伝送とかも必要で大変そうです。。。@kenji_rikitake VLBI的なプロジェクトには可能性がありそうで楽しみです. @mo0210 @NobuKawai

2011-08-18 00:14:13
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

@ProfMatsuoka @NobuKawai 受信機技術で協力するより、情報技術で協力するほうが良さそうに思えてきました。情報技術なら、応用範囲も広そうだし。

2011-08-18 00:12:04
Nobuyuki Kawai @NobuKawai

私はずっとそう思っていたのだけど、電波の人は受信機やりたいのでしょうね。あまり計算機屋さんを巻き込む話を聞かない。RT @mo0210: @ProfMatsuoka 受信機技術で協力するより、情報技術で協力するほうが良さそうに思えてきました。情報技術なら、応用範囲も広そうだし。

2011-08-18 00:29:59
Satoshi Matsuoka @ProfMatsuoka

電波屋さんも大事ですが、そもそも個々の望遠鏡で電波屋さんが頑張れば頑張る程データレートが上昇するのと、スパコンと同様の「超並列化」でさらに拍車がかかり大変なことになっていると。RT @NobuKawai 電波の人は受信機やりたいのでしょうね。 @mo0210

2011-08-18 00:40:42
Satoshi Matsuoka @ProfMatsuoka

スパコン屋もデータ爆発に真面目に対処し始めたのはこの10年ですし、スパコンセンターも未だにストレージが極端にプアなのが多いです。ただ最近は一部は相当真面目になってますし、SKAは天文でも同様に文化を変えるのでは?:@mo0210 装置にしか興味がないから @NobuKawai

2011-08-18 01:17:38
Nobuyuki Kawai @NobuKawai

@ProfMatsuoka 天文の文化(まるで年号だ)の変化はもう始まっていて、SDSSとSupernova Cosmology ProjectはフェルミラボやLBLの素粒子物理の人たちが入ってきて大量データ処理+単一大目的科学という異質な文化を天文に持ち込んでいます。

2011-08-18 01:34:18
Satoshi Matsuoka @ProfMatsuoka

確かに。しかもSDSS(Sloan Digital Sky Survey)はそもそもSDSC (San Diego Supercomputer Center)が大分深く関わってて当センターのSRB使ってたはずですから。(何か似たような略号が多い) @NobuKawai

2011-08-18 01:45:29
Rin @rtriiii

どの業界も同じなんだなぁ。RT @mo0210: データ爆発の時代になると、天文学者だけではなく計算機科学者と一緒にやらないとどうしようもない。

2011-08-18 03:07:36
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

@ProfMatsuoka @NobuKawai データ爆発に対応するためには、演算処理能力だけではなくデータ転送能力と巨大データ蓄積・アクセス技術の全てが要求されるので、場合によってはスパコンを作るよりも大変かもしれません。問題に出会って初めて慌てるのが人間?

2011-08-18 04:09:01
Satoshi Matsuoka @ProfMatsuoka

ありがとうございます。同様の問題でゲノム系では黒川・秋山先生やDDBJの方々と色々はじめています。天文も同じ用に?“@NobuKawai: @mo0210 @ProfMatsuoka @rtriiii つぶやきを使わせていただきました。 http://t.co/oaP8vIK

2011-08-18 09:47:06
大石雅寿(手洗い&うがいで風邪知らず) @mo0210

@ProfMatsuoka @NobuKawai ペタ超スケールのデータを格納するとなると分散ストレージにするのは必須だと思いますが、その場合の注意点はなんでしょうか?お勧め製品など情報をいただけませんか?

2011-08-18 13:49:36
残りを読む(3)

コメント

Nobuyuki Kawai @NobuKawai 2011年8月18日
希望により削除したり、追加したり。
0
いちかわ けんと💉💉 @kentosho 2011年8月18日
素粒子物理やった後に通信工学の研究室でポスドクしたのは、狙った訳じゃないけれどもいいことだったのだな。
0
temp @actgeo 2011年8月19日
SKAはphased arrayで全天データを常に取得できるので,天文学者は「いかに望遠鏡占有時間を確保するか」から「いかに相関処理のマシンパワーを確保するか」に思考がシフトすることになる。
0
temp @actgeo 2011年8月19日
さらに,相関処理の方の律速段階もなくなれば,電波の低周波に関してはデータが空から降ってくるようになるわけで,プロポーザルなんてなくなってしまい「観測天文学者」なんていなくなるかもしれない。これは極端だけど,パラダイムシフトは起こるよ!
0