須崎さんによるComSys2016まとめ
-
- いいね！0
suzaki
@KuniSuzaki
情報処理学会ComSys 2016に参加。ipsj.or.jp/sig/os/index.p… 招待講演『「京」とそれを支える設備の運用』 理化学研究所 計算科学研究機構 運用技術部門長 庄司文由 様で始まる。OS研究会はawayだそうだ。:-)
2016-11-28 10:15:18
suzaki
@KuniSuzaki
スパコンの京は「特定先端研施設の共用の促進に関する法律」に縛られており、これに沿って運用する必よあり。これはSpring8や東海村の施設なども同じ。 これかな。law.e-gov.go.jp/htmldata/H18/H…
2016-11-28 10:51:12
suzaki
@KuniSuzaki
スパコン京(82,944CPU)のCPUは月に10個程度の故障。特徴としてGordo Benn ChallengeやLinpack 負荷を高くした後に故障する。DIMMは月に10個-20個程度。 システムボードは平均すると3日に一回交換している。
2016-11-28 11:10:13
suzaki
@KuniSuzaki
スパコン京はMTBF 18.4days。つまり18日程度はFull実行できる。これは自慢できることで、Blue Waterで11日。
2016-11-28 11:17:01
suzaki
@KuniSuzaki
ComSys一日目。一つ目。Sparkのシャッフルはspill問題(メモリが少ない場合、一時ファイルを作る)などFSを使うものが多いため、バッファキャッシュに性能が依存する。Sparkのメモリを減らし、バッファキャッシュに多く割り当てることでIOを減らし、性能が良くなることの解析
2016-11-28 13:24:31
suzaki
@KuniSuzaki
質問：Sparkでヒープのメモリを減らし、バッファキャッシュを増やすと性能が上がるのは、Sparkの問題ではなく、JVMの実装が悪く、JVMがメモリを解放してくれないでは。
2016-11-28 13:32:59
suzaki
@KuniSuzaki
ComSys一日目。二つ目。チェックポイントはアプリ透過でないとTCPメッセージの消失などが起こる可能性がある。システムコール、ページフォルト、TCP Ackの直前に取ることでアプリに非依存でチェックポイントを取るI/O Viewの発表。
2016-11-28 14:06:16
suzaki
@KuniSuzaki
ComSys一日目。三つ目。プロセスの優先順位を制御するために、プロセスのプライオリティのみではI/Oの処理の負荷により完全ではない。I/Oにも優先度(入出力調整機能)を加え、それぞれの優先度を調整するTenderの発表。
2016-11-28 14:29:45
suzaki
@KuniSuzaki
ComSysストレージ一つ目。NVMエミュレータのQuartzではload/storeが同じ速度と言う想定で、Posixのsignalを使って遅延を起こすが、Writeが遅い場合に正しく評価できない。特にWriteBackを伴うLLCミスの性能を正しく評価できない。（続く）
2016-11-28 15:12:59
suzaki
@KuniSuzaki
load/storeが異なる速度のNVMエミュレータをQuarzを拡張して作成した。比較は同様の性能が評価できるGem5とNVMainを組み合わせたエミュレータと行った。
2016-11-28 15:13:29
suzaki
@KuniSuzaki
ComSysストレージ一つ目。In-memory KVSで強い一貫性を保つための高速な同期方式。主張はconsistency を保つために同期を完了させる必要はなく、エラー検出とアクセス制御があればよい、 だけどこれが正しいかが分らない。
2016-11-28 15:45:36
suzaki
@KuniSuzaki
Paxosやraftではないのでコンセンサスを取らずに強い一貫性を保つらしいけど、これでよいのかな。アクセス制御するらしいけど、それを制御するにもコンセンサスはひつようではないのか。
2016-11-28 15:45:44
suzaki
@KuniSuzaki
ComSysストレージ三つ目。ゲストOS内のアプリケーションのデータ配置を理解し、アクセス局所性の基づく先読みをハードディスクの前のSSDで行うストレージ階層管理。キャッシュのために30秒毎にデータのマイグレーションを行う。
2016-11-28 16:20:58
suzaki
@KuniSuzaki
ComSysストレージ四つ目。インメモリー重複除去(dedup)の書き込み高速化のdedup-throguh(ハッシュ計算を先に行う)、dedup-back(保存してからハッシュ計算を行う)とそのハイブリッドをRDAMに適用した発表。
2016-11-28 16:50:19
suzaki
@KuniSuzaki
インメモリー重複で気になったのは重複データへのレイテンシがどれくらいバタつくか（分散値）。レイテンシが明確だと重複除去を使った同じデータの検出ができる攻撃ができます。私の研究のMemory Disclosure Attack に関連 search.ieice.org/bin/index.php?…
2016-11-28 16:54:41
suzaki
@KuniSuzaki
Comsys仮想化一つ目。ホストからゲストを呼ぶVMRPCの逆を行うReverse VMRPCの発表。ネットワークやVMCSを使わずに通信を可能にし、ホスト側の/proc/rvmrpc/meminfoでゲスト側の/proc/meminfoが見える。これちょっと面白い。
2016-11-29 09:33:59
suzaki
@KuniSuzaki
ComSys2016 招待講演2:「Apache Spark - 開発者と現場の目 -」前半はＮＴＴデータ猿田浩輔様。project tungstenの発表は面白かった。また、処理フローの可視化があるが不十分であり、デバッガビリティに改善の余地あり。
2016-11-29 11:18:12
suzaki
@KuniSuzaki
ComSys2016 招待講演2「Apache Spark - 開発者と現場の目 -」後半はＮＴＴデータ土橋昌様。Toyota moters USAでSpark Summitで発表した例は面白かった。Sparkを使ってTwitterの情報を解析。一年で実績を出したのは驚異的と評価
2016-11-29 11:36:17
suzaki
@KuniSuzaki
omSys2016 招待講演3『「ビッグデータ同化」で天気予報を革命する』理化学研究所 計算科学研究機構 データ同化研究チーム チームリーダー 三好建正様。 データ同化ja.wikipedia.org/wiki/%E3%83%87… を使ってゲリラ予報を可能にする技術。応用として大変面白い。
2016-11-29 14:23:18
suzaki
@KuniSuzaki
スパコン京を壊した話は面白い。やはりファイルシステム関係で、多量の書き込みを起こしたためだそうだ。これは昨日の運用でも問題としてあがった問題で共通の課題。
2016-11-29 14:31:05
suzaki
@KuniSuzaki
ComSys性能評価一つ目。同期レプリケーションを用いたマルチマスタ型のクラスタであるGalera Clusterのクラスタセグメント技術を使ってOpenStackの認証サービス「Keystone」の性能改善を行う発表。
2016-11-29 15:08:03
suzaki
@KuniSuzaki
ComSys性能評価二つ目。Storage Class Memory(SCM)にFIOによるベンチマークを試し、スケールアウト・スケールアウトを確認して、コンフィグガイドラインとチューニングガイドラインを作成した発表。
2016-11-29 15:38:58
suzaki
@KuniSuzaki
ComSys性能評価三つ目。Tenderにおけるプロセス生成の高速化。再利用できる資源（同じプログラムのコード）があれば、それを利用してプロセス生成を行う。その他の資源の再利用もあり。Apacheで評価。Tenderではスレッドではなく、プロセスなんだ。
2016-11-29 16:07:09