Kuniyasu SUZAKIさんのUSENIX FAST 2013ツイートのまとめ
-
nminoru_jp
- 2301
- 0
- 3
- 0
-
- いいね！0
suzaki
@KuniSuzaki
USENIX FAST 2013のTraining Program "Erasure Coding for Storage Applications(テネシー大のJames PlankとMSRのCheng Huang)"に参加。https://t.co/36jW2UXs
2013-02-13 02:04:26
suzaki
@KuniSuzaki
RAID6で使われているRDP (Row-Diagonal Parity) 方式の解説。使われているGalois Fieldの説明。
2013-02-13 02:30:58
suzaki
@KuniSuzaki
1960年に戻ってReed-Solomonの説明。 Maximum Distance Separableは日本語で最大距離分離符号なのか。解説記事「リード・ソロモン符号の半世紀」から。 https://t.co/EXoJzw0R
2013-02-13 02:36:50
suzaki
@KuniSuzaki
続いて1995年にいって Cauchy Reed-Solomon。これは論文での発表ではなく、テクニカルコートらしい。Reed-SolomonはGalois Fieldの計算が必要だが、Cauchy Reed-SolomonはXORのみで処理可能
2013-02-13 02:41:16
suzaki
@KuniSuzaki
続いて、RAID6で使われているX-Codeの解説。X-Codeの特許は取られている。X-Codeの論文は難しいとのこと。論文URL http://t.co/iifb8cLU
2013-02-13 03:06:49
suzaki
@KuniSuzaki
RAIDで使われているその他の手法。Blaum-Roth/Liberation/Liber8tion。これらは名前が挙がったのみだが、講演者(James Plank)のオープンソースライブラリには入っている。 https://t.co/oEQnAemz
2013-02-13 03:16:53
suzaki
@KuniSuzaki
FAST2013 Training Program午前は30分休憩後、講演者をMicrosoft ResearchのCheng Huang氏に変えてErasure Coding in Cloud Storageの話。Cloud StorageではCostが大事で始まる。
2013-02-13 04:07:05
suzaki
@KuniSuzaki
Cloud Storageで使われているPyramid Codes解説。Reed-Solomonを階層的にした物。Windows Azureで使われてるらしい。Erasure Coding in Windows Azure Storage http://t.co/WfaS2raC
2013-02-13 04:27:11
suzaki
@KuniSuzaki
Pyramid Codes ってオリジナルはIEEE NCA(Symposium on Network Computing and Applications) 2007で発表されているのか。 http://t.co/zgiWNODF NCAは2005に発表したことあり。
2013-02-13 04:32:26
suzaki
@KuniSuzaki
Maximally Recoverable (MR) codesの解説。どれくらい壊してよいか。どのように壊れた場合ならか回復できるかを4 failuresを 使って例示。
2013-02-13 04:35:41
suzaki
@KuniSuzaki
質問。Coding技術は地理的分散と関係しているのか。答え：No。Coding技術はSingle Data Center内で使われている。
2013-02-13 04:42:04
suzaki
@KuniSuzaki
Storage Overhead(Codingで使うExtraなストレージ容量)とReconstruction Costのバランスを取ったLocal Reconstruction Code (LRC)。これは昨年のUSENIX ATC 2012でbest paperの話か。
2013-02-13 04:48:16
suzaki
@KuniSuzaki
USENIX ATC 2012でbest paperの論文は "Erasure Coding in Windows Azure Storage" http://t.co/ZZ19HknN
2013-02-13 04:49:54
suzaki
@KuniSuzaki
Facebookで使っているHDFS-RAIDやGoogleのGFS II (Colossus)はReed-Solomonを使っているが、MS AzureのLRC(Local Reconstruction Code)の方が余計なストレージが少なく、且つ再構成のオーバーヘッド少ない
2013-02-13 04:55:26
suzaki
@KuniSuzaki
Beyond RAIDで紹介されたPDMS(Partail MDS codes)。論文はこれ？ "Partial-MDS Codes and their Application to RAID Type of Architectures" http://t.co/k2joNxRj
2013-02-13 05:04:59
suzaki
@KuniSuzaki
Beyond RAIDで紹介されたもう一つのSD Codesは今回にFAST2013の論文。 http://t.co/uQb8Mfuk
2013-02-13 05:11:37
suzaki
@KuniSuzaki
SSD用のRAIDとしての論文。”Differential RAID: Rethinking RAID for SSD Reliability” http://t.co/jK10JZOl
2013-02-13 05:29:31
suzaki
@KuniSuzaki
USENIX FAST 2012 Training Program午後 ”Data DeDuplication: Technologies, Trends, and Challenges”に参加。
2013-02-13 06:41:02
suzaki
@KuniSuzaki
Deduplicationトレーニングで、面白そうなのはSimilarity based, differential (delta) encodingかな。
2013-02-13 06:45:01
suzaki
@KuniSuzaki
compress と deduplicationの違い。小さくすると言う意味では同じだが、基本的なサイズが違う。Compress (例えばLWZ)では数バイト単位だが、DeduplicationではKB-100KBの単位。
2013-02-13 06:57:50