2021年5月11日

40TBのデータを最速で転送する方法は?『電車でハンドキャリー』スニーカーネットは未だに強いし、AWSのサービスにもある

さらにブラックホールの画像のような大容量データになると、国際間でも物理的に運んでしまうのが速くて安いので現在もこの手法が選択されています。
153
渋沢えのさん @enosikakatan

40TBのデータを最速で転送する方法。 「山 手 線」 pic.twitter.com/ytm560kKh9

2021-05-11 09:37:04
拡大
くろ。 @56ssorc

@enosikakatan @poyopoyochan ハンドキャリーは侮れません…(´ω`)

2021-05-11 12:08:51
ツキコウ @ASD_jp

@i_love_sienta @enosikakatan ほとんどの場合はデータの単位は1024で繰り上がります 40TB(TiB)=40,960GB(GiB)=41,943,040MB(MiB) それと、通常1B=8bitです 41,943,040MB(MiB)= 351,843,720Mbit 1秒300Mbit伝送できるので 1,172,812秒およそ326時間になります。 13日半

2021-05-11 13:17:12
リンク コトバンク スニーカーネットとは - コトバンク デジタル大辞泉 - スニーカーネットの用語解説 - 複数のコンピューター間のデータのやり取りを、ネットワークを経由せずに、記憶媒体で行うこと。また、そのような状態。[補説]スニーカーを履いた運搬人が走り回ってデータをやり取りしているという意味で、ネットワーク環境が整備されていな...
ストラーフ @GertrudeStrarf

昔、南アフリカが伝書鳩で同じ事して鳩に負けてたな。 南アの通信会社、データ伝送の速度で伝書鳩に敗北 jp.reuters.com/article/idJPJA… twitter.com/enosikakatan/s…

2021-05-11 14:00:41
リンク JP 南アの通信会社、データ伝送の速度で伝書鳩に敗北 [ヨハネスブルク 9日 ロイター] 南アフリカで、通信会社大手テルコムのインターネットの遅さにいら立ったIT企業が9日、データカードを伝書鳩の脚に付け送ってみたところ、圧倒的に速く届くことが分かった。 83 users 76
剛@Z900 @1122Z900

2009年南アフリカで、高速通信インフラが整っていない環境下にて、80km先の地点へ4Gバイトのデータ伝送に伝書鳩を使った実例を思い出した←伝書鳩で2時間ちょい、インターネット経由だとその間に4%しか伝送出来なかったらしい twitter.com/enosikakatan/s…

2021-05-11 15:20:03
金玉でか造 @qozz94p6Icx6ZZX

@enosikakatan タクシーの方が安全そうな気がするけどそんな事無いんですか?

2021-05-11 12:53:33
れびんねっつぇん @lucie_angal

@qozz94p6Icx6ZZX 渋滞してると転送速度が落ちる場合があります。

2021-05-11 12:57:06
mikan_54951 @mikan_54951

去年のハッカソンで物理か通信、どっちが速いか見たいなのを比較検証するWebアプリ作ってたな... twitter.com/enosikakatan/s…

2021-05-11 15:05:02

都市部でも大きなデータの場合こうなりがち

Din_PPP @Kiriya_Nabe

@enosikakatan FF外から失礼します、なるほど、容量が多いとかえってディスクごと運んだ方が早いわけですね。目から鱗!

2021-05-11 12:37:08
なるきち @Naruko359

このクラスの量になると、よっぽど辺境の地でない限り国内は公共交通機関使うのがまだまだ確実で早いんだろうなぁw twitter.com/enosikakatan/s…

2021-05-11 14:24:06
ソラノアナ@R.I.P Flash @soranoana_dev

これ見て、昔聞いた大学教授の話を思い出した。スパコンで計算した何10TBとかのデータを転送する最速の方法は新幹線みたいな話。 twitter.com/enosikakatan/s…

2021-05-11 15:05:12
ブラックホールのデータ(空輸)
TTI_JAZZ @TTI_JAZZ

ブラックホールの撮影データも数PBあるから、スニーカーネットの方が速いって記事あったなぁ twitter.com/enosikakatan/s…

2021-05-11 14:26:20
テラ住職 @TeraJushoku

ブラックホールを撮影したEHTもデータ転送は空輸だったな twitter.com/enosikakatan/s…

2021-05-11 14:17:26
宇宙物理たんbot🍅✨学術系VTuber @astrophys_tan

これと原理的に同じことはブラックホールの撮像で有名なEvent Horizon Telescopeでも行われていて、データはハードドライブに入れて飛行機で運んだそうですわ。 eventhorizontelescope.org/faq/how-much-d… twitter.com/enosikakatan/s…

2021-05-11 12:46:07
残りを読む(24)

コメント

ettolrahc @ettolrahc2015 2021年5月11日
TiBの話が載ってるけど、HDDとかならTiBじゃなくてTBなので40TB=40000GB=40000000MBなんだよな
18
中村ヘボピー @hebop_ 2021年5月11日
「光速は俺らには遅すぎる」ってやつですね(違います
11
あらⓅ★ @arapix 2021年5月11日
設計完了して製造に渡すのを「テープアウト」とか「MT出し」って云うけど、設計データを磁気テープに記録して物理的に渡すことだから。ファイル転送で済んじゃう今では元の意味が判らない。
5
k@R-GLAY1 @KRGLAY 2021年5月11日
毎秒300メガビットって遅くないか?最速の回線つてどれくらいなんだろう?
3
a7R2Lj @a7R2Ljtm 2021年5月11日
盗難や事故のリスクがあるので中身次第だよな。40TBのディスク盗んでどうするのかはわからんが。 ただ、転送速度には運ぶ時間だけじゃなくて、メディアに吸い出す時間とか転送先ストレージに入れる時間も計算に入れないとな。
8
さーたん@もふもふ @tripleodd 2021年5月11日
交通事故があった場合、損害額はいくらになるんだろうか?
0
はやし・しのぶ @Hirarinmac 2021年5月11日
東海道新幹線では死んだ、新幹線で書類やら軽荷物を輸送する「新幹線レールゴー・サービス」、東北・上越新幹線で細々とやってるんだけど(東京と東北は仙台、上越は新潟まで)、JR九州が18日から博多鹿児島中央間で「はやっ!便」始めるんですよね。http://www.jrkyushu.co.jp/train/nimotsu/
7
Y.S @y_sugizou 2021年5月11日
LTO-8なら2本分か。確かに物理的に運んだ方が速いな。
0
りゅう @rothird 2021年5月11日
鉄腕!DASHでも昔こういう企画やってたな。FAXvsサイクル便だったかな。
5
TAKAMAGAHARA @SILVER_CAP 2021年5月11日
運送中の事故盗難のリスクや同じ媒体を使い続けることによる劣化といった要素を加味すると、また事情は違ってくるけどね。
0
atlan @atlan1701 2021年5月11日
HDDやテープへの書き出し/読み取りの時間も考慮すると差は縮まるかと思う、一部でもデータ届けば処理開始出来るのと全部届かないと何も出来ないのでも変わるし
7
Daregada @daichi14657 2021年5月11日
「鳥類キャリアはワームの自動発見・除去機能も備えているしな」(RFC 1149にも書いてあるネタ)
29
Masaki☆💉Fully Pfizered💉 @masaki_kkmt 2021年5月11日
テレビ局が取材で撮影したら、そのメディアをバイク便が拾って局まで持ってくもんな……  あの手この手で送信しようとするのはNHKぐらい?
1
メラミ @merameramix 2021年5月11日
SHIROBAKOの感想で、ギリギリ完成したマスターテープを主人公たちがTV局に直接持ってくのを「こんなんネットで送れよ」みたいなのあったけど、やっぱ物理はつえぇや
32
yuki🌾㊗️6さい🎉⚔ @yuki_obana 2021年5月11日
要らないデータは運ばない、予防策として検閲等を含めてあらゆることに対処できるのはこの手法以外にないので(´・ω・`)
0
白墨 @amanilo_ 2021年5月11日
昔も印刷用のクソデカ容量になってしまったデータを外付けHDDとかzip(フォーマットではない)ごと物理運搬してたなー
5
黄色いかまぼこ @yellow_chikuwa 2021年5月11日
スターウォーズ/ローグ・ワンで、大容量の設計図データを最終的にディスクのようなもので運んでいたのを思い出す
1
I-zy @digitaleazy 2021年5月11日
人件費や交通費の問題もあるもんね。どのくらいの容量でどの位のコストが境目なんじゃろ。
2
Nakayuki @nakayuki805 2021年5月11日
この方法でやるにしてもSATAを2回通るから(送り手→HDD、HDD→受け手)遅くならないのかな?ハンドキャリーレベルの容量だとSATA転送時間もバカにならないだろうし
0
つかさ メダカプロダクツ™ @stkki 2021年5月11日
AWSSnowmobile、そもそも利用ユーザーが限られそうだし襲撃されるリスクとか高そうで怖いな…
0
犬だよ @yaju5123 2021年5月11日
digitaleazy 容量もそうだし、従量制のWANとかサイト間VPNで送るとえらい事になったりしますね……。
2
dai @poddai 2021年5月11日
ローカルで80TBのクローンHDDを作って、後はネットに接続するだけにセットアップしてから関西のバックアップ拠点に送った事が有る。計算したらスニーカーネットが一番速い。
1
まうみん @maumin66 2021年5月11日
ettolrahc2015 その辺の単位系どっかで整理できなかったんかな
0
いぬだわん @InuWang 2021年5月11日
いまでも銀行さんのバックアップデータは物理媒体で遠隔地に保管じゃなかったかな。 複数ルートのランダムと聞いた。
1
tarobo @tarobo 2021年5月11日
回線が10BASE-Tだった時代に、HDDを物理的に引っこ抜いてバッアップ先に持って行く案が出たことがあったな。実行はしなかったけれど
0
COSY8SD @COSY8SD 2021年5月11日
国内製薬会社が10年ほど前にシミュレーションなどの計算機環境をAWSでクラウド化する際、自前の膨大な化合物などの構造ライブラリデータをアメリカのサーバにアップロードすることになったが、インターネット経由でデータ転送するには回線が遅くて結局HDDを飛行機で運んだ、というのを学会で言ってた
1
ばしにぃ @hiro_orso_viola 2021年5月11日
mvとcpとrsyncは違うのですよ…(UNIX厨
3
テレジアさん(Theresia) @Theresia 2021年5月11日
15年くらい前にCD-ROMで同じことをやった気がする(実際、転送するより電車の方が早かった)。
1
マシン語P @mashingoP 2021年5月11日
今ほどネットが速くなかった20年くらい前、締切ギリギリor過ぎている印刷物データの入稿は外付けHDDを直に持ち込んでいたりした。それがコピーならいいんだけど作業用データそのまんまのことも多く、途中で事故を起こしたり輸送の衝撃でデータ飛んでいたらどうなっていたやら。
3
さっくりさくり @sakkuri_sakuri 2021年5月11日
分割rarとかにしてそれぞれを複数回線から送るとかすれば回線数分短縮できる
0
はやし・しのぶ @Hirarinmac 2021年5月11日
amanilo_ 昔はチャリ便(メッセンジャー)さんに託してたなぁ。今じゃその何倍の容量のデータ、ファイル転送サービスで送っ…なおファイルゼン使ってたところがエラい目に遭って…。「うちんとこファイルゼンだけど、そちらは使えないので送るデータは8MBまでね」な会社さん、元気かな(転職したので付き合いない)。
0
はやし・しのぶ @Hirarinmac 2021年5月11日
Hirarinmac あ、でもお客さん自体はいい方ばかりで「ファイル何個に分かれてもいいから!」で我慢していただけたので助かりました。
1
飛鷹隼 @junhiyoh 2021年5月11日
実際、古いNASを今のNAS(に引っ越しさせる(実使用量12TB)時にバックアップクラウド経由でやったら1週間掛かったからなぁ……
0
alan smithee @alansmithy2010 2021年5月12日
メディアを移動先で吸い出さずにマウントして読み出す(原本返却必要な場合は使用後にバックアップする)んだが、移動先でさらにコピーし終わってから使うと思ってる人が多いな
0
TANABE Toshiharu @itinoe 2021年5月12日
400G回線がサービスインしてたりMMCFTPとかあまり知られてないのかな
0
花田 鉄平 @teppih 2021年5月12日
コンテナ一杯にHDD詰め込んだ20,000TEU輸送船でスエズ通過するのがサイツヨの回線て事か
0
白墨 @amanilo_ 2021年5月12日
Hirarinmac バイク便とかも活躍してましたねー。 分割送信&分割されたデータを復元するソフトもあった気がする
1
せんたく @senn_taku 2021年5月12日
データ手渡しプロトコル
0
94式北海黒竜王V、 @DoomDrakeV 2021年5月12日
「あのトラックの到着を二時間遅らせて欲しい。破壊まではしなくていい。 ……って言ったのにゴルゴ」
0
かわいいは正義 @shimesaba_type0 2021年5月12日
あるある ある程度の容量になるとスニーカーネット最強
0
佐渡災炎 @sadscient 2021年5月12日
300Mbpsとかいうクソ回線で計算してるポンコツなんなの?
0
佐渡災炎 @sadscient 2021年5月12日
maumin66 整理された結果がそれなんだが。
1
ロイミロ(6136########) @hsgwkyt 2021年5月12日
多分今は無きZipドライブが流行っていた頃は物理転送がそこそこ合理的だったのだろうなあ。
0
【わちゃっとピンボールDLよろしく勇気!】ねねっとテックダイナー @nenet_techdiner 2021年5月12日
バイク便で入稿というのを思い出した。自分のバックアップもひとまず身近に物理を噛ましてその後にクラウドへ。だからなんとなく理解。
0
94式北海黒竜王V、 @DoomDrakeV 2021年5月12日
思い出した。「BREAK-AGE」のスリッパオンライン(家でオヤジに持ち出された)
0
atlan @atlan1701 2021年5月14日
alansmithy2010 全ての場合においてそのままマウントして使用開始するって訳じゃ無いので
0
トザン @miyakozan 2021年5月15日
順番待ちの時間を考えるとスパコンより一般のPCの方が速い(早い)って話もあったなーw
1
トザン @miyakozan 2021年5月15日
nenet_techdiner ドラクエ1のメイキング裏話を描いた「ドラゴンクエストへの道」って漫画でマスターアップしたROMをバイク便で送るシーンがあったけどあれはかっこよかったなー。
1
藤堂雷鳥🖖♌ @CHICKEN_TODO 2021年5月15日
一時期ハンドキャリー中の物理的データロス(インシデント)が問題になってましたね
0
【わちゃっとピンボールDLよろしく勇気!】ねねっとテックダイナー @nenet_techdiner 2021年5月15日
miyakozan 広告屋の入稿は2週間くらいの徹夜の結晶をバトンを渡すように…ですがゲームのROMとなると期間が長く手が掛かってる分、色々思いが駆け巡りそうですね!(アツイ) …ちなみ、バイク便より自分らで!となると徹夜からの解放感≒電車での睡魔との闘いになったり。またバイク便も交通事故が起きたり色々落とし穴が待ってたりします。納品連絡が入ってはじめて仕事終了。SHIROBAKOのヒリツク世界と似た感じでした。
1
Gothicgaze @Gothicgaze 2021年5月15日
頭部に埋め込んだメモリに難病の特効薬のデータを入れた運び屋と、そのデータを狙うヤクザの話とかありそう
2
かもかも @kamokamotw 2021年5月16日
今時のSANならもっと数ケタ速度上がるよ(足りるとは言ってない)
0
alan smithee @alansmithy2010 2021年5月16日
100Gbpsのサービスもあるが、拠点同士が専用端末を設置する必要があって月額17,468,000円からなので物理的に運んだほうが早いし安いな
0
mikunitmr @mikunitmr 2021年5月16日
リスクヘッジとして、中身の同じHDDをもう1つ用意して、2人で運びます。
0
しゃけ @shakeflake1223 2021年5月16日
いまは契約回線って数Gbpsぐらいが普通なのかな…?それでも結構な時間がかかるね
0
Megatherium(メガテリウム) @Dairanju 2021年5月16日
大量のデータ転送に使うには、通信帯域がショボいという事。世界的に見ても。
0
M.Abe @abe_m 2021年5月17日
1パケットが大きいので、パケットロスの影響がでかい。
0
綾野 雅也 @Dreammaker0229 2021年5月17日
もう20年近く前だけど京都の工場と東京の本社とのデーターのやり取りのために月に一回ジュラルミンのケースに入れたHDを新幹線で運ぶのが若手時代の仕事でした。
0