【エンジニアの悪夢】日本HPE、京大スパコンのデータ77TBをLOST、全面謝罪▶理由を読んだ皆さん「インタプリタ怖い」「胃が痛くなる」
-
- いいね！110
胃が痛くなる…
ACTIVE GALACTIC
@active_galactic
この文面を決定するに至った人間の物語に思いを馳せる。 "この度は貴学スーパーコンピュータシステムにおいて、弊社 100%の責任により Lustre ファイルシステムのファイル消失の重大障害を来し、多大なるご迷惑をお掛けしたことを深くお詫び申し上げます。" iimc.kyoto-u.ac.jp/services/comp/…
2021-12-28 22:10:09
ACTIVE GALACTIC
@active_galactic
以下の文は完全に首を差し出して青天井の損害賠償を受け入れたようにも読めるが、経営的に大丈夫なのだろうか。 "この度のファイル消失は 100% 弊社の責であると考えており、補償につきましては、ユーザ様、並びに、貴学のご意向に沿うようにいたします。"
2021-12-29 09:19:08
ACTIVE GALACTIC
@active_galactic
HPが京大ACCMSのスパコン上のデータを3400万ファイル（約77 TB）ほど消してしまった件に関して 概ね教訓としては、シェルスクリプトを書き換える際にはそれが実行中でないか注意する。というよりはシェルスクリプト以外を使う方が安全？
2021-12-28 22:37:35
いなばてつお
@tinaba
こわいよぅ…(T_T) 77TBのデータを失って学内に説明しなきゃいけない京大のセンタースタッフもツライし、本部長名でこの文書を出さなきゃいけないHPもツライ。特に「100%弊社の席～」の文言を書くかどうかは社内で色々あったであろうことが想像できすぎて震える。 iimc.kyoto-u.ac.jp/services/comp/…
2021-12-28 23:45:49
wakatono, Ph.D.(JK)
@wakatono
パワーワード「弊社100%の責任」… 京都大学の方々におかれましては、ビットのもずくと消えたファイルのご冥福をお祈りする次第でございます。 iimc.kyoto-u.ac.jp/services/comp/…
2021-12-29 09:40:22
MAR (𝕏 form)
@matusita
厳密には昨日だけど #きょうのおわび "...スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,...大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました." 理由がしょぼすぎてつらい。 twitter.com/iimc_KyotoUniv…
2021-12-29 09:40:59
京都大学情報環境機構
@iimc_KyotoUniv
【更新】スーパーコンピュータシステムのファイル消失のお詫び - お知らせ iimc.kyoto-u.ac.jp/ja/whatsnew/in… #KU_ICT
2021-12-28 17:23:54
MAR (𝕏 form)
@matusita
"bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動による副作用を認識できておらず、...修正したシェルスクリプトの再読み込みが発生し、結果的に未定義の変数を含む find コマンドが実行されてしまいました。" iimc.kyoto-u.ac.jp/services/comp/… bashのせいじゃないよね...
2021-12-29 09:40:59
かわにょ🫠
@kawanyo
こんなん当事者ならストレスで吐くわ🤮 京都大学【スパコン】ストレージのデータ消失について >バックアッププログラムの不具合により100TB近くファイルが消失 iimc.kyoto-u.ac.jp/ja/whatsnew/tr… iimc.kyoto-u.ac.jp/services/comp/…
2021-12-29 10:21:59
ロボ太
@kaityo256
「Lustre ファイルシステムのファイル消失について」 この文責の方、前職でお世話になった方だ・・・ iimc.kyoto-u.ac.jp/services/comp/…
2021-12-28 23:48:09
ロボ太
@kaityo256
スパコンは部品を[作って|買って]組んで終わりじゃないんですよね。サイトによって運用方針が大きく異なるので、それに合わせて全体を作り込む必要があったりします。
2021-12-28 23:50:54シェルはインタプリタであることの恐ろしさ
インタプリタ型言語は、プログラムを一行読み込んで実行して、次の行を読みに行くという実行方式です。プログラムの全貌は処理側では把握されていません。そのため、実行途中のプログラムを上書きしてしまうと、さっきまで実行していたものと違うものが実行されてしまいます。
ざっくり仕組みを書くと…
プログラムＡを実行
→n行目実行中にプログラムBで上書きする
→実行側はそのままn+1行目を読みに行く
→n+1行目からはしれっとプログラムBを実行してしまう
n行目までとn+1行目以降で何らかの齟齬がある場合、とんでもないことになるわけです。（文字数で読み込んでるみたいなので、実際にはもっと複雑ですが簡略化してます）
小林励司 KOBAYASHI Reiji
@reijikan
“スーパーコンピュータシステムのファイル消失のお詫び | お知らせ | 京都大学情報環境機構 iimc.kyoto-u.ac.jp/ja/whatsnew/in… ”→本当にあった怖い話。
2021-12-28 22:40:34
小林励司 KOBAYASHI Reiji
@reijikan
iimc.kyoto-u.ac.jp/services/comp/… 「実行中のスクリプトが存在している状態でスクリプトの上書きに よりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、 結果的に未定義の変数を含む find コマンドが実行されてしまいました」（本文より引用）、これはよくやる。
2021-12-28 22:54:31
戸田 薫
@KaoruToda
bash/findの利用を間違うと、ファイルがすべて消える事故の例。 iimc.kyoto-u.ac.jp/services/comp/… #unix
2021-12-29 00:53:43
やんてね
@yantene
iimc.kyoto-u.ac.jp/services/comp/… > bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。 これは罠
2021-12-29 03:45:09