「IT」障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「SSH先のインタフェースをShutdownしてしまったァ！」 『さぁ、ここからが復旧のしどころ。想定通りにBackupルータからのReverseTelnetが出るかー?さぁどうだ？』 「なんと！まさかの現地の社員に電源抜き差しを電話で依頼！」 『確かにConfig保存前だったのでアリと言えばアリですね』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「いよいよ始まりました。機器交換 in スパゲティラック。今日の交換対象は48ポートスイッチです。」 『ポート密度も高い上に全ポートに四方八方からケーブルが刺さっていますねぇ』 「さぁ1本1本ケーブルタグ付けが始まりました」 『この作業だけでも30分は要しますね』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「順調にタグ付けが進んでいきます」 「おっと、ここでUTPケーブルを裂き始めたぞ。コレは一体?」 『これは銅線を使ってケーブルの配置を固定するための技ですね』 「さすがは熟練の交換作業員。匠の技を見せてくれます」 「さぁ一通りケーブル対応が済んだところで一旦休憩を入れる匠。」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『焦って交換するとロクなことになりませんからね。安心感があります』 「おっと、SEが2名入ってきましたね。ラックの前に立ち止まりましたが・・・」 『これは・・・このラックで別の作業を行うSEのようですね』 「ラックの状況をみて何やら二人で相談していますが・・・」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『これは流石に並行で作業はできないので中止せざるを得ませんね』 「この状況で取り掛かるのはSEとしても危険と判断したか」 「いや、これはー・・・。続行だ！続行します！」 『それは危険じゃないでしょうか』 「おっとここで作業員が戻ってきました。当然場所の取り合いが始まります」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「もめています。"オレが先に取り組んでいたんだからお前らどけ"という声が聞こえてきます」 『早く交換してすっきり終わらせたいでしょうしね』 「SEも譲らない。"こっちも作業時間が決まっているんだ。時間をずらすことはできない"と。これはこれで言い分はわかります」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「さぁどうする」 「どちらも譲らず続行っ！」 『これは危険ですね。双方ともに』 「今、ケーブル抜線が全て終わりました。続いて機器の電源をOFFにしてぇ」 「いっきに抜いたー!SEの邪魔にならないよう最大限考慮しながらっすばやくそして丁寧に機器をスパゲティラックから抜き去りました」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『見事な取り外しでしたね』 「さぁあとは保守機器と入れ替えて、ケーブルを戻せばほぼ完了だ」 「新しい機器を難なくマウントした匠」 『あっ・・・』 「ん?どうしました?」 「なんということだーーー! 固定していたケーブルがバラバラになっていますっっ!!!」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『おそらく作業の邪魔になるとSEのコンソールケーブルが引っかかって銅線がほどけたようですね』 「なんという不運！」 「しかし匠、タグがついているからと慌てず1本1本ケーブルをポートへ差し込んでいきます。タグだけでなく念の為メモしていたようですね」 『さすがですねぇ。』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「さぁ想定外の時間を取られながらも無事に交換作業を終えた匠」 「あとは電源を入れて稼働確認が取れたらフィニッシュを迎えます・・・」 『緊張の一瞬ですね』 「さぁ電源ケーブルをーさしたー」 「どうだ！どうだ！正常に起動するのか！」 「無事に起動ー！完璧です」 『完璧ですねぇ』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「さすがの匠でしたね」 『いやー最後まで安定感がありましたねぇ』 「見事としか言いようがない交換作業でしたね」 『想定外にも動じずに粛々と作業するあたり渋かったですね』 「今日は良いものを見させていただきました。ありがとうございました」 『ありがとうございました』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「さぁ部内専用NASが繋がらなくなったぞ。第一発見者、どうする？」 『おっ華麗にスルーしましたね』 「続いて第2発見者、さぁ、どうする？」 『こちらも華麗にスルー決めましたね』 「第3発見者、ついに管理者を探しはじめました」 「さがし・・・はじめたが・・・。様子がおかしいぞ」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『どうやら管理者が見つからないようですねぇ』 「設定資料は見つかったものの、パスワードは既に変更されているようです。」 『資料に作成者があるので、そこから糸口をつかみたいですね』 「なーんと！管理者が既に退職していたようです！さぁ、どうする？」 『窮地に陥りましたねぇ』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「あっと・・・どうやらNASへの保存を諦めてオンラインストレージへ新しく保存場所を作り始めました！」 『妥当ですね』 「つまり？」 『諦めた、ということです。いたしかたありません。』 「NASは捨てたということですね」 『いたしかたありません』 「『ありがとうございました』」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「今日はRAIDの再構成を情シス1年生が実施するということですが。」 『楽しみですね』 「これから情シス部門で使っていたサーバのRAIDディスクに容量追加してRAID6への再構成を実施しますが、今日のポイントはなんでしょうか」 『システム停止調整ができているかどうかですね』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「停止調整。果たしてできているのか?」 「さぁ、手順に従ってRAIDの管理マネージャにログインしてディスクを4本追加します」 『ここまでは順調に行っているようですね。ただサーバがシングルなのが気になりますね』 「といいますと？」 『仮想マシンを退避できないのが気になりますね』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「なるほど、上に乗っている仮想マシンに影響がでるので、それを回避できるのかがポイントといっておりましたね」 「さぁ、心配をよそに着々と作業を勧めていく情シス1年」 『停止調整はー』 「気になるところですが、そこまで読み取れません」 「RAID再構成のボタンを・・・おしました！」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

「おーっと。アラートメールが飛び出したぞ！」 「監視設定除外をしていなかったんですかね」 『いえ、これは完全に停止無しで行けると思って停止調整していなかったパターンですね』 「あわてる情シス1年！そして夜間作業のため周りには誰もいない！」 「この状況はマズイ！どうする！」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『とりあえず上長に電話でしょう』 「上司に電話をかけて状況を伝えたようです」 『しかしこれは・・・どうしようもないですよね』 「電話を切った！肩を落とす情シス1年ッッ！」 「これはどうしようもない状況だったー」 『みていてかわいそうになりますね』 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

『これはもう再構成が終わるまで待つしか無いですね』 「追加した容量はどのくらいだったのでしょうか」 『見たところ600GBの玉を6本追加して、現状12本600GB使っていたので・・・』 「再構成が完了する時間は・・・」 「『・・・』」 「『・・・ありがとうございました・・・』」 #障害中継

ｵ ﾔ ﾁﾞ ﾆ ｱ @oyageng

あ、4本追加だった・・・