2021年6月15日

みずほ銀行システム障害の報告書を読んだ結果

https://www.mizuho-fg.co.jp/release/20210615release_jp.html から入手できる文書をみんな解読していますが、そのうちの二つをまとめました いくつか、単発意見を追記
298

報告書読解第一弾

(๑╹◡╹๑) @tsuchie88

概要だけ流し読みしてただけなので、本編を読んでみる。 mizuho-fg.co.jp/release/202106…

2021-06-15 19:54:00
(๑╹◡╹๑) @tsuchie88

やたらと「区画」って言葉が出てくるけど、これIBM用語だよなぁ? 仮想マシンか論理または物理的に分離されたパテーションのことなんだろうけど。 pic.twitter.com/SJA2oGfj5a

2021-06-15 19:56:05
拡大
(๑╹◡╹๑) @tsuchie88

イメージはわかるが、ATM取引で手数料テーブル舐めないのおかしくね? pic.twitter.com/RGf99FVz6I

2021-06-15 19:58:02
拡大
(๑╹◡╹๑) @tsuchie88

みずほのデジタル比率、件数ベースでも金額ベースでも10%割ってるのか。まさか1桁%台だとは思わなかった。SMBCやMUFGの1/3規模じゃん。ここまで遅れてるとは pic.twitter.com/h0YWg6rhRJ

2021-06-15 20:01:19
拡大
(๑╹◡╹๑) @tsuchie88

「お客様の利便性」じゃなくて印紙税節減目的と正直に書いてあるのはえらい(コスト削減効果は印紙税16億+通帳コスト1000万円)けど、これスケジュールありきの移行計画なんだなぁ たのしー pic.twitter.com/uVgqLY0pmG

2021-06-15 20:05:43
拡大
(๑╹◡╹๑) @tsuchie88

???? これ笑うとこ???? 笑うとこ???? これマジ???? ありえへんやろ???? pic.twitter.com/WmLcbHCczB

2021-06-15 20:08:56
拡大
(๑╹◡╹๑) @tsuchie88

まだ読み始めたばっかりで申し訳ないんですが、読むのやめていいですか? なんだこれ

2021-06-15 20:15:05
(๑╹◡╹๑) @tsuchie88

@WangChangHardy UPDATEやINSERT処理が頻発すると、INDEXのファイルがでかくなったり断片化してでかくなることあるんですけど、これってINDEX領域がインメモリな領域にあったので容量一杯になって止まったっぽいんですけど。普通そういう実装するなら、監視するけど、どうも最後まで原因をつかんでなかったっぽい感じが

2021-06-15 20:38:20
(๑╹◡╹๑) @tsuchie88

発端は定期性預金DBのINDEX領域の容量超過だけど、排他処理でCIFつかんだままの取引が全部死んだということなのか? これだと、つかんだままの処理だけがダメだったのか、CIF自体がロック多発で新規取引を受け付けなかったのかよくわからんな。一番重要なところだと思うけど。 pic.twitter.com/LTpHCcsWkQ

2021-06-15 20:42:04
拡大
拡大
(๑╹◡╹๑) @tsuchie88

前者の問題だとこれだけ大規模な障害になる理由がわからんし、後者なら区画閉塞に伴って終息するんじゃないのか? どっちの理由にしても、MINORIに刷新する最大の理由だった「バッチレス・オンラインシステム化」の前提崩れてるし、設計ミスやろって言われてもしょうがない気がするんだけど

2021-06-15 20:44:52
(๑╹◡╹๑) @tsuchie88

世の中的には、「経営陣とリモートワーク貴族が悪くて、現場とエンジニアは悪くない」って展開を期待してるのかもしれないけど、「全員邪悪でした」って展開で読む気をなくしてきた。この後、IT統括部や経営陣の責任が続くんやで。体力もたんわ!

2021-06-15 20:52:31
(๑╹◡╹๑) @tsuchie88

つらいわー。リテール撤退したほうがいいんでは? pic.twitter.com/4Qs6V8Y9IW

2021-06-15 20:54:53
拡大
(๑╹◡╹๑) @tsuchie88

@WangChangHardy 読み進めると、取消情報を格納するテーブルのINDEXをメモリ上に置いてたので、大量のINSERTでINDEXが肥大化してボリュームを溢れたってことみたいです。 pic.twitter.com/jYaqdw5KnH

2021-06-15 20:59:17
拡大
(๑╹◡╹๑) @tsuchie88

あ、すみません。単なる設計ミスでした(邪悪すぎるだろ) pic.twitter.com/a1VjUVX00s

2021-06-15 21:02:15
拡大
拡大
(๑╹◡╹๑) @tsuchie88

在宅でエラーを確認しようとしても、リモートアクセス環境がしょぼくてログを確認できなかったでござるの巻 pic.twitter.com/QeOrBE0UgZ

2021-06-15 21:06:18
拡大
(๑╹◡╹๑) @tsuchie88

いや・・・これはマズいだろ・・・。 pic.twitter.com/gOu7AJvZ2S

2021-06-15 21:14:15
拡大
(๑╹◡╹๑) @tsuchie88

これ以下は、システム以外の対応になるけど、にちようびだし、おひるだし、みんなおひるねしてたんだね。 pic.twitter.com/Yu6pGVZ5e7

2021-06-15 21:24:27
拡大
(๑╹◡╹๑) @tsuchie88

おひるねしすぎて、もっとねむくなっちゃったのかな???? pic.twitter.com/sjoountNJ8

2021-06-15 21:26:03
拡大
残りを読む(83)

コメント

テスラ @hz0tPOjtCcJmL1b 2021年6月16日
当時派遣としてコード書いてた友人曰く、行数で評価されていたとの事。それを聞いてそっと口座解約しましたわ
49
ゆーき @yuki073 2021年6月16日
昔の障害から何を学んだんだろうね…
13
花田 鉄平 @teppih 2021年6月16日
ただでさえ、吸収合併の寄せ集めなのにそんな設計思想のシステム組んだらそりゃ障害発生しない方がおかしい。
8
ちゃー @yanagi1229 2021年6月16日
みずほはどうなればマシになるのか全然分からなくてつらい
47
暮れ色みかん @nana339 2021年6月16日
全部ゾッとする話なんだけど、自社の前代未聞のインシデントをネットニュースで知る頭取は失神モノだろ…
59
てっしーー @tessy0930 2021年6月16日
なるほど、わからん。 うん、みずほは使わない。
6
くら😈 @mirr_kuratin 2021年6月16日
全員が全員、責任回避することに尽力する企業風土なんて最悪以外の何物でもない
51
yamakisatoshi @yamakisatoshi3 2021年6月16日
ヤバヤバのヤバって感じで趣深過ぎ
3
犬だよ @yaju5123 2021年6月16日
yanagi1229 初めの方にIBMという用語が出た時点で、恐らく汎用機+COBOLという金融機関あるあるの古代の遺物感が……。 次のシステム更改する前に扱える人全員消えてそう
11
[30]Kirara@ありがサンキューツアーズ @Kirara1314 2021年6月16日
ここにピックされてるページだけで吐き気がしてきた
3
キャンプ中毒のドライさん(Drydog(乾)) @drydog_jp 2021年6月16日
そもそも他に仕事がある社はリスクしかないみずほの仕事なんて絶対受けないだろうからなぁ。まともなメンバーを集めるという前提自体実現出来ないだろう
10
おく のぶ @samorou 2021年6月16日
ドラゴン藤波辰爾が新日本プロレスの社長やってた時、自社の発表を東スポで知ったというネタがあるが、まさか日本を代表するメガバンクが同じような事やってるとは。
8
ぽこ @igashiga 2021年6月16日
ここで宝くじ売らないで欲しい
22
椋木 @kuraki1122 2021年6月16日
まとめ役無しで数十万人で用件定義も出来ないまま作ったシステムだしなぁ。全体像把握出来てる人いないでしょ
4
SAKURA87@多摩丁督 @Sakura87_net 2021年6月16日
そんじょそこらのホラーより怖い。死霊の盆踊りより怖いわ。
6
ozero dien @ozero 2021年6月16日
@ ktgohan 氏のツイートと、あとはこれを入れてくだされ https://twitter.com/AsemaneDanshi/status/1404657540340744192
0
椋木 @kuraki1122 2021年6月16日
報告書読んだら、「開発終了に伴って組織再編してたら故障統制部門がどっかに消えて行方不明になった(要約)」って書いてあって宇宙猫になった。
44
マシン語P @mashingoP 2021年6月16日
みずほ銀行が真っ当になれた道は一つしか無い。元気があるうちの3行合併ではなく母体となった第一勧業銀行・富士銀行・日本興業銀行が破綻ないし寸前まで追い込まれたところで、後のJALのように改革者を送り込んで負け組同士の再生合併くらい。特に興銀は長銀と日債銀同様に破綻して鼻っ柱をへし折ってから救済したほうが無難とは、メガバンク誕生した時から言われていた。
17
ダ・ラスキー @takafee2010 2021年6月16日
ざっくりとしか見てないですけど、解決の糸口すら見えないので、今後もトラブルを繰り返すんでしょうね。しかもデカすぎてつぶせない。いっそ、分割して三菱と三井住友が接収すればいいんじゃないですかね。
14
チキン・ザ・煩悩さま @khoshimi 2021年6月16日
かつて IBM の汎用機オペレーターをやっていた身としては、涙なくして読めない内容。組織の各個人が「自分にとって最良の対応」をしていたら、「組織として最悪の対応」になっていた、と。
15
Off Black @OffBlack1 2021年6月16日
これ、インシデント報告書を書かされてる人間も、後から来てよくわからんまま、障害調査させられて、報告書書かされてたりして…胃が痛いな…。
12
Off Black @OffBlack1 2021年6月16日
閾値監視を見逃してた、対応必要の認識なかった…つまり他にもいつも閾値監視あがってて埋れてたザル監視ってことじゃ…。監視の意味ないじゃん。
7
Shun Fukuzawa @yukichi 2021年6月16日
ozero 実行しました。期待通りじゃないかもしれませんが。
0
うの @uniquis 2021年6月16日
障害発生以前はこんなんだったのかなぁ 現場「警告上がったんで報告します」 上役「その程度、報告しないで処理しろ、評価下げるぞ!」 現場(このレベルの警告は報告不要、ヨシ!)
28
ろんどん @lawtomol 2021年6月16日
「銀行は安泰だし公務員より給料ずっと良い!」と、みずほのシステムに行った先輩、元気かな…もう何年も連絡してないけど…
6
ただのいしころ @ishikoro20211 2021年6月16日
半沢直樹の音楽が脳内に流れながら、コメント欄を読んだ。みずほはやめとけという判断しかわかない。
0
立川 @tatikawawa 2021年6月16日
Sakura87_net それはひょっとしてギャグで(ry
1
いい天気 @ya_aramaki 2021年6月16日
もうそろそろ合併して20年になるのに未だに旧行の対立引きずっているのだろうか?
1
ただのいしころ @ishikoro20211 2021年6月16日
https://www.youtube.com/watch?v=o3k-yf5RhlU 半沢直樹の音楽おいておきますね。 これ聞きながら、ココのまとめ見ること推奨。
1
フォーチュンらう゛🐰🐶🍄🗻🏊‍♀️🔫🚗🍆🔥 @CureFortune_luv 2021年6月16日
合併したあの時、比較的新しかった富士銀の勘定系に寄せてればこんなことには…
1
oretube @jibuntube 2021年6月16日
他所様の報告書でなぜ私がダメージを受けなければならぬ
1
tera045 @tera9719 2021年6月16日
流石にここまで来ると、みずほだけではどうしようもないと思う。そもそも、同じベンダーが同じような業務システムを他のメガバンク向けに開発しても問題が出ないのだから、経営者を発注元の三菱、三井住友から迎え入れることを本気で検討させるべきだと思う。
8
田野某爾(たのぼうじ) @bozitano 2021年6月16日
19年前の4月1日に3行で合併した当日(その当時の国会の参考人聴取で「実害は無かった」と暴言を吐いたFG代表が現在のNHK会長)と東日本大震災のドサクサと2回もシステムトラブルを起こした反省が活かす為に約4千億以上も掛けた「MINORI(COBOLベース)」がコレでは「『ミス』ほ銀行」と揶揄されても仕方が無い。
6
fff @ffffdark 2021年6月16日
システム単体で見たらありえんレベルのミスなんだけど、政治的な理由で現場が振り回された結果だからなあ・・・ 派閥闘争辞めない限り根本的な解決は無理だよ
1
Ikunao Sugiyama @Dursan 2021年6月16日
すまん誰か宇宙世紀ガンダムで説明してくれさい
1
kumonopanya @kumonopanya 2021年6月16日
みずほは0から作ればよかったのに、過去の資産を活用しようとして逆にこれだけの大金を投じたにもかかわらずこんな結果になったんだよ。
2
マガミ@「南洋通商」 @ryuya_magami 2021年6月16日
ザビ家も居ないジオンも公国になってないのに、誰も責任取らないまま内戦してる地球連邦。
4
KPCG10 @KPCG10 2021年6月16日
hz0tPOjtCcJmL1b 「プログラムコードを何行書いたら、お幾ら万円」は大昔のCOBOLの頃からですね。
1
椋木 @kuraki1122 2021年6月16日
Dursan テスト無しでヅダ大量生産、作戦開始したらエンジンアラート鳴ったけど、良くわかんないからリミッター解除してフルパワー出してみんな爆発四散
7
SYT @t_syt 2021年6月16日
もし宝くじで高額当選したらなんて夢は見るが万が一当たったらすぐに他銀行に全額移すことは念頭に置きたい。
13
山の手 @Yamano_te 2021年6月16日
よくありがちな「現場は分かってたけど中間管理職や経営陣がクソなせいで事故が起こった」ではなく、「現場もクソ」か……。まあ最終責任はそんなクソな現場を監督できなかった上になるけど。
1
FX-702P @fx702p 2021年6月16日
COBOLが行数で評価されるのは昔からよくあった話。
2
Off Black @OffBlack1 2021年6月17日
takafee2010 住友「うちはわりと平和なんで勘弁してください」三菱「うちはグループが十分足りてますので要らないです」
3
Off Black @OffBlack1 2021年6月17日
drydog_jp 辞めた人たちがあんなに呪詛吐いてるとこはなかなかないよ。みんな終了のときに揉めてるか、M抜けするために自社退職してる人よくいる。円満終了ってほんときいたことない。うちの会社も、時差いれてM案件しょっちゅうもってくるとけど必死で拒否ってる。
5
ビールクズ猫 @WAKUWAKUTAKKU 2021年6月17日
TRPGで例えたら「パラノイア みずほ銀行システム障害シナリオ」ってレベルじゃないのかコレ。上も下もシステムも全てが信用ならないし報連相も機能しないって意味で。
6
八代泰太 @3914kcorkcolc 2021年6月17日
いずれ、何らかのドキュメンタリー映画とかのネタになってくれないだろうか…… そうでもないと救いようがないじゃないか
1
HAJIME Fukuna / 福名 一 @f97one 2021年6月17日
さすが、「関わったらしぬ」と言われただけのことはある
3
さかした @UWO0Cke9gFJ4KBQ 2021年6月17日
定期性預金はFでSymfowareだったような・・
0
shiroi @68Shiroi 2021年6月17日
全体を見る人が居なかったのだろうか?
0
isaたんショぽ@動物公園よき! @bycake 2021年6月17日
頭取に連絡行かないのすげえな、と思ったけど、上司に物を言ったら詰められる体質てのがあるんだね。 みずほ行員「自宅待機5年」退職強要の戦慄【全文無料公開、5/19改定】 | ZAITEN http://www.zaiten.co.jp/
0
くろがね@5G接続中(1回目) @brackiron 2021年6月17日
全体としては地獄の様相の中、いち早く自前でポスターを用意した拠点とか、増員を決めたコールセンターとか、広報がつかまらないなかHPへの掲載分を作った方とか、涙を禁じえない…
2
ふぃずばん @fizzbang_alvitr 2021年6月17日
あのーみずほ証券で口座作ろうかと思ってたんですけどやらないほうがいいですかね
0
さたびー@ちえりすと @satavy 2021年6月17日
みずほ銀行成立直後くらいに富士総研(富士銀のシステム会社)に派遣で行った事があり、そこで「ここもそのうちみずほ総研になるんです?」って聞いたら気まずい沈黙が返ってきて、後でこっそり教えてもらったのが「どこのシステム残すかで担当者が殴り合いの喧嘩になったから当分システム会社の合併はない」という恐ろしい話だった。
4
R @r_hexar 2021年6月17日
銀行案件に関わってはいかん という先輩の遺言は本当だったのだなぁ
1
ヌゥスピリット@理解のある夫くん予備軍 @stillsnash 2021年6月18日
あんまり雑にくくるのもアレだが、飛行機の点検で例えば「ネジ一本忘れたかも」って報告が若手からあったとして「なんで忘れたんだ!」とか責めたり、逆にちゃんとネジしまってたとしても「余計なことに確認の手間を割かせやがって!」みたいに責めると、すっかり萎縮して次から何も報告してくれなくなる。こういう場合は「うん、ちゃんとネジ締まってたな!時間がかかったけど不安が解消したのでまぁヨシ!」と言ってあげて、心理的安全を確保すればどんどん報告してくれるようになる、ってANAのお偉いさんが言ってた。
0
ヌゥスピリット@理解のある夫くん予備軍 @stillsnash 2021年6月18日
なぜ末端社員が責任回避的になるかというと上長が責任を追求するからで、なぜならその上長もさらなる上長から責任を追求されているからで、なぜなら我々消費者も客商売に対して厳格すぎるところがあるからで、そ、それはここにいる私もそしてぜんぶの人間も少しずつせきにんがあって…ちくしょう、私は頭が悪いのでこ、これ以上説明できないのだ。
1
片山和紀 @ktym0719 2021年6月18日
WAKUWAKUTAKKU パラノイアで狂ったUV様とか悪夢以外の何物でもない。
1
きょろすけ@測量士補勉強中 @myurron 2021年6月18日
システムのことは分からないけど、トラブルになっても頭取に誰も知らせていないというのも驚きだし、誰も責任を取ろうとしない点は今の日本政府みたいだと思った。
0
fortunan @fortunan 2021年6月18日
朝読んできもちが沈みました
0
Yoshiteru Kawai @yoshikun2009 2021年6月18日
従業員多すぎると人間関係の処理だけで従業員も役員も人的リソース消耗するんだけど、そのへんが行き過ぎて肝心の金融システムの面倒見きれなくなったんだろうな、と。
0
BABA Motoharu @calc3 2021年6月18日
まとめだけでも十分SAN値削られるのですが、報告書をきっちり読んだ人本当にお疲れさまでした。
0
こげぱん@止めよう不要不急のエロ規制 @kogemayo 2021年6月18日
yoshikun2009 たぶん必要なのは営業停止とか免許取り消しじゃなくて解体、第一と勧銀と興銀と富士の4つに戻して1からやり直すことなんじゃないのかなぁ。たぶんトップから末端のハケンまで人員を総入れ替えしたって、この規模の組織を運営すること自体が人間業じゃないから似たようなことの繰り返しにしかならないような気が
1
黒土 恭介 @black_soil 2021年6月19日
実際の所、イチから開発し直して、以外の選択肢少ないと思うんだけれども。費用は億単位でかかるだろうが、長期的な目で見たらもうスタートしとかないと遅すぎるでしょうに
1
ヨーシャ(Iosif Takakura) @huideyeren 2021年6月20日
青い銀行……もう読んでるだけで涙が出た。というか、障害発生時に安全装置のロックを解除するというやっちゃいけないこと平気でやっててこれは涙を通り越して笑うしかない。
0