浜松市で起きた全件検索に係るシステム遅延障害の話題

ねこまる|SIer/Agile/キャリア @nekomaru_se

@boss_kintore タイムアウトや検索上限を設定していないのが信じられないですね。。 でも150万件のフルスキャンくらいなら何とかなりそうな気もしますが。。色々joinしてた感じですかね。

カクサンズ @kakusans_com

@boss_kintore いやいや・・・ 検索条件数の事前チェックを入れるだけで済むやろ。。

さつき @py_satuki_js

@boss_kintore これまで一度も押し間違えが起きなかったんだね

＆Ｏｕ１ @U1and0

@boss_kintore 「通常このデータベースは検索結果数が多すぎると検索をストップする仕様ですが検索をスタートしてしまい」 「担当者は、ヒューマンエラーが招いた障害と説明しています。」 ヒューマンエラーで障害起こさないために仕様を策定したんちゃうか

Yamachan @twowho

@boss_kintore んー。150万人程度のデータを全検索したら止まるシステムっていうのもなんだかなあ、って思うし、全検索したら止まるってわかってるんだったらシステム側で全検索しないような措置をしておくべきではないかと。

たかちゃん @turkey_jp

@boss_kintore 賢いシステム「2万件超えたんだけど、何かの間違いだよね。ここで止めておくからクエリを見直して」

まだ渋谷ではたらく社長 @DTM155

@boss_kintore いろんなパラメータがリミッターになるはずだけど、そもそも150万件程度の検索でねを上げるなんてしょぼいシステムだな

Nestle'sDog @Irony2Nestle

@boss_kintore 全件検索をしてそれをすべてクラスに展開とかしちゃったということなんでしょうか。そのくらいの件数ならクエリ自体は時間がさほどかからないはずなので。もし検索だけでCPUやメモリが圧迫されるならインデクスのないフィールドでouter-joinとunionしまくりでないとならないのでは。

its@ @tacmanyuta

@boss_kintore ワイルドカードの威力

片吟公仔＠ASD＆APD @Minor_Penguin

@boss_kintore 午前５時に、オフラインの全件検索用のレプリカを作れば良かったかもね。

あゆまー @KmXBYfxJ6dyj5FF

@boss_kintore これはヒューマンエラーではなく、フールプルーフに対する検討不足

gauchez(がうしぇ) @gauchez

@boss_kintore MS-Access で実装されたデータベースとか…

ぐんにょり @easyandslowly

@boss_kintore これは職員ではなくシステムの方が悪いやつ

ShibuyaGirl @ShibuyaGirl0203

@boss_kintore ベンダーと市役所職員の仁義なき叩き叩かれ合いはじまっちゃう

ハイネたん @haine_2020other

@boss_kintore え、150万件くらいでダウンするの？ どういうこと？ 何かに書き出したのかね。 ハードディスクかメモリがパンク？

きほんだ @kihonda4

@boss_kintore たった150万ごときで...どこのベンダーだよ開発したの。しょぼ過ぎだろ！

Miyahan @miyahancom

> 職員がデータベース検索をした際に、絞り込みを行わず市民150万人分のデータを一斉検索 > 検索をスタートしてしまい事実上システムがストップ あるある。前世でなんちゃらデータから納品されたシステムみんなこれだった 浜松市中央区役所で一時システム障害 newsdig.tbs.co.jp/articles/-/924…

Miyahan @miyahancom

あまりに検索機能・処理能力が貧弱なので、定期的に人がCSVダンプして、そこらへんに転がっているPCにLAMP入れてMySQLにインポートし、PHPで書いたUIで検索するというオレオレ補助検索ツールがあちこちで誕生した

Miyahan @miyahancom

で、そういうベンダは当然ながらスキーマ設計もクソで、数値もenumも全部strで変な値が入り放題なので、インポートスクリプトでインポート失敗→それの例外処理(データ補正)を書く→インポート→失敗→修正処理追加 を繰り返していくあるある

ひでたか @luv_sic_4u

@miyahancom CW的なやつですかねw

t_yano @t_yano

Librahack事件の時なら、警察に逮捕されていたな twitter.com/boss_kintore/s…

あんどれ@切れ痔治療中 @boss_kintore

「市によりますと、1月4日午前9時30分ごろ、職員がデータベース検索をした際に、絞り込みを行わず市民150万人分のデータを一斉検索したということです。」 無邪気に全件検索かけられちゃうって恐ろしいよなぁ。 newsdig.tbs.co.jp/articles/-/924…

2024-01-04 16:10:23

t_yano @t_yano

librahackでの警察の不出来具合（バカさ加減）は、何度も蒸し返して多くの記憶にとどめるべき遺産だよ。