Skebが障害により繋がらなくなる→えげつないスピードで解決して舌を巻いてしまう「障害対応のお手本だ」

すげぇ〜
260
メアリ🎀🧸 @MarySweetDream

お礼かこうとしたらSkeb障害発生中で繋がらない404 #Skeb

2022-12-23 23:55:13
🌙🍽はなもこじ @_hanaMokoji_02

クリスマスの依頼が多いのか skebが繋がらない。。。

2022-12-23 23:23:13

クリスマス付近にスケブがに繋がらない障害が起きていたが…

Skeb (スケブ) @skeb_jp

Skeb (株式会社スケブ)の公式アカウントです。 Skebの新機能やキャンペーンをお知らせします。 ご質問・お問い合わせにはお答えしておりませんのでご容赦ください。 Skeb Coinに関する情報は株式会社スケブベンチャーズ(@skeb_coin)までお問い合わせください。

https://t.co/U7VhJU076U

Skeb (スケブ) @skeb_jp

【復旧】12月23日、24日に発生しました障害に関するご報告 medium.com/skeb-jp/report… ・12月26日07時00分まで環境によってはプライバシーに関する警告が表示される場合がございます。 ・12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。

2022-12-24 12:59:15
リンク Medium 【1月23日追記】12月23日、24日に発生しました障害に関するご報告 いつもSkebをご利用いただき、誠にありがとうございます。 855 users 127
Skeb (スケブ) @skeb_jp

12月23日12時よりskeb.jpにアクセスできない大規模な発生が障害しておりましたが、12月24日7時に復旧いたしました。 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。 (続く)

2022-12-24 13:08:07
Skeb (スケブ) @skeb_jp

お客さまの環境によってはプライバシーに関する警告が12月26日7時まで表示される場合がございます。 古いドメインの情報がキャッシュされていることが原因で、上記の時間までお待ちいただくか、Google Public DNS等のDNSサービスをお使いいただければ幸いです。 developers.google.com/speed/public-d… (続く)

2022-12-24 13:08:08
リンク Google Developers Get Started | Public DNS | Google Developers 32 users 18042
Skeb (スケブ) @skeb_jp

この度はみなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。 本障害につきまして詳細を下記の記事にてご報告させていただきます。 medium.com/skeb-jp/report… (続く)

2022-12-24 13:08:08
Skeb (スケブ) @skeb_jp

日時: 12月23日12時22分〜12月24日7時00分 (JST) ダウンタイム: 18時間38分 内容: skeb.jpにアクセスできない不具合 原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。 (続く)

2022-12-24 13:08:09
Skeb (スケブ) @skeb_jp

解決: Herokuの一切の利用を中止し、すべてのサーバとシステムを別のクラウドサービスに移管したことで復旧。 お客さまへの対応: 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分まで延長。 (続く)

2022-12-24 13:08:09
Skeb (スケブ) @skeb_jp

その他 1. Herokuの制限によって海外に設置されていたSkebのサーバが、移管によって日本国内に設置されることになりました。日本国内からのアクセスが大幅に高速化されます。 (続く)

2022-12-24 13:08:09
Skeb (スケブ) @skeb_jp

2. スケブ社ではエンジニアに対して開発環境の指定を行わず、各々がWindows、Mac、Ubuntuといった好みのOSで開発しています。 どのような環境でも開発ができるように、Skebのシステムをオフラインの仮想環境で動作するコンテナイメージ化していたことが今回の早期復旧につながりました。 (続く)

2022-12-24 13:08:10
Skeb (スケブ) @skeb_jp

3. 今回の障害を受けて、深夜残業および休日出勤による法定割増賃金に加え「障害対応手当」という社内制度を新設しました。 復旧に向けて夜間作業にあたっていたエンジニア4名に対し、1人あたり3万円のAmazonギフト券を夜間直ちに支給しました。 (続く)

2022-12-24 13:08:10
Skeb (スケブ) @skeb_jp

4. Skebでは月間約5億円の取引があり、今回の障害で1,500万円相当の取引の機会損失が発生しました。しかしながら12月24日現在もHerokuから応答はなく詳細な原因は判明しておりません。厚いサポートを謳うエンタープライズ契約を締結しているにも関わらずこのような対応は大変遺憾です。 (続く)

2022-12-24 13:08:11
Skeb (スケブ) @skeb_jp

5. Skebが利用不可能となる事例は、サービスリリース日である2018年11月30日に発生したアクセス過多による障害を除き、事実上今回が初めての大規模障害となりました。 クリスマスを目前に納品タイミングを調整されていたクリエイターの方々もいらっしゃいましたが、 (続く)

2022-12-24 13:08:11
Skeb (スケブ) @skeb_jp

メールマガジンの配信システムも障害で停止していたことから、納品期限延長の告知がTwitterと記事のみとなってしまい、大きく混乱を招く事態となってしまいました。 今後メールマガジンの配信は外部のサービスの利用も検討してまいります。

2022-12-24 13:08:11
なるがみ @nalgami

Webエンジニア。作ったもの ▶Skeb (skeb.jp) ▶ポリゴンテーラー (polygontailor.co.jp) ▶ドージン・ドット・タックス (dojin.tax) VRChat▶︎@nalgami_vrc ⚠Skebに関するリプとDMには例外なくお答えできません。

なるがみ @nalgami

なぜ障害対応手当がAmazonギフト券かというと、今月は23日が12月の給与振込日であり、通常の手当として支給した場合は受け取れるのが来月末になっちゃうからです。

2022-12-24 13:33:29

有能すぎじゃない?

藍葉🍀⚾️ @Aiba0428

skebさん対応めっちゃ早い! 復旧お疲れ様です! twitter.com/skeb_jp/status…

2022-12-24 13:07:58
きせのん @Xenon_kisenon

スケブ、2日でクラウドサービス移管するのエグくない? 素人目に見ても強すぎる twitter.com/skeb_jp/status…

2022-12-24 17:05:32
きせのん @Xenon_kisenon

14時間らしい え、何者???

2022-12-24 17:08:48
muno92 @muno_92

障害検知から ・1時間以内にクラウドサービス移管を決定 ・8時間でステージング構築 ・1日以内に本番の移管が完了 ってすごすぎ twitter.com/skeb_jp/status…

2022-12-24 15:41:46