カテゴリー機能は終了いたしました。まとめ作成時にはタグをご活用ください。

「ステージング環境をいじってるつもりが実は本番環境だった、、、」事故が発生しないように工夫していること

ステージング環境「もしかして私たち…」 本番環境「もしかして俺たち…」 「「入れ替わってる~!?!?!?」」 ↑こうならないための必見すぎる珠玉の知見をたくさん教えていただいたのでまとめました! 教えてくださった皆様本当にありがとうございます!! 続きを読む
本番はさわらない 手順書 色変え・壁紙 自動化 ステージング環境 同時にいじらない 整理整頓 集中 本番環境 ヒューマンエラー
67
えび🦐➕️🔥➡️🍤 @ebc_2in2crc
インフラエンジニアの人に教えてほしい!! 本番環境とステージング環境とその他環境を同時に触ってるときに「ステージング環境をいじってるつもりが実は本番環境だった、、、」とか合ったりしますか? そういう事故が発生しないように工夫していることはありますか?
TKBTK @virtualion
@ebc_2in2crc インフラエンジニアでなくて申し訳ないですが、ターミナルの色を変えるとか聞いたことあります。 環境ごとのマクロを用意するらしいです。
かわーん(みほ●) @skn_
まず「同時にいじるな」 それを徹底した上でもよくある事故だし、何がしかの「誰でも気づく」対処をしていなければ、いつか誰かやらかすよな。確率論的に twitter.com/#!/ebc_2in2crc…
七誌 大樹 @daiki_1981
@ebc_2in2crc 何度か経験したことあります。 Windowsだと壁紙に大っきくホスト名、 テラタームだとログイン時にhostnameしてました。
友福☭ @yufuku_tea
@ebc_2in2crc ・本番環境への変更は事前に手順書を用意し必ず二人体制で作業、調査なら一人でもOK ・ターミナルの背景か文字色を変えておく ・アクセスできるPC自体を分ける(本番環境は専用機にする等)
いさぶろ @isabro3
@ebc_2in2crc 本番を扱える人を限る、という根本的な運用改善をしたことはあります。不自由ですが、確実でした。
モロボシダンは心の友 @moroboshi__dan
@yufuku_tea @ebc_2in2crc windowsならbginfoという端末情報を壁紙にするmsツールがありますよ。 atmarkit.co.jp/fwin2k/win2kti…
モロボシダンは心の友 @moroboshi__dan
@yufuku_tea @ebc_2in2crc 本番 ステージングは物理を分けるのが一番わかりやすいですね。
むーくPっぽい @MuhKurutsu
@ebc_2in2crc 自分では環境毎にTermの文字色を変えてますね。本番は水色、検証は緑色、みたいな。GUIの場合は黒壁紙に100ptくらいのフォントで環境名を書いてる
むーくPっぽい @MuhKurutsu
@ebc_2in2crc 実際のところ、この文字色変えるのは、習慣にしないとダメなんです。面倒とか緊急だからとかで色を変えるのをやめてしまうのが一番のリスクです。ある程度接続先が決まっているなら、接続先毎にiniファイルなりを用意して、自動で色なりフォントなりを変えるのが一番いいです。
ヨコタ @Yoko_Chance
サーバには入らない あてても問題ない変更しかあてられないようにする twitter.com/ebc_2in2crc/st…
いさぶろ @isabro3
@ebc_2in2crc マジメに書くと、シェルにHONBANとか、KENSHOUと表示させると良いですよ。 あと、HONBANは作業ユーザーで対話コマンドを実行するたびに確認を入れる設定するというのもありましたね。 あ、Linuxのターミナル作業の話ですよね?
s/v @sockety_v
その手のミスを聞いたことが無い気がする twitter.com/ebc_2in2crc/st…
片瀬ちひろ@C96土曜日_南タ14b @c_katase
@ebc_2in2crc DBの場合だけですが、クライアントソフト自体違うものを使ってます。 接続先だけ切り替えるとかは絶対間違えるので
いさぶろ @isabro3
@ebc_2in2crc 実行確認だけをする簡単なシェルスクリプト書いて、.bashrc の alias ですべてのコマンド実行前に、そのシェルが実行されるような設定した覚えがあります。たしかに…どうやったか詳しいとこは覚えてませんが…
Takahiro YAMADA @yamadamn
リプライで知見が集まっているが、大体どこも似たようなことをやってる感じある twitter.com/ebc_2in2crc/st…
Takahiro YAMADA @yamadamn
@ebc_2in2crc @daiki_1981 hostnameは誤ってホスト名変更する危険性があるのでオススメできないです。 私が行ってた現場では必ずuname -nを叩き込まれました。ご参考になれば。
Takahiro YAMADA @yamadamn
@ebc_2in2crc リプライで上がっているもの以外で弊社のHW部隊では、養生作業(物理的にテープで区分け)とか指差し呼称とか言うものもあります。 私はミドルウェア担当なので、直接は関わらないですが、建設現場と同じ感覚ですかね。 特に指差して声に出すことで、対象を明確に認識する効果があるとのことです。
87ring @_87ring
昔これでやらかしたことある。それからターミナルの色を変えて、心の中でこれは本番、これはステージングと唱えるようにしてる。 twitter.com/ebc_2in2crc/st…
tabataba @tabataba20
@ebc_2in2crc 開発屋さんですが、本番環境は専用の部屋にある専用のPCからのみのアクセスですね。凄い面倒ですが、事故は防げるかと。
つりーべる @tada_suzu
@ebc_2in2crc 他の方が答えている内容と被る部分もありますが、私は環境毎にログイン用のマクロを作っていました。テラタームであれば、環境毎にini ファイルを用意して、ログイン用のマクロを実行する際に環境毎のiniファイルを読み込ませるようにして視覚的にわかりやすくするのが一番手っ取り早かったです。
aka567000🔥 @aka567000
逆説的ですが…本番は触れないようにすればよい。変更は必ずステージングに対して行って確認がとれたら本番とステージングをSwapというのがアプリ側の基本路線。 DB操作は……やっぱり専用端末が安心…… twitter.com/ebc_2in2crc/st…
おやじ@AWS SAP勉強中 @oyazi_q9550
@ebc_2in2crc @OstrichMinister アクセス方法をあからさまに変えるという方法があるけど、それだと本番の練習と言うステージングの意味ないという諸刃の剣( ・∇・)
残りを読む(209)

コメント

つりーべる @tada_suzu 2019年6月26日
まとまってた。この手のは一度でも失敗したことがある人ほど対策が思い浮かんで実行するけど、対策済みの現場しか知らない人はなぜこれやってるのかわからないままのこともあるんだろうな。
メラ @vprjct 2019年6月26日
ssh接続先に応じてitermの背景色変えるのは鉄板。本番環境は赤色 https://qiita.com/k725/items/5c220a4ab87eb84a8233
メラ @vprjct 2019年6月26日
ldapで権限付けるのは当然だけど、それやっててもミスるときはミスる(並列作業/障害対応とか)から絶対に色変えはやったほうが良い
佐渡災炎 @sadscient 2019年6月26日
ターミナルの背景色って書きに来たらすでにあったので安心した。
キヲハル@JOJOと金カムとライブ多忙垢 @aquaboy135 2019年6月26日
題名見て今まさに同じ作業してるので「アーーーーーッッ!!!!!!!!!」って叫びそうになった。
kartis56 @kartis56 2019年6月26日
操作端末自体を物理的に分けるのが一番いいんだけどね
takatakattata @takatakattata1 2019年6月26日
IDとかあからさまなものに変えたらいいんじゃないの。honbanとか。超ダサいけど確実。
夏越丸@ねんくり引き取り先募集 @nagoshimaru 2019年6月26日
ついこの間webでやった。迅速な対応ありがとうございますって言われたけど冷や汗かいた。
三十郎 @sanjuro2 2019年6月26日
自分はこのタイプのミスは殆ど無いんだが、ベンダーにやられた事が複数回あるw
kokomaro @kokomaro11 2019年6月26日
ウィンドウの色を変えて一安心と思いきや コマンドのブロードキャストが有効のままになっててアッー 1ホスト1コンソールがベストだなあ…
きりえ @kyrie_oO 2019年6月26日
aquaboy135 本番作業中にまとめ見ちゃだめヽ(;▽;)ノ
きりえ @kyrie_oO 2019年6月26日
本番は赤、検証は緑、開発は青 が多かったな ホスト名がbとd違うだけっていうトチ狂ったところでは何度かやらかしたけど何とか事なきを得た…
ぱんどら @kopandacco 2019年6月27日
新しいページを開くたびに開発環境に強制的に戻されて、いちいち本番に切り替えさせるうちのサーバーは開発担当の血と汗と涙で出来ているのだろうな