#JANOG 51 Meeting Day2午後 3F会議室
-
- いいね！0
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:攻撃者がランダムにやってなく、Googleの仕様として大文字小文字が混じる 実際の攻撃もとは？ 多いところは棒パブリックDNSAさんとかBさんとか、その次はクラウド事業者、ここから推測されるのはパブリックDNSが多いので踏み台にしているのだろうな 日によって傾向が #janog #janog51_3f
2023-01-26 14:17:46
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:DNSアプライアンスがなぜ影響をうけてしまったのか？多くのレコードを管理しやすくするためにバックエンドでDBを利用のため 水責め攻撃ではキャッシュが全く有効に働かない。バックエンドのMariaDBにSQLを発行するのが重い処理になる CPU負荷による応答遅延、DNSのダウン #janog #janog51_3f
2023-01-26 14:19:02
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:水責め攻撃への対応と対策をご紹介 初回、CPU負荷が上がっての名前解決遅延 冗長化のためのVRRPでの切り替え、切り戻りでも名前解決できない時間が発生。PowerDNSがタイムアウトしたためにVRRPの切り替わり、フラップ #janog #janog51_3f
2023-01-26 14:19:58
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: 対応として、スタンバイ側を停止する対応。VRRPを止めた。落ちるがパタパタしないだけ多少ましに 最初の攻撃は夜間、できることがなく収束するところまで待った＞長期間の影響 #janog #janog51_3f
2023-01-26 14:20:38
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: 2度目以降の対策。その場でできること、経験からiptablesを使った対策を入れた。 CPU負荷が上がったのであれば、サーバのスケールアップを行った。DNSサーバもさくらのクラウド上なので、ぷらんを変更して再度立ち上げた #janog #janog51_3f
2023-01-26 14:21:27
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:JANOG39で紹介したDDoSミティゲーション装置をいれた。PowerDNS,MariaDBのチューンを行った #janog #janog51_3f
2023-01-26 14:21:54
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: iptablesの対策。特定の文字列の問い合わせをドロップするようにした。 .example.comを落とすなど #janog #janog51_3f
2023-01-26 14:22:27
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: wwwだけは許可するなどパケットごとに中身を見て攻撃ではないものだけを通す工夫をした #janog #janog51_3f
2023-01-26 14:23:14
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: 多少攻撃をかわすことができた。 iptables 思ってなかった副作用が DNSサーバの手前でパケットを落とすためでサーバ側にTCP接続だけ残る状況が。TCP接続の最大数を超えてしまい。名前解決ができなくなる。 max open fileの緩和とともにPowerDNSのTCP設定をチューニング #janog #janog51_3f
2023-01-26 14:24:34
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: PowerDNSがダウンする原因は何か？バックエンドの問い合わせがたまりすぎると自殺する。 max_queue_lengthの値（5000）で死ぬ。systemdで再起動するがその間がサービス不能に＞値を増やした が、レイテンシはかなり悪化 #janog #janog51_3f
2023-01-26 14:25:38
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:落ちた方が良いか、遅くなるのがいいか＞現在5000の値のままで #janog #janog51_3f
2023-01-26 14:26:00
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: iptables、MariaDBのチューニング、できる対応他にもあるよね＞ iptables/DDoSミティゲーションでは足りてない。iptablesでは大文字小文字混じりは防げない。全パターンを入れられない #janog #janog51_3f
2023-01-26 14:27:01
ネットワークテスト自動化「NEEDLEWORK」
@NEEDLEWORK_APC
山梨県で開催中のJANOG51にNEEDLEWORKも出店しています！！ 3F展示会場Cを出た廊下側のブース（No76）です！お越しの際はぜひお立ち寄りください。 #JANOG51 #janog51_3f pic.twitter.com/rn7MxrAe5p
2023-01-26 14:27:02
拡大
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: 大規模な攻撃では影響を受ける可能性がある。 DDoSミティゲーション装置。攻撃検知するとZoneまるごとRateLimitがかかる。お客様の影響が避けられない。 攻撃者の狙いを回避できているか？狙いが全くわからない。名前解決できなくなるのが狙い？ #janog #janog51_3f
2023-01-26 14:28:04
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:対策の改善へ サーバ側でクエリの中身をみて細かく判断 dnsdistの導入＞後ほど紹介 モニタリング改善 #janog #janog51_3f
2023-01-26 14:29:34
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: dnsdist: powerDNSの開発元がリリース DNS用のProxyサーバ ロードバランサとして働いたりフィルタやQPS制限が行える便利なProxyサーバ #janog #janog51_3f
2023-01-26 14:30:10
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: どんな風に入れた？ PowerDNSのポートを変えてdnsdistを53に、。クエリのフィルタ、QPS制限を行った #janog #janog51_3f
2023-01-26 14:30:45
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:dnsdistを入れるに当たり性能面の確認をした DNSの負荷ツールをGo言語で自作して確認 Dropする設定を入れるとTimeoutを待つのでRefuseを返すようにしてベンチマーク refuseが16万qpsまで返せることが確認（CPU4コア） 実際はもっと多くのコアを使っている #janog #janog51_3f
2023-01-26 14:34:01
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:モニタリングと対応の改善 Mackerelを利用してサーバのメトリクスを収集 PowerDNSおよびdnsdistの監視プラグインを自作しOSSで公開 MariaDB含め様々なメトリックを収集した #janog #janog51_3f
2023-01-26 14:35:03
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:攻撃緩和のためのメトリクス収集などをした 何かしら攻撃があったときにアラートを挙げる＞スラックに通知 クエリの数は記録し、閾値超えたらアラート サービス上問題なくともアラートを挙げている。 サービスに影響あれば運用チームが障害対応 #janog #janog51_3f
2023-01-26 14:36:23
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: 新たなゾーンへの攻撃時はdnsdistの設定を作り、Ansibleで投入する手順を作成、共有 だいたい10分かかるので、改善の必要あり #janog #janog51_3f
2023-01-26 14:37:01
Yukihiro Kikuchi
@yukihirokikuchi
長野さん:水責め攻撃への対応の難しさ ＞ パブリックDNSからの大量アクセス QPS制限をいれると、他のゾーンの名前解決に影響があり、単純なQPS制限の適用が困難 #janog #janog51_3f
2023-01-26 14:37:43
Yukihiro Kikuchi
@yukihirokikuchi
長野さん: dnsdistの設定のホワイトリストの規模が大きくなると負荷があがる。ワイルドカードの扱いが困難 ワイルドカードは防ぐことができない #janog #janog51_3f
2023-01-26 14:38:18