-
- いいね！0
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん 忙しい時間がどうしても張り付く必要があった。ツールができるとそもそも人が張り付く前にツールが自動で減らしてくれる ほぼほぼベータテスト中だがうまく動いている: #janog #janog_6F
2020-01-23 18:16:36
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん: ざっくりお話 Fastlyでどうやって運用してるのかの裏側を共有 スケーラブルネットワークアーキテクチャ ネットワーク自動化 運用面で工夫しているところをご紹介#janog #janog_6F
2020-01-23 18:17:10
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん: 以上になりますが、ここからディスカッション コメントとか聞きたいことがあれば 我々のようなグローバルネットワークを運用してることで知見があれば ぜひ聞けるとうれしいです もしこれでJANOGの人に参考にしてほしくて、コメントいただければ #janog #janog_6F
2020-01-23 18:18:03
Yukihiro Kikuchi
@yukihirokikuchi
アカマイ田島さん： ECMPは面白いなー ECMPだけでうまくバランスできるの？ 土屋さん： たまにチューニングが必要だが、ほぼこちらで対応できている。 運用できにならないレベル #janog #janog_6F
2020-01-23 18:19:06
Yukihiro Kikuchi
@yukihirokikuchi
サイボウズ 原さん： アラート対応でNetOps slashで遮断 経路消したあとの復活があると思うが、自動的に戻しているのか、人でやっているのか？ 土屋さん: 2つ並べてちょうどいいので説明 一時的対応なのでオフピークの時間に戻す作業をしてる 人手でやってた 1コマンド unslash#janog #janog_6F
2020-01-23 18:20:26
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん Stackstormで戻す作業も今自動化でできるように、戻す作業もやるのはその通り: #janog #janog_6F
2020-01-23 18:20:50
Yukihiro Kikuchi
@yukihirokikuchi
KDDI総合研究所 宮坂さん： IPAnycast ちゃんと分散されるかがNWに依存する Anycastを使う故の問題はありましたか？ 土屋さん ISPさんのパラメータが優先されるのでたまになんで？がある。問い合わせで気づいてなんかおかしなASPATHしてるながある: #janog #janog_6F
2020-01-23 18:21:56
kunitake
@kunitake
普段、単純に traffic rate だけ見てるわけじゃないと思うので、Fastlyさんがどんな metric を見てるか気になる。配信サーバ側のデータ(TCPの再送率とか？)もあるだろうし、Arista側の物理的な metric も見てるんだろうし #janog #janog_6F
2020-01-23 18:22:24
Yukihiro Kikuchi
@yukihirokikuchi
BBIX ？さん： トラフィックを確認するところでバリデーションをかけてる？昔試したときに失敗したことがあった。工夫されてることは？ トラフィックが総定量まで落ちるまでに時間がかかる。 土屋さん:コンフィグレベルの確認はできるが、入れてみないと分からないところはある #janog #janog_6F
2020-01-23 18:23:35
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん: うまくいかないことはある。完全自動化で閾値を調整している。できるだけ小さく早めに自動化では落とす。それがだめなら手でやるなど、このソリューションで全解決するより、足りなかったら手動や パラメータチューニングをしたり、Step by Stepで改善してる #janog #janog_6F
2020-01-23 18:24:23
Yukihiro Kikuchi
@yukihirokikuchi
京都大学 こたにさん： TCPで動かすのはつらいのでは？ FastlyさんのPOPの切り替えで張り直しが発生したり。しないか 土屋さん: するどいご指摘。その通り、TCPのリトランスミッションをカウントしてる ベストパスが変わることはありえる #janog #janog_6F
2020-01-23 18:25:37
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん: TCPレベルで見てるチームが調査したが、しょっちゅう発生することではないので、そこまでケアする必要はないのでは となっている。 発生するがそんなに多くないので深刻な問題として扱ってない #janog #janog_6F
2020-01-23 18:26:09
Yukihiro Kikuchi
@yukihirokikuchi
NTT Ltd 今村さん： トラフィックコントロールで輻輳とかメンテナンスの情報を得てドレインする 実際は迂回するときのパラメータとか、Fastlyにとってプレミアムなのでとか他のロジックや対応はあるか #janog #janog_6F
2020-01-23 18:26:58
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん: トラフィックの量はコントロール ツールによりコントロ-ル カスタマーごとはDNSごとにコントロールしたりしている。#janog #janog_6F
2020-01-23 18:27:25
Yukihiro Kikuchi
@yukihirokikuchi
NTT Ltd 川上さん：オートメーションはルールベースで経験から地道に実装したのか、AIっぽくやってるのか、長いPrefix短いPrefixどこの順番にしてるか知見があれば教えて欲しい 土屋さん:試行錯誤の結果 細かいルールはないが、目的の量に対して近いPrefixを落としている #janog #janog_6F
2020-01-23 18:28:28
Yukihiro Kikuchi
@yukihirokikuchi
IDCフロンティア みさきさん： POP間の通信をどのように実現しているのか？ 土屋さん: IP Anycastが基本 POPごとに識別子 特別なIPセグメントを割り当てを運用やお客様がPOP指定できる別のPOPごとのIPアドレスで実現している #janog #janog_6F
2020-01-23 18:29:44
kunitake
@kunitake
AnycastだとTCP(というか、state 持つ必要があるプロトコル)と相性が悪いってのはよく言われるけど、そんなに頻繁に起きないよってのも実際にやってみての知見だねー #janog #janog_6F
2020-01-23 18:30:03
Yukihiro Kikuchi
@yukihirokikuchi
Arista 土屋さん： レビューを人でやってる。第三者のイメージがわかなかったので誰？ 何人ぐらい 土屋さん: 同僚が見てる。 同じチームメンバー マネージャーの承認ではない コンフィギュレーションが技術的にあってるかどうかをチェックしている #janog #janog_6F
2020-01-23 18:30:30
Yukihiro Kikuchi
@yukihirokikuchi
土屋さん: 懇親会に向けて 懇親会で聞いてもいいですし、ブースでもご質問お答えします。お声がけいただけるとうれしいです #janog #janog_6F
2020-01-23 18:31:03
Yukihiro Kikuchi
@yukihirokikuchi
@rr250r_smr @catDaisuke 技術書 買取で検索すると特化した買取書店あるす
2020-01-23 21:26:01