#JANOG 43 Meeting Day 2 午後

2
前へ 1 ・・ 6 7 ・・ 10 次へ
Yukihiro Kikuchi @yukihirokikuchi

川上さん: ワーキンググループアクティブなものは去年までテレメトリーワーキンググループ 明日のセッションで最終報告があります。皆様お楽しみに。現在アクティブなものはない #janog #janog43_hall

2019-01-24 17:01:45
Yoshikazu GOTO @goto_ipv6

川上さん:他団体との連携: ・IA研究会 →2018年9月3日~5日 ・InternetWeek2018 →プログラム委員として #janog #janog43_hall

2019-01-24 17:02:15
Yoshikazu GOTO @goto_ipv6

川上さん:WebサーバーとML: ・さくらインターネット →さくらのクラウド上で #janog #janog43_hall

2019-01-24 17:02:35
Yukihiro Kikuchi @yukihirokikuchi

川上さん:他の団体との連携: インターネットアーキテクチャ研究会、JANOG共催で連携 Internetweek 2018去年は平井さんと熊本さんがプログラム委員として参加。JANOGのサーバ、さくらインターネットさまのさくらのクラウドで実行 いつもありがとうございます(場内拍手) #janog #janog43_hall

2019-01-24 17:02:40
Yoshikazu GOTO @goto_ipv6

川上さん: ・JRPS様 →janog.gr.jp, janog.jp のドメイン管理 →サーバー証明書 →三井情報様から移管 #janog #janog43_hall

2019-01-24 17:03:25
Yukihiro Kikuchi @yukihirokikuchi

川上さん: JPRS様にJANOG.GR.JP JANOG.JP運用をMKIさんからJPRSさんに移管、中西さんが退任されたのでそれにあわせてJPRSさんに移管、JPRSさんどうもありがとうございます>(場内拍手) #janog #janog43_hall

2019-01-24 17:03:30
Yukihiro Kikuchi @yukihirokikuchi

川上さん: 現在平井会長はじめ10名のメンバーで運用 今後のJANOGミーティングを公開 決まり次第 現在JANOG44が神戸、45が冬の北海道 現在51から先は遠すぎるので一旦募集を中止 方針決まり次第アナウンスします #janog #janog43_hall

2019-01-24 17:05:12
Yoshikazu GOTO @goto_ipv6

川上さん:今後のJANOG Meeting: ・JANOG44:7月24~26:神戸市 ・JANOG45:2010年1月22~24日:札幌市 ・JANOG51 は 2023年1月なので、現在は募集を停止 #janog #janog43_hall

2019-01-24 17:05:14
Yoshikazu GOTO @goto_ipv6

川上さん:ちなみに、JANOG44~50は、東京開催ではありません。1000人を超える参加者が入れる会場の確保が…… #janog #janog43_hall

2019-01-24 17:05:54
Yukihiro Kikuchi @yukihirokikuchi

川上さん: JANOG44から50まですべて東京ではない。1000人超えは東京では難しい。50まで東京以外の開催を予定。まだ詳細は決まっていないが4月にどこかでやろうと思ってます #janog #janog43_hall

2019-01-24 17:05:55
Yukihiro Kikuchi @yukihirokikuchi

川上さん: JANOGUPDATE以上となります。コメントなどありましたらお願いします #janog #janog43_hall

2019-01-24 17:06:11
KIKUCHI Yutaka 🌕 菊池 豊 @kikuyuta

こんなところで地方のメリットが! 参加者1000人以上でそれなりの価格の会場がゲットできる! #janog twitter.com/yukihirokikuch…

2019-01-24 17:07:53
Yoshikazu GOTO @goto_ipv6

小林さんによる『LINEのネットワークをゼロから再設計した話』です。 janog.gr.jp/meeting/janog4… #janog #janog43_hall

2019-01-24 17:08:22
Yukihiro Kikuchi @yukihirokikuchi

「LINEのネットワークをゼロから再設計した話」 小林 正幸さん(LINE株式会社) からです。 #janog #janog43_hall

2019-01-24 17:08:30
Yoshikazu GOTO @goto_ipv6

小林さん:インフラの規模感: ・今年のあけおめのトラフィック →LINEの送信メッセージ ・スパイクするような状態にも柔軟に対応できるようにしている #janog #janog43_hall

2019-01-24 17:09:30
Yukihiro Kikuchi @yukihirokikuchi

鈴木さん: あけおめのトラフィック、厳密にはLINEの送信メッセージ、普段からスパイクするインフラにも対応できる設計をしている。現在日本を中心として1億4500万人に利用してもらっている。物理サーバが3万台 データも1Tを超えるぐらい。 #janog #janog43_hall

2019-01-24 17:09:31
Yukihiro Kikuchi @yukihirokikuchi

鈴木さん:本題>LINEのアーキテクチャ 非効率だったので改善していった。 NW上の課題 2つ>キャパシティの不足 マイクロサービスアーキテクチャ 機械学習のEast-Westのトラフィックが多い。 これまでのLINEのアーキテクチャでは耐えられない。 #janog #janog43_hall

2019-01-24 17:10:35
Yoshikazu GOTO @goto_ipv6

小林さん:直面していた課題(アーキテクチャとして非効率): ・キャパシティの不足 →East-Westトラフィックの増大によって、ボトルネックが発生 →→Hadoopや機械学習など #janog #janog43_hall

2019-01-24 17:10:50
Yoshikazu GOTO @goto_ipv6

→水平スケールが困難な 2N構成 →→2台 1セットで用意していたが、この構成だと機器のスケールアップしかできない #janog #janog43_hall

2019-01-24 17:10:50
Yukihiro Kikuchi @yukihirokikuchi

鈴木さん: 水平スケールが難しい2N構成 #janog #janog43_hall

2019-01-24 17:10:59
KOYAMA Tetsuji @koyhoge

今年の元旦のLINEメッセージ数グラフ。あけおめアタックすごい。 #janog #janog43_hall pic.twitter.com/Zzaf2DmbRL

2019-01-24 17:11:46
拡大
Yoshikazu GOTO @goto_ipv6

小林さん: ・運用負荷の増大 →複数のプロトコルと冗長構成 →→3Tierアーキテクチャだった →→冗長化のため、ルーティングなど、運用がし辛い →要件に応じたサーバ配置の限界 →手作業の運用による負荷 →→手作業によるミスなど #janog #janog43_hall

2019-01-24 17:11:54
Yukihiro Kikuchi @yukihirokikuchi

鈴木さん: もう1つ: 運用負荷の増大 >複数のプロトコルと冗長化技術が増えて運用がしづらい。これまでのLINEはトラフィックを出すサーバは近くになどといったスケジューリングが難しく、手作業によるミスも問題 根本から解決するためにアーキテクチャ見直しをした #janog #janog43_hall

2019-01-24 17:12:03
Yoshikazu GOTO @goto_ipv6

小林さん:課題を根本から解決することを決意: ・アーキテクチャレベルで見直し →N+1 で水平スケールが可能に ・運用負荷を下げる →NWのシンプル化 →NWがなるべくステートレスであること →運用の自動化 #janog #janog43_hall

2019-01-24 17:12:49
Yukihiro Kikuchi @yukihirokikuchi

鈴木さん: 解決するために> East-Westをノンブロッキングに 運用負荷をさげる>ネットワークのシンプル化 最小のプロトコルでステートレスなネットワーク ネットワーク運用の自動化と効率化 #janog #janog43_hall

2019-01-24 17:12:57
ステ猫 @stereocat

シンプルなネットワーク → なるべくステートレスなネットワーク #janog #janog43_hall

2019-01-24 17:13:29
Yukihiro Kikuchi @yukihirokikuchi

小林さん: CROSのネットワークを採用 TORを二重化した構成 #janog #janog43_hall

2019-01-24 17:13:55
Yukihiro Kikuchi @yukihirokikuchi

小林さん: 二階層にするもの BackPackのようなものを入れると単一障害点が増えるのですが、スケールすることと単一障害点を減らすということで3階層にした。#janog #janog43_hall

2019-01-24 17:14:37
Yoshikazu GOTO @goto_ipv6

小林さん:新しいアーキテクチャの概念: ・基本設計に3階層のCLOS Networkを採用 →External (実際は Spineに含まれる構成) →Spine →Leaf →ToR-Server ・スケールすること、単一障害点を減らすことを #janog #janog43_hall

2019-01-24 17:14:38
Yukihiro Kikuchi @yukihirokikuchi

小林さん: チャレンジ>すべてをホワイトボックススイッチに 全体的なキャパシティ 10Gリンクをサーバは2つありそれぞれのTORへ。TORは100G4ポート その先は100Gx32ポートで並べた #janog #janog43_hall

2019-01-24 17:15:16
Yoshikazu GOTO @goto_ipv6

小林さん:すべてホワイトボックススイッチを採用: ・サーバーは 10G を 2つ →ToR に ・ToR は Uplink が 100G x 4 ・Spine は 100G x 32 #janog #janog43_hall

2019-01-24 17:15:25
Yukihiro Kikuchi @yukihirokikuchi

小林さん: 実際にリアルな配線 左側と右側がPOD 7200サーバをノンブロッキングにトラフィックをさばけるように。1万本超えのファイバーからなる #janog #janog43_hall

2019-01-24 17:16:01
Yukihiro Kikuchi @yukihirokikuchi

小林さん: 大きなCLOSネットワークを作るには?手動でセットアップは非現実的今回からZTPとAnsibleを使った構築と機器交換の自動化をした #janog #janog43_hall

2019-01-24 17:16:32
Yoshikazu GOTO @goto_ipv6

小林さん:CLOS Networkの構築方法: ・ZTP と Ansible で構築時間を大幅に短縮 1. 電源投入後、DHCPで管理IPを割り当て →工場出荷時のNOSのバージョンをチェック →異なる場合はONIEで再起動 →利用するバージョンをインストール #janog #janog43_hall

2019-01-24 17:17:17
Yukihiro Kikuchi @yukihirokikuchi

小林さん: トリッキーなことをせずに、工場出荷状態のバージョンを確認し、自動的に求めるバージョンをインストールしサービスに投入 1000台以上のホワイトボックススイッチの構築が2-3時間でできる。 #janog #janog43_hall

2019-01-24 17:17:18
Yukihiro Kikuchi @yukihirokikuchi

小林さん: 悩んだ部分>TORとサーバ接続 TORの二重化をしている故の運用の複雑さ、いままではL2で接続 TORはActive Standby メンテナンスで片方に移すという運用。L2なので切り替えるとパケットロスが発生 これをL3で接続してBGPを作った構成をサーバまで延伸した #janog #janog43_hall

2019-01-24 17:18:51
Yukihiro Kikuchi @yukihirokikuchi

小林さん: 最終的にTORをデータセンターのL2/l3境界にせずにL3にした、サーバにBGPをしゃべらせた #janog #janog43_hall

2019-01-24 17:19:27
Yoshikazu GOTO @goto_ipv6

小林さん:ToRとサーバーの接続がL2であることの問題: ・トラフィックの切り替えでパケットロスが発生 →ToRはActive-Standbyで片方に →トラフィックを切り替えるときに必ずパケットロスが発生 ・L3で接続する方向へ →ToR で BGP で #janog #janog43_hall

2019-01-24 17:19:31
Yoshikazu GOTO @goto_ipv6

・ToRをL2とL3の境界にしないように →サーバーにBGPを喋らせる必要がある #janog #janog43_hall

2019-01-24 17:19:32
Yukihiro Kikuchi @yukihirokikuchi

小林さん: BGP Routing on the host: /32の経路を直接ルーティング サーバがVMの場合はハイパーバイザー上で動作するのでハイパーバイザーに直接BGPを喋らせる。変更をTORに広報する自社開発のメカニズム #janog #janog43_hall

2019-01-24 17:20:19
Yukihiro Kikuchi @yukihirokikuchi

小林さん: らっくまたぎのマイグレーションもできるようになりL2延伸も不要となった #janog #janog43_hall

2019-01-24 17:20:42
Yoshikazu GOTO @goto_ipv6

小林さん:BGP Routing on the Host: ・/32の直接ルーティングのみでエンドツーエンドの接続性を担保 ・ルーティングテーブルを監視 →VMの/32の経路変更をToRにBGPで広報 #janog #janog43_hall

2019-01-24 17:20:42
Yukihiro Kikuchi @yukihirokikuchi

小林さん: 自動構成にて構築にかかる時間を大幅に短縮。NWを意識する必要がなくなった。ラックごとにVLANを管理する必要がなくなり、ベンダーに依存する設計から脱出 オーバーレイのNWをなくせたのでメンテナンスがしやすくなった。トラフィック迂回がL3で楽に #janog #janog43_hall

2019-01-24 17:21:54
酔っ払い.jp @r_takashima

L2 overlay がないのはいいなぁ。 #janog

2019-01-24 17:21:55
ステ猫 @stereocat

"L2 Overlay作らないことで複雑化回避" なるほどね #janog #janog43_hall

2019-01-24 17:22:13
Yoshikazu GOTO @goto_ipv6

小林さん:達成したこと: ・新規構築と機器交換にかかる時間が大幅に短縮された ・NWのボトルネックを意識しなくて良くなった ・ラックごとにVLANを管理する必要がなくなった ・ベンダ依存のプロトコルや冗長化技術がなくなった #janog #janog43_hall

2019-01-24 17:22:25
Yoshikazu GOTO @goto_ipv6

・L2のオーバーレイネットワークを作らないことで設計に複雑化を回避した ・トラフィックの迂回が簡単になり、メンテナンスがしやすくなった #janog #janog43_hall

2019-01-24 17:22:25
Yukihiro Kikuchi @yukihirokikuchi

小林さん: Ansibleを使ってダイナミックインベントリーでConfigを作成することができて運用が楽になった #janog #janog43_hall

2019-01-24 17:22:26
前へ 1 ・・ 6 7 ・・ 10 次へ

コメント

コメントがまだありません。感想を最初に伝えてみませんか?