JANOG52 Meeting Day3 午前 #JANOG
-
- いいね！0
Yoshikazu GOTO
@goto_ipv6
なぜLossがRDMAの性能に影響を与えるのか ・RDMAではgo-back-N方式が多く採用されている →最近はSelective Repeatも実装されてきているが機能的制限あり ・Go-back-NはDROPしたSEQから遡って再送を実施し無駄が多い ・RDMAにはLossがないNWが求められる #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:24:29
Eiji Tanioka
@taniokae
Winner発表！「eXchangeしようぜ！」チーム ソフトバンク大野さん BBIX蟹江さん BBIX絹川さん BBIX野上さん #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:24:32
Yoshikazu GOTO
@goto_ipv6
Lossless Ethernetとは ・輻輳制御とQoSを使った信頼性の高いNW：輻輳制御ではDCQCNを利用 ・PFC (Priority Flow Control) ・ECN (Explicit Congensiton Notification) ・ETS #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:25:58
Eiji Tanioka
@taniokae
概要（悩み事） - NWが大きくなったら構成情報更新が手間。 - 実機と構成情報の差分が出てくることがある 解決手段 - LLDPを使ってAnsible & inet-hengeでトポロジ図の自動生成 - Ansible+Netboxで構成管理 #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:26:45
Eiji Tanioka
@taniokae
EVE-NG環境でSpine-Leaf的な環境を作ってやってみた #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:27:07
Yoshikazu GOTO
@goto_ipv6
採用したInterconnect構成 ・Lossless NWは400GbEフルバイセクション ・Rail Optimized構成 →各Leafスイッチにケーブルを1本ずつ →アプリ側で最適なNICを選択するときの水曜構成 ・400GbEで統一し異速度カットスルーの低減 ・LAGの撤廃 ・Adaptive Routing #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:27:11
Yoshikazu GOTO
@goto_ipv6
Elephant Flow /Mice Flow問題 ・5-tupleが同じパケットはスイッチのハッシュにより同じ経路を通過 #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:27:46
Eiji Tanioka
@taniokae
NOS: vEOS-labを使用 サーバ: Linux(ubuntu)→Ansible/inet-henge/Netbox #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:28:04
Eiji Tanioka
@taniokae
LLDPで取れるものから必要なもの（IF名、ホスト名）を選択 #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:28:34
Yoshikazu GOTO
@goto_ipv6
Adaptive Routing ・パケットを時分割 →Flowletとして認識 ・バッファの状況を見てDynamicにハッシュを実施 #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:28:35
Ryosuke Yamaguchi
@meryo2000
アイスクリームーを引き換えてもらいました！！ #janog52 pic.twitter.com/DUVjw8UbWH
2023-07-07 10:28:41
拡大
Eiji Tanioka
@taniokae
LLDPの表示をAnsibleでいい感じに取得してJSON加工。detailだと多すぎるので今回は少なめのもので #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:29:09
Yoshikazu GOTO
@goto_ipv6
Adaptive Routing (AR) の検証 ・ARを有効にしたスイッチにおいてSpine向けのTX側トラフィックが分散 #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:29:12
Yoshikazu GOTO
@goto_ipv6
小障子さん：データセンター構築の流れ ・去年の7月くらいから企画として上がってきた ・今年の6月から運用へ ・前の資産としてのGPUがあったので前のDCから移設したのが今年の1月ころ #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:30:37
Eiji Tanioka
@taniokae
トポロジをinet-hengeで可視化してあるものに新規デバイスを追加後に →ansibleでLLDP情報取得 →textfsmで変数化（テンプレートで簡単に！） →inet-henge用にjinja2で整形 →トポロジ図が更新される！ #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:32:02
Yoshikazu GOTO
@goto_ipv6
GPUサーバー用DC選定 ・NVIDIA DGX H100/HGX H100を国内初導入 ・新たにGPUサーバー用DCを選定 →電力→1ラック 35kVA以上 →冷却性能→リアドア空調DCを →ラックの拡張性→最大200ラック #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:32:09
株式会社ブロードバンドタワー
@bbtower_inc
【JANOG52長崎最終日スタート！】 弊社ブースでは、ブロードバンドタワーのクラウドc9 Flex-NやAWS、Azure、GCPとのシームレス接続を実現するdc.connect NeXを展示中！🔗🌐 最終日も熱気溢れるイベントとなります！お見逃しなく！🙌🎉 #JANOG52 #ネットワークイベント #ブロードバンドタワー pic.twitter.com/gqQNGAD7U1
2023-07-07 10:32:53
拡大
拡大
拡大
Yoshikazu GOTO
@goto_ipv6
ネットワーク設計 ・ラック構成はEnd of Row(EoR)を採用 →1ラックあたり最大でGPUサーバー3台搭載となるためToRだと収容効率が悪い →サーバーへの配線はすべてパッチパネルで ・要件の異なるNWを分離 →Lossyと Losslessを #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:33:08
Eiji Tanioka
@taniokae
まとめ（感想） 素晴らしいものができた！ 社内のネットワーク構成全部可視化してきます！ 他部署/他社と時間とって開発する機会ができてよかった！ EVEに慣れるのに時間がかかった… #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:33:10
JANOG Meeting
@janogmeeting
#JANOG 52 day2 ランチ企画の様子です！！！ クイズゲームを行い、非常に盛り上がりました🙌 本日も12:15～ 出島メッセ1F 103会議室にて、25歳以下限定のランチ企画 -若者限定NOCツアー- を行いますので、ぜひご参加ください🥪☕️ janog.gr.jp/meeting/janog5… pic.twitter.com/x68rVpq9D7
2023-07-07 10:33:21
拡大
拡大
拡大
Eiji Tanioka
@taniokae
EVEになれるのに3-4時間かかった。事前に学習してきたらよかった… #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:33:46
Eiji Tanioka
@taniokae
まとめ（他にもやりたかったこと） WEBから実行できるようにしたい LLDP情報をもう少し活用したい #JANOG #JANOG52 #JANOG52_101
2023-07-07 10:34:24
Yoshikazu GOTO
@goto_ipv6
インターコネクト設計 ・構築・運用しやすい厚生 →NW構成はFat-Tree →BGP Unnumberedを採用 →L2延伸はしない ・フローの偏りを抑止 →LAGを使わない →Adaptive Routingにより偏りを解消 #JANOG #JANOG52 #JANOG52_hall
2023-07-07 10:35:06