Cisco Live 2019 San Diego - BRKACI3545 "Mastering ACI Forwarding Behavior"

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" Pervasive Gatewayと経路情報はそれぞれ必要なタイミングで展開されます。たとえば、EPG間でContractが結ばれると、VRF範囲の必要な経路情報が必要なLeafスイッチに展開されます。 pic.twitter.com/AvoG7jLuG1

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" Spine Proxyの仕組みがあったとしてもPervasive Routeの展開が必要な理由は、宛先不明でDropしないためには経路の存在が必要だからです。経路が存在すれば、実際の宛先LeafはわからなくてもSpineのAnycast TEPに転送されます。 pic.twitter.com/npz0vPNZFR

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI はネットワークです。「つながり」はネットワークとしての接続性の上に形造られる論理的な接続性です。EPG間のつながりの可否を決定するContractは、L2/L3のネットワークとしてのつながりの上に構成されます。 pic.twitter.com/0Ag1Et3Bxq

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI ではVRFがL3VNI、BDがL2VNIといえます。BDにSubnetを構成しSVIとしてGW動作する場合、VRFのVNIDに紐付いたscopeではEndpointのIPアドレスが学習されるようになります。 pic.twitter.com/mu7nL6YZao

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" BD内のL2通信の場合には宛先EndpointのMACアドレスがLookupされます。同一EPGの場合はもちろん、EPGが異なっていたとしてもスイッチング動作という意味では違いはありません。 pic.twitter.com/BStlAEwWBH

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" BDには複数のSubnetを紐付けることが可能です。この場合、Subnet感の通信としては当たり前ですが宛先MACアドレスがBDのSVI宛となるため、VRFでのIP Lookupを経由したL3通信となります。つまり、通信動作としては別BD/Subnetとの間と同様です。 pic.twitter.com/3dEoFBxhaz

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI のBridge Domain (BD)にはL2/L3転送に関するパラメータが用意されており、当該BDの要件に合わせて適切に構成する必要があります。ACI内での転送処理に関する動作はこれらBDのパラメータによって決まります。 pic.twitter.com/iBA3qnkvTH

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI BDで[Unicast Routing]を無効にすると当該BDのSVI及びEndpointに対するIPアドレスの学習は無効となります(MACアドレスの学習は引き続き動作します)。結果的に別Subnet間の通信はできなくなりBDはL2のみの動作となります。 pic.twitter.com/CO3hbNU7H6

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI ではFabric内トラフィックの最適化を目的としてARPのFloodingは行わない[ARP Flooding] OFF設定がデフォルトです。この場合Spine Proxy動作によってARP要求はSpineにUnicast転送されEndpoint Tableに従って宛先に再転送されます。 pic.twitter.com/tMeMwdPOVJ

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" [L2 Unknown Unicast]はデフォルト無効となっていますがBDをL2利用する場合やサイレントホストがある場合、Leafの先にあるスイッチ経由でEndpointが接続する場合等には有効にする必要があります。無効の場合Spine-Proxy動作するのはARPと同様。 pic.twitter.com/mLoQflYFa5

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" [L3 Unknown Multicast Flooding]はデフォルトでは"Optimized Flood"設定となっておりRouter PortにのみL3 Unknown Multicastが転送されます。Flood設定とした場合、第1世代Leafと第2世代Leafでは動作が異なります。 pic.twitter.com/2JuU5g7BD0

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" [Multi Destination Flooding]はL2 Flood動作の範囲を指定します。デフォルトは"Flood in BD"ですが、対向側がVLANを超えたFlooding動作を行うと問題がある場合には必要に応じて"Flood in Encapsulation"を選択します。 pic.twitter.com/EoB3sY5XVe

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI 3.1以降+第2世代Leafスイッチの組合せにおいて[Multi Destination Flooding]設定で"Flood in Encapsulation"を選択した場合の動作が異なります。この組合せでは、例外なくFlood範囲がEncapの範囲のみとなります。 pic.twitter.com/5tlCEzYXgu

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" 個人的には状態を明らかにするために明示的に有効化することをオススメしますが、[Unicast Routing]を無効化した場合には自動的に[ARP Flooding]は内部的には有効化されます(UI上は変化しません)。 pic.twitter.com/zgaHJ2EnTK

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI の特徴の1つであるSpine Proxy動作は送信元Leafが宛先LeafのTEPアドレスを把握していない場合の仕組みですが、このSpine Proxyがどのような場合に利用されるのかについては、このスライドにまとめられている仕様の通りとなります。 pic.twitter.com/Tg9WhL8j6m

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI ではSpine Proxyの仕組み等のためにSpineにもTEPアドレスが構成されます。Spine Proxy TEPは #CiscoACI Fabric範囲のSpine全台で共有されるAnycast TEPとして構成され、L2用、IPv4用、IPv6用のそれぞれが構成されます。 pic.twitter.com/inX1eyYhqW

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" Spine Proxy動作によりSpineに転送されたにも関わらずSpine側も当該Endpointの宛先TEPを把握していない場合、L2の場合はDropするのみですがL3の場合はARP Glean動作により当該BD/Subnetを保持するLeafでUnicast ARPによる検出が実行されます。 pic.twitter.com/1h6MciN7Mo

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI の強みはSDN Controller的な側面とFabric Manager的な側面を併せ持っている点ですが、それはつまりASICレベルの転送処理までを含めた Management - Control - Data の全階層を結び合わせる仕組みを実装している事とも言えます。 pic.twitter.com/BL27G6cBN3

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI のポリシー管理部分は1から開発されたものですが、実際の各ノードで転送処理を実現しているControl Planeの下半分とData Planeの大半は10年超の実績のあるNX-OSをベースとした、NWエンジニアのスキルを活かすことができる実装です。 pic.twitter.com/JemvWZiO0u

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI でご利用頂ける #CiscoNexus 9000スイッチは第1世代のBroadcom + Cisco ASICのHybird型から、第2世代のCisco Cloud Scale ASICへと実装を大きく変更しています。そのため第2世代はスケーラビリティと柔軟性が大幅に進化しています。 pic.twitter.com/m4BdOX2bdL

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" これまでリリースされた全ACIバージョンは全ての #CiscoACI 対応 #CiscoNexus モデルをサポートしていますが、次第に第2世代以降を必要とする機能実装が増えてきていますので、第1世代からの更新と今後は第2世代のみでの展開をオススメします。 pic.twitter.com/yMxnV2NyIh

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" まとめとしてPacket Walkを追ってみましょう。1つのVRF配下に1つのBDがあり、Subnetは2つ、それぞれのSubnetに紐づくEndpointが別々のLeaf配下に1台ずつ。1パケットも送受信していないため各LeafのEndpoint TableもSpineのCOOPも空な状態から。 pic.twitter.com/Xmwkw94lL7

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" EP-AがEP-BにPing通信を行うために、まずGWのMACアドレスを解決するためにARP要求を送信。LeafはARP応答をすると共に、EP-AのMACアドレスおよびIPアドレスを学習、さらにCOOPプロトコルを用いてそのEndpoint情報をSpineに通知します。 pic.twitter.com/mFU7sQrOxa

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" Endpointが接続しているポートと利用するEncap VLANに紐づけてLeaf内でEPG単位で区別するためのPI-VLANを割り当てます。EPGはBDに紐付いており、BDはVRFに紐付いています。BDとEPGに紐づくPI-VLANはLeaf毎に異なります。BDは分散GW動作します。 pic.twitter.com/iYqIixCPuc

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" 送信元LeafではDownlink側に接続しているEP-AのMACアドレスとIPアドレスを紐付けてLocal Endpointとして学習すると共に、紐付いたVRFのLPM TableをRIBとして自身に自動的に構成します。 pic.twitter.com/1YcnPyNL0w

拡大