Cisco Live 2019 San Diego - BRKACI3545 "Mastering ACI Forwarding Behavior"

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI はVXLAN Fabricをベースにしたソリューションです。Endpointから送信されたパケットは送信元LeafスイッチでVXLANヘッダが付加され、送信先LeafでVXLANは取り除かれます。Endpoint側がVXLANの存在を意識する必要性はありません。 pic.twitter.com/bmw0Rye0Uo

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" 当たり前ですが、宛先が同一Leaf配下の場合はVXLANは利用されません。同一Subnet内のL2転送の場合も、別SubnetとのL3転送の場合も、Leafスイッチで折り返されます。全てのLeafでは配下のEndpointが必要とするGWが自動的に構成されます。 pic.twitter.com/PuWoqmvARm

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" 送信元Leafスイッチが宛先のEndpointが配下にある宛先Leafスイッチを把握している場合、送信元Leafは宛先Leafに直接VXLANトンネルを張ってパケットの転送を行います。その際、L3転送の場合は宛先/送信元MACは適切に書き換えられます。 pic.twitter.com/v3vogqcW5X

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" 各Leafスイッチは配下のEndpointは把握していますが、他のEndpoint情報は必要に応じてキャッシュとして保持します。初めての通信の場合、宛先EndpointがどのLeaf配下にあるか知らない送信元LeafはSpineのAnycast TEPを宛先に転送を行います。 pic.twitter.com/r7trm3fmlF

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" SpineスイッチはACI Fabric範囲の全EndpointがどのLeaf配下にあるかCOOP DBによって把握しているため、適切な宛先Leafに再度VXLANトンネルによって転送します。戻りは直接Leaf間のVXLANトンネルで転送されるため、以降は直接送受信されます。 pic.twitter.com/IuINQNFjil

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI のデフォルト動作はSpine Proxyを利用する動作ですが、Flood動作をさせることも可能です。その場合は事前に構成されているBUM転送用のftag treeに基づいてACI Fabric内をMulticastとして転送されます。 pic.twitter.com/FyvXWrp5t2

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI は内と外を厳密に区別するソリューションです。内側に接続された全てのMACアドレスがそれぞれEndpointとして扱われます。ACIがL3転送も行うネットワークに接続されたEndpointについてはMACアドレスに加えてIPも学習されます。 pic.twitter.com/bzVNSUzvvA

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI を特徴づける論理的なグループが End Point Group (EPG) です。Endpointは必ずEPGに属する必要があり、EPGはセキュリティの単位として扱われます。ポリシーが有効なEPGではL2/L3に関わらずContractで許可された通信のみが可能です。 pic.twitter.com/prNf0RHZZY

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI の最も基本かつ重要なポイントが Endpoint の認識ステータスです。APIC GUIにおいてEPG毎の認識状況を確認できますし、個別Leafスイッチごとの認識状況は各Leafスイッチでの show endpoint コマンドで確認することができます。 pic.twitter.com/xQqjy4lBp7

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI の転送動作を理解するためには内部的なVLANの使われ方を理解する必要があります(ACIを利用する上では理解しなくても大丈夫ですが)。show vlan コマンドで確認できるVLANは各Leafで異なるPI-VLANであり、Encap VLANとは異なります。 pic.twitter.com/p1maGowK0q

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI に接続しているEndpointがどのPI-VLANに属するのかは show endpoint コマンドで確認できます。そして show vlan コマンドでは各PI-VLANがどのBD/EPG及びポートと紐付いているのか、そしてEncap VLAN/VXLANとの紐付けを確認できます。 pic.twitter.com/O63hLBoouj

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI ではVXLANはFabric全体で一意ですが、VLANはPI-VLANとしてLeafスイッチ毎に独自に利用されます。EPGとBDのPI-VLANの紐付けの確認には show system internal epm vlan XX コマンドも有用です。 pic.twitter.com/22qD7jGR0e

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI においてEndpoint視点でEPG, BD, VRFへの紐付けを確認するには show system internal epm ip/mac コマンドが便利です。VXLAN VNIDはEPG, BD, VRF全てに渡ってどのLeaf配下であっても一意です。学習経路や認識日時等も確認可能です。 pic.twitter.com/Hxcitoab77

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI で show endpoint を用いてLeaf視点でEndpointの認識を確認する場合、そのEndpointがLocalなのかRemoteなのかはとても重要なポイントです。同じEndpointでも直接接続したLocalの場合と別Leaf配下のRemoteの場合は認識が異なります。 pic.twitter.com/KhnBNplF24

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI FabricのLeafスイッチではDownlink側から届いたパケットの送信元MACをEndpointとして学習します。ACIがGWを提供するL3ネットワークの場合には、加えてIPアドレスもEndpointに紐づけて学習します(ARP Requestからも学習します)。 pic.twitter.com/WwVErbsop0

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI FabricのLeafスイッチではUplink側から届いたパケットの送信元をRemote Endpointとして学習します。L2通信の場合は送信元MACアドレスを、L3通信の場合は送信元IPアドレスを別々に学習します。これはキャッシュとして利用されます。 pic.twitter.com/pOlo9wgPLS

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI 内部ではVXLANによるトンネル接続が利用されますが、宛先TEPアドレスがどのLeafもしくはVPCペアに紐づくのかについてはCLIで確認することが可能です。ACIでは個別のSpine/Leafに加えてVPCペアも独自のTEPアドレスを持ちます。 pic.twitter.com/psbt6nqmkb

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI SpineはLeafの様にデータプレーンではEndpoint情報を学習しません。全てのLeafスイッチは認識したLocal Endpoint情報をCOOPによってSpineに通知する仕組みとなっており、結果的にSpineはACI Fabric全体のEndpointを把握します。 pic.twitter.com/yVermwEJZl

拡大

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI では通信の最適化とSpine負荷の軽減を目的としてRemote Endpointを学習しますが、vMotion等での移動によってRemote Endpointが宛先Leafにはすでに存在しない状況が起こりえます。こうした場合への対処機能が Bounce Entry です。 pic.twitter.com/X9mu5INjG9

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" vMotionなどでEndpointが移動した場合 #CiscoACI Spineスイッチは新たにLocal Endpointとして認識したLeafスイッチからのCOOP通知によってEndpointの移動を認識します。しかし、この時点では別のLeafが持つRemote Endpoint情報はそのままです。 pic.twitter.com/HOnzj1e5Da

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" vMotion等によって移動したEndpointの情報を受け取ったSpineは、元々当該Endpointがいると通知していた移動元Leafに対してのみ移動先Leafの情報を通知します。これはLeaf台数の増加に伴いSpineの負荷が高まることを防止するための仕組みです。 pic.twitter.com/S7CGlwJ44g

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" vMotionによる移動元Leafが移動先Leafを把握しても他のLeafはまだRemote Endpointとして移動元Leafをキャッシュしている為、移動元側にパケットが送信されてきます。この際、移動元は移動先へ再転送します。この動作をBounce Entryと呼びます。 pic.twitter.com/r3Zbub4eMA

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" Bounce Entryによって移動元Leafが移動先Leafに転送しなければならない処理はRemote EndpointをキャッシュしてしまっているLeaf毎に1回だけです。戻りパケットが移動先Leafから送信元に直接送信される事により送信元はキャッシュを更新します。 pic.twitter.com/guoaW6a4JT

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI 内部のEndpointに対するL3GWがPervasive Gatewayです。EPGが紐づくBDに基づいて必要なLeafに自動的に構成される同じIP/MACアドレスを持った分散GWです。Pervasive Gatewayは内部向けのGWであり外部向けは別の仕組みが用いられます。 pic.twitter.com/76lbJOMHfE

拡大

Takao Setaka @twtko

#CLUS BRKACI-3545 "Mastering ACI Forwarding Behavior" #CiscoACI のPervasive Gatewayは必要なLeafに自動的に構成されます。どのLeaf配下にどのNetworkに属するEndpointがいるのかを人が確認して構成を行う必要性はありません。VLANには紐付きませんがBDに紐付いたSVIだと思うとわかりやすいです。 pic.twitter.com/V8N0c41Qcs

拡大