IIJ Technical WEEK 2015 Day1 アーキテクチャ #iij_tw2015

堂前@IIJ @IIJ_doumae

一方複数のゾーンにリソースを分散させたい要望もある。特定テナントのリソースを同一の場所に配置することに制約されると「売り切れ」が発生しやすくなる。これを回避するには離れた場所にも配置したい。 /動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

しかしL2ネットワークの拡張には限度がある。ではL3で拡張するのは？スケーラビリティは良好になる。しかし、リソースに割り当てられたIPアドレスに縛りが出てしまう。リソースの移動が困難。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

リソースが逼迫してきたから、負荷が偏っているから、という理由でVMを移動させるようなことが困難になる。運用がやりにくい。お客様の環境との相互接続にも影響が出る。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

物理サーバが1000台程度なら従来技術を使って広いL2面を作れば良い。これが一番安定する。しかしスケーラビリティーを求めるためにはNG。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

別の考え方。アドレス管理に制約を設ける。常にDHCPで割り当てて、アドレスを固定しない。インターネットとはNATでの接続を強制する。ポータビリティは上がるが、アプリ開発に製薬が出る。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

結局ネットワークの仮想化が必須になる。数万台規模のクラウドを構築する場合は、これしか選択肢がない。ただし、すべてのネットワークを仮想化する必要はない。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

IIJにとっての仮想ネットワークのメリット。コンテナDCとの組み合わせ。IIJはコンテナDCを開発してクラウドで使用している。コンテナDCを使うことで、経済的にインフラを構築できる。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

コンテナのデメリット。コンテナのサイズの制約がありL2面を広くとれない。コンテナ間をL2で延伸するのは現実的には難しく、L3で接続することになる。これを仮想ネットワークで解決する。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

具体的な技術については白崎から。P2でお客様のVMに接続されているネットワーク。初期状態でグローバル・標準プライベートの2つが接続されている。加えて最大5つのプライベートネットワークを接続可能。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

プライベートネットワークについて。理想的なネットワークとは？。お客様が必要なだけ作れる。お客様が自由にIPアドレスを設定できる。接続トポロジが自由に構成できる。物理ネットワークに制約されない。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

クラウドではどのHVにVMが配置されるかわからない。たまたま配置された位置によって、L2で接続が出来ないというような制約を受けるのはナンセンス。 /動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

シンプルな構成。一つのL2をVLANで分割する。VLAN数の上限、MACアドレス学習の上限があり、スケール市しない。 /動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

P2ではL3ネットワークの上にオーバーレイでL2ネットワークを構成している。VXLANの下にVLANでネットワークを作っている。コンテナの中はVLANで、コンテナ間をVXLANで構成。 /動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

新規プライベートネットワークを作成するとVXLANのIDが割り当てられる。VMが作成された段階で、オーケストレータが配置HVを割り当て、コンテナ内で使うVLAN IDが割り当てられる。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

複数のVMが同じコンテナ内に配置される場合は、同一VLANが割り当てられる。違うコンテナに配置された場合は、SDNコントローラに命令が飛び、VLANのデータをVXLANに飛ばすような設定が入る。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

hakase109 @hakase109

IIJ Technical WEEK 2015 の中継ストリーミング聞いてる．苦労話からの知見は面白い．bit.ly/1MngW9i #iij_tw2015

堂前@IIJ @IIJ_doumae

VLANからVXLANへの書き換えはOpenFlowを使っている。なぜVXLANを使うのに、VLANも使うのか。VXLANのビルトイン型で構成した場合VMの増減に伴う負荷がとても高い。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

VLANの制約は？コンテナで使う場合は物理サーバが300台〜400台程度、この程度であればVLANの壁は問題にならない。ブロードキャストの問題はある。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

「オーバーレイは高くつく」のでは？フラグメント化されるのでは？フラグメント対策のため下位層でジャンボフレーム対応スイッチ使用。VMの配置を工夫素売ることでなるべく外にarpが流れないように。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

ブロードキャストのarpはユニキャストのarpにOpenFlowで書き換えることでブロードキャスをと減らせる。今はまだ導入していないが、今後導入できるように準備中。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

XVLANのTEPサーバの能力に上限があるのでは？顧客ごとのVLANを吸い込むTEPを増やしてスケールアウトすることが可能。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

レガシーネットワークとSDNを接続する場合の注意点。冗長化されたTEPサーバで障害があった場合にMACの学習の問題。TEPサーバ間でMACを同期させるようにする。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

堂前@IIJ @IIJ_doumae

以上で最初のセッションを終わります。次のセッションは14:45から再開予定です。/動画配信中→ bit.ly/iij_tw2015_live #iij_tw2015

'or/**/1=1#' @waiha8

ぼんやりした話しだった。アーキテクチャだからか… #iij_tw2015