IIJ Technical WEEK 2012 Day2 #iij_tw2012

堂前@IIJ @IIJ_doumae

IIJ Technical WEEK 2012 二日目です。今日はネットワーク系の話題で、私この方面あんまり得意ではないんですが、頑張ってつぶやいていこうと思います。 #iij_tw2012 http://t.co/p3V6q3dq http://t.co/8HhaTSJ9

拡大

まつもとりー / Ryosuke Matsumoto @matsumotory

今日のIIJ Technical Weekは、「100ギガビットイーサネットについて」「フロー集約によるトラフィック計測」「SMFによる運用の効率化と今後の展望」「MVNOによるOCSの実装」「World IPv6 Launchを終えて」ですね。楽しみ #iij_tw2012

堂前@IIJ @IIJ_doumae

二日目最初のセッションは、ネットワークサービス部の大内から、100ギガビットイーサネット(100GbE)について。IIJでは100GbEを実用環境に投入しており、そこで得られた知見をご紹介します。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

なぜ100GbEを使うか。IIJでは従来10Gbpsを超えるトラフィックがある場合、10GbEを複数本束ねて利用してきた。束ねる本数が一桁だとなんとかなるが、10本とか20本になってくると運用が難しくなる。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

リンク数が増えることによる問題。ユーザのトラフィックがどのリンクを通っているかわからない。リンク間のバランスの偏り。100GbEを使うことでシンプルな構成になる。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

1本(波長)で100Gbpsやりとりできればいいが、技術的には可能でもコストの面で難しい。複数のレーンで並列伝送することで100Gbpsの伝送を実現している。使用するレーン数や物理線によって様々な規格がある。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

100GbEの規格の説明。ネットワークインターフェースボード上に実装される部分と、光トランシーバー(CFP)で実装されている部分がある。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

フレームを64bitに分割して20レーンに並列に並べる。それをボード上、光トランシーバー上で実際に伝送するメディアのレーン数に変換する。レーンの多重/分離。送信側と受信側で異なるレーンに届くこともある。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

レーンの対応関係を確認するために、16383ブロックごとにアラインメントマーカ(AM)を全レーン一斉に送信して確認する。AMにはそれ以外にも同期をとったりビットエラーの検出をしたり。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

100GbEではビットエラーの検出をBIP(Bit Interleaved Parity)という仕組みで行う。従来SONETなどで実現されていたことがEthernet系では100GbEで初めて実現された。 #iij_tw2012 http://t.co/p3V6q3dq

まつもとりー / Ryosuke Matsumoto @matsumotory

100GbEのOSI参照モデルでいう物理層、RSやPCS、レーン変換等の仕組みの解説だが、これ知識ないとカオスだな… #iij_tw2012

堂前@IIJ @IIJ_doumae

光トランシーバの構造について。インタフェースモジュールボードから受け取った信号をどのようにファイバに乗せてゆくのか変換様子をブロックズ図説明してます。(詳細は後日公開の資料をご覧ください) #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

100GbE光トランシーバの物理的形状はIEEEでは規定されていない。業界団体で詳細を規定している。CFP、10x10 MSA、CXP、QSFP+など、それぞれ別のところで規定されている。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

10x10 MSAはIEEE非準拠。使える機器が限られているので注意。CXP、QSFP+はinfiniband系から発展してきている規格。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

IIJでの導入事例。従来10GbE*nで実現していたJPNAP-IIJ間の接続の一部を100GbEで置き換えた。2012/08/06から。詳細な構成はお話できませんが… #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

100GbE運用の問題点。100GbE対応のためにはルータも最新ファームが必要。最新ファームは安定していない、利用者が少ないのでバグが出きっていない。みなさんも導入してバグを出していきましょう。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

機器間のエラーの切り分け。BIPカウンターで切り分けられる。データが流れていなくてもからデータが流れているので、それでわかる。ただし機器によってBIPカウンターの参照が対応していない。隠しコマンドの場合も。 #iij_tw2012 http://t.co/p3V6q3dq

まつもとりー / Ryosuke Matsumoto @matsumotory

JPNAPとIIJ間では一部を100GbE接続を今年の8月から開始してるらしい #iij_tw2012 #iij_tw2012

堂前@IIJ @IIJ_doumae

CRCで検出できないエラーでもBIPで検出できると期待。SNMPでBIPがとれる実装がないので、実装してくれるようにメーカーに働きかけてゆきたい。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

100GBASE-LR4の問題。Ethernet系で初めてCWDMが導入された。CWDMなので光がとても強い。経験的に+6dBm程度で出ていることが多い。10GbEなどで使っているパワーメーターでは計測できない。 #iij_tw2012 http://t.co/p3V6q3dq

堂前@IIJ @IIJ_doumae

+25dBmまではかれるメーターがあるのでそれを使う。CWDMの波長ごとの強さをはかるためにはスペクトルアナライザを使う。受信側の機器に計測できる機能がある場合、それを使うこともできる。 #iij_tw2012 http://t.co/p3V6q3dq