400G/800G への移行：パート I

グローバルデータ使用量

もちろん、この変化の中心にあるのは、次のような、より高速なコミュニケーションを求める消費者の期待と需要を再構築するグローバルなトレンドです。

• ソーシャルメディア・トラフィックの爆発的な増加
• 大規模なスモールセルの高密度化によって可能になる 5G サービスの展開
• IoT と IIoT（産業用 IoT）の展開を加速する
• 従来のオフィスベースの作業からリモートオプションへの移行

ハイパースケールプロバイダーたちの成長

世界的には、真のハイパースケール・データセンターの数は 10 件もありませんが、データセンター全体の景観への影響は大きいと言えます。最近の調査によると、世界は 2020 年に、合計すると 12 億 5,000 万年をオンラインに費やしました。¹ そのトラフィックの約 53% がハイパースケール施設を通過しています。 ²

マルチテナント型データセンター（MTDC/コロケーション）施設とのハイパースケール・パートナーシップ

より低い遅延のパフォーマンスに対する需要が高まるにつれ、ハイパースケールおよびクラウドスケールのプロバイダーは、エンドユーザー/エンドデバイスの近くでその存在を拡大するよう努めています。多くの企業が MTDC やコロケーションデータセンターと提携して、いわゆるネットワークの「エッジ」にサービスを配置しています³。そのエッジが物理的に近接している場合、遅延とネットワークコストが減ることで、新しい低遅延型サービスの価値が拡大します。その結果、ハイパースケールのアリーナの成長は、MTDC とコロケーション施設は、ハイパースケール・データセンターに典型的なスケールとトラフィックの需要の増加に対応するために、インフラストラクチャーとアーキテクチャを適応させなければなりません。同時に、これらの最大規模のデータセンターは、クラウドプロバイダーのオンランプへのクロスコネクトに対する顧客の要求に柔軟に対応する必要があります。

スパイン・リーフとファブリック・メッシュネットワーク

低遅延、高可用性、超高帯域幅アプリケーションをサポートする必要性は、ハイパースケールやコロケーションデータセンターに限られたことではありません。今や、すべてのデータセンター施設は、エンドユーザーとステークホルダーの高まる要求に対応する能力を再考する必要があります。これに対応して、データセンター管理者は、ファイバー密度の高いメッシュ・ファブリックネットワークに急速に移行しています。あらゆる接続、ファイバー数の多いバックボーン・ケーブル、新しい接続オプションにより、ネットワーク事業者は400ギガビット/秒⁴ (G) への移行に備えながら、かつてないほど高速なレーン速度をサポートできます。

人工知能 (AI) と機械学習 (ML) を有効化する

さらに、IoT やスマートシティのアプリケーションが一部牽引する大規模なデータセンタープロバイダーは、エッジでほぼリアルタイムのコンピューティング機能を強化するデータモデルの作成と改良を支援するために、AI と ML に頼っています。新しいアプリケーションの世界（商業的に実行可能な自動運転車など）を可能にする可能性に加え、これらの技術には、データレイクと呼ばれる大規模なデータセット、データセンター内の大規模な計算能力、および必要に応じて改良されたモデルをエッジにプッシュするのに十分な大型パイプが必要です。⁵

データセンターの管理者の視線を水平線に落とすと、クラウドベースの進化の兆候は至る所にあります。

詳細
高性能仮想化サーバー

より高い
帯域幅と低遅延

より速い
スイッチからサーバーへの接続

より高い
アップリンク/バックボーン速度

迅速な
拡張機能

 
クラウド自身では、ハードウェアが変化しています。従来のデータセンターに典型的な複数の異なるネットワークは、プールされたハードウェアリソースとソフトウェア駆動の管理を使用する、より仮想化された環境へと進化しています。この仮想化により、アプリケーションのアクセスとアクティビティを可能な限り迅速にルーティングする必要性が高まっています。多くのネットワーク管理者が、クラウドファーストのアプリケーションをサポートするためにインフラストラクチャーをどのように設計するかを尋ねなければなりません。

その答えは、レーンあたりの速度を上げることから始まります。25 から 50、100G 以上への進歩は 400G やそれ以上への到達の鍵であり、従来の 1/10G 移行パスに取って代わるようになりました。しかし、レーンの速度を上げるだけでなく、もっと多くのことが必要です。私たちはもう少し深く掘り下げる必要があります。

データネットワークでは、容量はサーバー、スイッチ、接続間のチェックとバランスの問題です。データセット、AI、ML の増加によって生み出される需要を効率的に追跡するために、それぞれが他方を高速かつ安価に押し上げています。長年にわたり、主なボトルネックとなっていたのはスイッチ技術でした。Broadcom の StrataXGS® Tomahawk® の導入により3、データセンター管理者はスイッチングとルーティングの速度を 12.8 テラビット/秒（Tb/秒）にまで向上させ、ポートあたりのコストを 75 パーセントも削減できるようになりました。帯域幅が 4 Tb/秒 の Broadcom の Tomahawk 25 スイッチチップは、増大する AI や ML のワークロードの先を行く、より多くのスイッチング機能をデータセンター業界に提供します。現在、このチップは 64x 400G ポートをサポートしていますが、25.6Tb/s の容量では半導体技術は、将来的には 1 つのチップ上に 32x 800G ポートという可能性が見える道を切り開いています。偶然にも 32、1U スイッチ・フェースプレートで提示できる QSFP-DD または OSFP（800G トランシーバー）の最大数です。

そうすると、現在、限界となっている要因は CPU の処理能力です。そうですよね？いいえ、間違いです。今年初め、NVIDIA はサーバー用の新しい Ampere チップを発表しました。その結果、ゲームに使用されているこのプロセッサーが、AI や ML に必要なトレーニングや推論ベースの処理に最適であるということがわかりました。NVIDIA によると、1 台の Ampere ベースのコンピュータは、120 台の Intel 搭載サーバーの仕事をすることができます。

図 3：イーサネット速度

スイッチとサーバーは、これらが必要となる時までに 400G と 800G をサポートするようにスケジュール通りに動いているため、プレッシャーは、ネットワークのバランスを保つために物理レイヤーへとシフトしています。2017 年に承認された IEEE 802.3bs は、200G と 400G のイーサネットへの道を切り開きました。しかし、IEEE は 800G 以上に関する帯域幅の評価を完了たばかりです。IEEE は、400G を超えるアプリケーションの目標を特定する研究グループを既に起動しています。新しい規格の開発と採用に必要な時間を考えると、すでに遅れを取っている可能性があります。業界では現在、800G の導入に協力し、ビットあたりの電力とコストを向上させながら、1.6T やそれ以上の目標に向けて取り組みを始めています。

スイッチング速度は、10G、25GG、50G からのスイッチング ASIC 移動向けの電気 I/O を提供する、シリアライザー/非シリアライザー (SERDES) として増加しています。SERDES は、IEEE80202.3ck が認定規格になった後に、100G に達すると予想されます。スイッチのアプリケーション固有の集積回路 (ASIC) も、I/O ポート密度（別名、ラディックス）を増加させています。ラディックスがより高い ASIC では、より多くのネットワークデバイス接続をサポートするため、レイヤー Top-of-Rack (ToR) スイッチが排除される可能性があります。これにより、クラウドネットワークに必要なスイッチの総数が減少します。（ラディックス 512 を持つ、2 つのレベルのスイッチングで、100,000 台のサーバーを抱えるデータセンターをサポートできます。）ラディックスがより高い ASIC は、低 CAPEX（スイッチ数が少ない）、低 OPEX（電源供給に必要なエネルギー量が少なく、スイッチ数が少ない）、低遅延によって、ネットワーク性能が向上します。

図 4：ラディックスがより高いスイッチのスイッチ帯域幅への影響

ラディックスとスイッチング速度の増加と密接に関連するのは、Top-of-Rack（ToR）トポロジーから Middle-of-Row（MoR）または End-of-Row（EoR）構成への移行です。また、構内配線アプローチのメリットが発揮されるのは、in-Row サーバーと MoR/EoR スイッチとの間の多くの接続を容易にする時です。新しい、ラディックスの高いスイッチを使用できるようにするには、多数のサーバーアタッチメントをより効率的に管理できる機能が必要です。そのためには、IEEE802.3cm 規格で定義されているような新しい光モジュールと構内配線が必要です。IEEE802.3cm 規格は、1 つの QSFP-DD トランシーバーに 8 つのホストアタッチメントを定義することで、大規模なデータセンターの高速サーバーネットワークアプリケーションで使用するためのプラグ着脱可能なトランシーバーのメリットをサポートしています。

図 5：ToR から MoR/EoR へのアーキテクチャのシフト

QSFP28 フォームファクタの採用が、高密度化と低消費電力化を実現し、100G の採用を促進したのと同様に、400G と 800G への移行は、新しいトランシーバーフォームファクターによって実現されています。現在の SFP、SFP＋、または QSFP＋ 光学系は、200G リンク速度を十分に有効化できます。ただし、400G へと飛躍するには、トランシーバーの密度を 2 倍にする必要があります。大丈夫です。

QSFP-Double Density（QSFP-DD ⁷）および octal（2 回クワッド）小型フォームファクタプラグ着脱可能型（OSFP ⁸）マルチソースアグリーメント（MSA）により、ネットワークは ASIC への電気 I/O 接続の数を 2 倍にすることができます。これにより、I/O をより多く合計してより高い集約速度に到達できるだけでなく、ASIC I/O 接続の総数でネットワークに到達することも可能になります。

32 QSFP-DD ポートを備えた 1U スイッチのフォームファクタは、256（32x8）ASIC I/O と一致します。このようにして、スイッチ間（8*100または 800G）に高速リンクを構築することができますが、サーバー接続時に最大接続数を維持する能力も持つことができます。

変調方式

ネットワークエンジニアは、長い間、1G、10G、25Gの Non Return to Zero（NRZ）変調を利用し、ホスト側の前方誤り訂正（FEC）を使って長距離伝送を可能にしてきました。40G から 100G に移行するために、業界は単に 10G/25G NRZ 変調の並列化に目を向け、ホスト側の FEC も長距離に利用しました。200G/400G 以上の速度を実現するには、新しいソリューションが必要です。

図 7：より高速な変調方式は、50G および 100G の技術を可能にするために使用されている

その結果、光ネットワーキング・エンジニアは、超高帯域幅ネットワーク・アーキテクチャを実現するため、4 レベルのパルス振幅変調（PAM4）を採用しました。PAM4 は、400GPAM4 の現在のソリューションです。これは、IEEEIEEE802.3 に大きく基づいています。IEEE802.3 は、マルチモード（MM）およびシングルモード（SM）アプリケーションの両方で、最大 400G（802.3bs/cd/cu）のレートの新しいイーサネット規格を完成しています。大規模なデータセンターの多様なネットワークトポロジーに対応するために、さまざまなブレークアウト・オプションが用意されています。

変調方式がより複雑になると、より良いリターンロスと減衰を提供できるインフラストラクチャーが必要となります。

予測 – OSFP と QSFP-DD の比較

共同パッケージ型光学系（CPO）は、1.6T と 3.2T のもう一つの経路を提供します。しかし、CPO は、電力消費を削減しながら、速度を上げるために、光学系をスイッチ ASIC に近づけることができる新しいエコシステムを必要としています。このトラックは、Optical Internetworking Forum（OIF）で開発されています。OIF は現在、「次なる速度」に最も適した技術について議論しており、多くの人が 200G への倍増を主張しています。その他のオプションには、より多くのレーンがあります。おそらく 32 は、手頃なネットワークコストでネットワーク需要に対応するために、最終的にはより多くのレーンとより高いレーン・レートが必要になると考える人もいます。

この唯一の確かな予測は、ケーブル配線インフラストラクチャーには、将来のネットワークトポロジーとリンク要件をサポートする柔軟性が組み込まれている必要があるということです。天文学者は長い間「光子の一つ一つが大切だ」という信念を抱いてきている一方で、ネットワーク設計者はビット当たりのエネルギーを数 pJ/ビット⁹に減らそうとしていますが、あらゆるレベルでの維持が重要です。高性能ケーブルは、ネットワークのオーバーヘッドの削減に役立ちます。

MPO コネクタ

最近まで、データセンター内のスイッチとサーバーを接続する主な方法には、12 芯または 24 芯ファイバーに、通常は MPO コネクタを使用して整理された配線が含まれていました。octal 技術（スイッチポートあたり 8 つのスイッチレーン）の導入により、データセンターは増加している ASIC I/O（現在はスイッチASIC あたり 256）と光ポートを一致させることができます。これにより、サーバーやその他のデバイスを接続できる I/O の最大数が得られます。

光学 I/O は、使用する光学レーンの数に適したコネクタを使用します。400G トランシーバーは、400G 光学 I/O を備えた単一のデュプレックス LC コネクタを搭載することができ、また 8 芯ファイバーを必要とする 4 X 100G 光学 I/O を搭載することもできます。MPO12、あるいはおそらく 4 SN デュプレックスコネクタはトランシーバーケース内に収まり、このアプリケーションが必要とする 8 芯ファイバーを提供します。8 つの電気的および光学的 I/O に合わせるためには、スイッチ ASIC のラディックスを保持するために 16 本のファイバーが必要です。この光ポートは、リンクがサポートするように設計された距離に応じて、シングルモードまたはマルチモードのいずれかになります。

次に、光インターフェイスの出力能力は電気的なレーン・レートにより決定します。表 1 に、400G（50G X 8）モジュールの規格/可能性の例を示します。

表 1：50G の電気的レーンを備えた 400G 容量の QSFP-DD

レーン・レートを倍増して 100G にすると、以下の光インターフェイスが可能になります。執筆時点では、100G のレーン・レート基準（802.3 ck）はまだ完成していませんが、初期製品が既に発表されており、これらの多くは実際に出荷されている可能性も高いようです。J. Maki（Juniper）が ECOC 2020 で発表した表 2 には、800G モジュールに対する業界からの初期段階での関心の高さを示しています。

表 2：100G の電気レーンを備えた、800G 容量の QSFP-DD

デュプレックスコネクタ

コネクタの速度の限界は？

通常、コネクタが速度を決定するのではなく、経済的な理由によって決められます。光技術は当初、経済的な手段と帯域幅の需要を持ったサービスプロバイダーが自分たちの開発をサポートするために開発および展開されました。同時に、少ないファイバー数で最も経済的にブリッジされたロングホール（長距離）リンクも開発されました。今日、ほとんどのサービスプロバイダーは、LC や SC などのシングルファイバーコネクタ技術を使った光輸送プロトコルと組み合わせた、単芯またはデュプレックスコネクタ技術を好んでいます。

しかし、この長距離ソリューションは、数百または数千のリンクが存在したり、横断するリンクの距離が短かかったりすると高価になりすぎる可能性があります。いずれの場合も、データセンターで典型的なものです。したがって、データセンターでは多くの場合、パラレル光学系を導入します。パラレル・トランシーバーはギガビットあたりのコストが低いため、短い距離でMPO ベースの接続は優れたオプションとなります。したがって、現在行われ散るコネクタの選択は、速度ではなく、サポートできるデータ・レーンの数、占有するスペース、トランシーバーやスイッチ技術に対する価格の影響によって左右されています。

最終的な分析では、光トランシーバーと光コネクタの範囲が拡大し、さまざまなネットワーク設計によって推進されています。ハイパースケール・データセンターでは、高度にカスタマイズされた光学設計を実装することが選ばれる場合もあります。このような市場での動きの規模を考慮したとき、規格化団体や OEM は、新しい規格や市場機会を開発することで対応することもよくあります。その結果、投資や規模がこの業界を新たな方向へと導き、この新たな要件をサポートするために配線の設計が進化します。

その他の役立つ DC リソース

一見すると、貴社のために競合するインフラストラクチャー・パートナーたちは、かなり多数出てきているようです。貴社にファイバーと接続を販売したいと考えているプロバイダーが数多くあります。しかし、貴社ネットワークを長期的に成功させるために何が重要かをよく見て考え始めると、その選択肢は狭まり始めます。ネットワークの進化を促進するには、ファイバーや接続性以上のものが必要だからです。これがコムスコープが必要とされる所以です。