Aurora Networks® (ANS) と RUCKUS® Networks が Vistance Networksとなりました
400G/800G への移行:パート II
これまでのところ、400Gへの移行とそれ以降の移行に関する議論では、多くの分野をカバーしてきました。第I部では、最終的には高速機能を採用するようデータセンターに圧力をかける市場と技術の推進要因について概説しました。トランシーバー・フォーマット、変調方式、高速ASICを搭載した高ラジックス・スイッチの進歩について触れました。次に、オクタルモジュールからポートレベルに追加の帯域幅を割り当てるためのコネクタオプションがあります。コネクターには、従来の 8、12、16、24 ファイバー・マルチプッシュオン(MPO)コネクターのほか、新しいデュプレックス LC、SN、MDC、CS コネクターが含まれます。
でも、その話の半分しか言わない。400G 光モジュールおよびコネクターの開発は順調に進んでいますが、データセンター管理者は通常、運用上および財務上、理にかなったインフラ配線戦略を定義するのに苦労しています。彼らはそれを間違える余裕がない。ケーブル接続と接続性という物理レイヤーは、ネットワーク内のすべてのものをまとめた接着剤です。構内配線インフラを設置したら、交換はリスクを伴い、高価になる可能性があります。それを正しく行うことは、主に、急速に進化している規格に細心の注意を払うことにかかっています。
今日のハイステークの急激なデータセンター環境で将来に備えたインフラを開発することは、高速道路を飛んでいる間にタイヤを変えようとするようなものだと言えます。計画、精度、そして先にあるものについてのわずかな洞察が必要です。第II部では、成長のための十分なヘッドルームを提供する標準ベースのインフラストラクチャを構築するために必要な情報と将来を見据えたビジョンを提供します。さあ、始めましょう。
オフラインで読みますか?
後でお読みいただけるよう、この記事の PDF 版をダウンロードしてください。
最新情報を常に入手
エンタープライズソースを購読すると、新しい記事が投稿されたときに最新情報を受け取ることができます。
データセンターに必要な帯域幅を増やすために、ネットワーク設計者には2つのオプションがあります。ネットワーク速度をスケールアップするか、データ配信に使用するパス(レーン)の数をスケールアップします。図1は、速度(光学系)のスケーリングとレーン数(スイッチ)のスケーリングのオプションを示しています。
ネットワーク速度が上がるにつれて、コストと電力の観点から、速度のスケーリングは困難で高価になり、実装が遅くなる可能性があります。他のトレードオフもある。では、どこにリソースを集中させるべきか。400Gおよび800Gアプリケーションをサポートするには、データセンターのスケールアップとスケールアウトが必要になるため、これは難しい問題です。これを容易にするいくつかの重要な開発が起こっています。
2019 年以来、IEEE 802.3 タスクフォースは 100G レーンの IEEE P802.3ck 規格に取り組んでいます。2022で標準を終えるといいな。200G-per-lane標準は、2025までに準備が整うと想定。
図 2:現在の IEEE P802.3ck のタイムライン 2020年8月
多くのデータセンター管理者は、IEEE P802.3ck のタイムラインが業界を遅れさせていると感じています。そのため、他の選択肢も検討されています。1つのオプション(より多くのレーン〔スケールアウト〕を展開)が、すでに400Gに到達するために使用されています。800G は 100G 電気規格を付属しており、初期のプリスタンダード製品は 2021 年に出荷されます。1.6Tに達するには、データセンターは200Gレーンまで拡張することも、16レーンまで拡張することもできます。最終的には1.6Tへ移行する。
次の速度プラトーに到達しようとする際の根本的な課題は、ファイバーの量を増やすか、ファイバーあたりの信号伝送波長の数を増やすために多重化を使用するかを決定することです。また、これは難しい質問です。
400G, 800G、およびより高いスループット速度の要求を満たすには、一般的に、より高密度なファイバーネットワーク上に展開される波長分割多重方式(WDM)の組み合わせが必要になります。波長の追加は、ファイバーの追加よりも簡単です。しかし、ファイバーが少なすぎると、より安価なパラレルソリューションがより良い選択となるWDMテクノロジーにより多くのお金を払うことを余儀なくされる可能性があります。現在のテクノロジーロードマップを考慮すると、16 ファイバーインフラストラクチャはますます普及しています。
トレードオフ(物理ファイバーと仮想波長)はアプリケーションに基づいており、主な影響要因は移行コストです。資本コストと運用コストは、必要な物理ファイバー・インフラの実装コストと比較されます。電気速度が遅く、上昇しにくいため、より多くのレーン/ファイバー/波長が必要になる可能性があります。
図3に示すように、高速車線への移行には特定のコスト関連の問題がありますが、高速化の相対コストは実際には減少する可能性があります。
図 3:光レーン速度に対する Gbps あたりのコスト
WDM は、異なる波長の光を使用して同じファイバー上に複数のデータパスを作成する一般的なデータセンターアプローチです。2つの一般的なシングルモードWDMテクノロジーは、粗波長分割多重方式(CWDM)と高密度波長分割多重方式(DWDM)です。CWDM は、より少ないチャネルと短距離アプリケーション向けに最適化されており、低コストの WDM オプションとなっています。DWDM は、1 本のファイバーでできるだけ多くの容量を実現するように最適化されており、主に長距離ネットワークで高価で有用です。
イーサネットCWDM技術の例としては、CLR4, CWDM4、FR4などがあります。“4”が示唆するように、これらの技術は4つの波長を使用し、それぞれがデータチャネル(1270nm、1290nm、1310m、1330nm)を伝送します。これにより、データセンター事業者は、デュプレックス光ファイバー接続でより高いスループットをサポートできます。
WDMオプションは、より多くの波長を提供することができます(例えば、FR8は8つの波長を使用します)。追加機能には、より高価な光学モジュールが必要ですが、より長距離のアプリケーションは、コストの増加を正当化する可能性があります。
WDMが容量不足に対処する上でより大きな役割を果たすことが期待される主な分野は2つあります。1つ目は、データセンターに入る相互接続です。5G、IoT、マシンツーマシン(M2M)学習などの現在および新しいアプリケーションは、データセンターと外部ネットワーク間の高速接続の必要性を高めています。WDM は、既存のファイバー資産を使用しながら、ファイバーあたりの容量を拡大し、容量と速度の需要の増加に対応できるように使用されています。
WDMがより顕著な役割を果たすことが期待される2番目の領域は、ネットワークスイッチ間の接続性を高めることです。データセンターが従来の3層トポロジからメッシュタイプのリーフ&スパイン設計に移行するにつれ、サーバーポート密度が重要になります。高速ファイバースイッチ接続は、より多くのサーバートラフィックをサポートする一方で、サーバー接続用のより多くのポートを節約します。WDMは、より多くのファイバーインフラストラクチャを追加することなく既存のデュプレックスファイバーネットワークの容量を増やします。これにより、時間とコストを節約できる可能性があります。グリーンフィールド設置では、パラレルファイバーオプションがさらにコスト効率が良くなる場合があります。
マルチモード・ファイバーは、3 つ目の WDM ベースのテクノロジーもサポートしています。短波長分割多重方式(SWDM)で、30 nm間隔の短波長(850 nm、880 nm、910 nm、940 nm)を利用します。データセンターでは、短距離アプリケーションにおける容量と費用対効果のために、SWDMが特に魅力的です。MMF で実行される SWDM は、双方向 (BiDi) デュプレックス伝送パスで WDM の 2 倍の速度を提供します。
この拡張機能により、データセンター管理者は、デュプレックスアーキテクチャーの魅力的なアップグレードパスを得ることができ、長距離にわたってより高速な速度を実現できます。パラレル・ファイバーを使用したマルチモードは、400G で 100 m に達しました。IEEE 802.3ck および 802.3db が完成に近づいているため、この速度は 800G に増加します。このパスは OM5 ワイドバンド MMF (WBMMF) ケーブル配線で最適化されており、マルチモードの WDM を優れたサポートを提供します。
この機能の詳細については、OM5 ファイバーに関する記事をご覧ください。
図 4:イーサネットSMFオプティクスの年次ポート出荷 2020
図 5:WBMMFは4つの波長を同時に伝送
従来、コア・ネットワーク・ケーブルには 24、72、144、5 本の288ファイバーが含まれていました。これらのレベルでは、データセンターはバックボーンとスイッチまたはサーバーの間で個別のファイバーを管理可能に実行し、ケーブルアセンブリを使用してそれらを分割して効率的に設置することができます。今日、ファイバーケーブルは最大20倍のファイバーストランドで展開されており、ケーブルあたり最大6,912本のファイバーが展開されています。増加の大部分は、ファイバー密度の高いメッシュファブリックネットワークへの切り替えによって引き起こされます。また、サーバーとスイッチ間の任意接続により、高密度および超高密度のパッチパネルの開発が進み、小型のフォームファクターコネクターとモジュールが必要になります。
では、より高いファイバー数ケーブルはどこに配備されているのでしょうか?1 つの領域はデータセンター相互接続 (DCI) で、外部プラントケーブル (ファイバー数も増加) がデータセンターに侵入します。3,000 本以上のファイバーを使用した DCI トランク・ケーブル配線は、2 つのハイパースケール施設を接続するのに一般的であり、事業者は近い将来、その設計容量を 2 倍にすることを計画しています。
また、コアスイッチとミートミールーム間のバックボーントランクケーブルがキャビネット列のスパインスイッチに接続する場合にも、高カウントファイバーが使用されています。ファイバー数の増加は必要ですが、大きな課題が2つあります。1つ目は、それを最も速く、最も効率的な方法で展開する方法です。これには、スプールを物理的に配置し、スプールを離して、ポイント間やパスウェイを通してスプールを実行します。インストール後、2 つ目の課題は、スイッチとサーバーラックで管理することです。詳細:データセンターでの高いファイバー芯数に適応.
図 6:ファイバー数の多いケーブル配線の例
図 7:ロール可能なリボンファイバー
データセンターや大規模なエンタープライズネットワークにおける現在のトレンドは、東西トラフィック(多くの場合、南北トラフィックの10X)を最適化するファイバー密度の高いメッシュアーキテクチャに向けられています。スパインリーフの向きはそのままですが、ネットワークレイヤーは少なく、サーバー接続速度の向上も視野に入れています。接続の最大容量は、サーバーが接続されているエッジにあります。サーバーはオーバーヘッドを表します。したがって、スイッチの数が少なくなるほど(そしてレイテンシが小さくなるほど)、より良くなります。
現在、ほとんどのスパインリーフネットワークには複数の層があります。データセンターのサイズ(接続するサーバー数)によって、ネットワークスイッチング層の数と、スイッチに接続するリーフスイッチの最大数も決まります。多くの場合、最も低いティアはサーバーラック(ToR)の上部にあります。この設計は、低速サーバのアタッチメントが少ないレガシーの小型(低半径)スイッチに最適です。ToRスイッチは、ラック内のサーバー数とほぼ一致します。ラック内のすべてのリンクで、サーバーとToRスイッチ間の短い低コスト接続は、多くの場合、低コストの銅線接続ケーブル(DAC)を使用します。
より高いラディックススイッチに移行するということは、同じ32ポートスイッチを使用しているにもかかわらず、サーバーを接続するために利用できるレーンが2倍(スイッチポートあたり8つ)あることを意味します。これは興味深い機会を提供します。より高いラディックススイッチでは、複数のToRリーフスイッチを1つのティア1リーフスイッチに置き換える設計に移行できるようになりました。この単一のスイッチは、約4つのキャビネットのサーバをサポートできるようになりました。構造化配線は、列末(EoR)または列中(MoR)のいずれかのサーバーリーフスイッチの数を減らして接続します。ToRスイッチの排除は、ホップの削減、アプリケーションのレイテンシーの低減、より安価で効率的な設計を意味します。
図 8:より高いラディックススイッチにより、EoR/MoR設計の効率化を実現
このアプリケーションに最適なソリューションでは、光モジュールあたり8つの接続でラディックスを維持する必要があります。低コストの MM オプティクスと、100 m の OM4 ケーブルで 8 つの 50 Gb サーバー接続に対応する新しい 400GSR8 アプリケーションを使用することで、このオプションのコスト削減が実現します。今後、802.3db規格の開発では、同じMMFインフラストラクチャでレーン速度を100Gbに倍増させることを目標としています1。これは、高密度のAI/MLポッドに最適です。これは、サーバーネットワーク速度を大幅に向上させる必要がありますが、よりコストのかかるSMオプティクスを必要とするより長いネットワークリンクは必要ありません。
OM4 が 2009 年に発売されたとき、OM3 は市場が好むファイバータイプでしたが、新しい OM4 技術を採用する意思のある人はごくわずかでした。イーサネット技術の進歩により、OM3の到達距離が70メートルにまで縮まらなかったのです。 OM4今日、OM4 はファイバー・タイプとして好まれていますが、イーサネット技術は再び進化しており、OM5 へと成長しています。
OM5 ファイバーは、OM3 および OM4 よりも 2 つの主な利点があります。まず、その減衰(3 dB/km)はOM3およびOM4(3.5 dB/km)よりも低くなっています。第二に、OM3とOM4の有効なモーダル帯域幅(EMB)仕様は850nmに制限されていますが、OM5のEMBは850nmから953nmに拡張されています。拡張 EMB ウィンドウにより、OM5 は SWDM に理想的です。SWDM は、1 つのファイバー上で複数の波長で複数のデータ・ストリームを送信します。また、OM5 は 400GBase-SR4.2 の重要なイネーブラーであり、最大 150 m の拡張範囲を可能にするため、400G 移行戦略の重要な部分でもあります。
OM5とその利点を活用するために使用される光学系の詳細については、エンタープライズソースのMMFの章をご覧ください。
図 9:MMFクラスの進化
参考資料:MMF、ファクトファイル、コムスコープ、 2021
シングルモードおよびマルチモードのインフラストラクチャは、データセンターのさまざまなアプリケーションを補完します。最適なアプリケーションの組み合わせを見つけることで、光リンクのコストを最適化できます。しかし、各メディアのコストと能力が高まっているため、それを正しく行うことは困難です。この決定を行う際に考慮すべき要素を見てみましょう。
リンク距離
データセンターでは、一般的に、比較的短い距離で多数のネットワークリンクが必要です。\"短い\" と言うと、一般的に 100 m 未満を意味します。対照的に、ほとんどの大規模データセンターでは、中程度のリーチは通常 500 m と定義されます。キャンパスや非常に大規模なデータセンターで見られるような長距離距離は、通常2km以上です。
シングルモードは、長距離機能と無制限の帯域幅を約束し、ハイパースケールデータセンターで一般的に使用されています。具体的には、メトロ/ワイドエリアネットワークからDCIリンクを終端するために入口施設で使用されます。実際、多くの長距離高速オプションはシングルモードでしか利用できません。
図 10:マルチモードとSMFの解剖学
参考資料:MMF、ファクトファイル、コムスコープ、 2021
リンクの量
データセンターのリンクボリュームに関する議論は、ネットワークで最も多数の要素であるユビキタスサーバーから始めなければなりません。現在の構成では、サーバーは100G以上で接続されています。これらのアタッチメントのファイバー使用事例には、低コストのマルチモード VCSEL ベースのオプティックスが含まれ、リンクの両端に実装する必要があります。中規模のデータセンターでもサーバー数が膨大であることを考えると、必要なオプティックポートの総数により、このアプリケーションは非常にコストに敏感になります。
しかし、ネットワーク層が上位になると、スイッチのラディックスやその他のアーキテクチャ上の考慮事項に基づいて、ファイバーの数は急速に減少します。さらに、距離はしばしばマルチモードに課される100mの短距離距離制限を超え、シングルモード技術が唯一の実行可能な選択肢となります。
幸いなことに、プラガブル・シングルモード・オプティクスの価格は低下し続けています。その結果、100Gイーサネットはデータセンターのスイッチポート市場においてより多くのシェアを獲得しています。しかし、伝送タイプに関する会話は、プラガブル光学系のコストをはるかに超えている必要があります。また、総チャネルコストの分析、データセンターの予想される成長とその移行ロードマップも含める必要があります。決定を下す前に、以下の問題を考慮してください。
ネットワークトポロジー: データセンターによっては、サーバーが100,000台以上あるものもあれば、数台しかないものもあります。ネットワーク機器の集中配置を使用する人もいれば、データセンター全体にネットワーク機器を分散する人もいます。これらの設計要件と選択肢によって、ネットワークリンクの数とネットワークリンクがサポートしなければならない距離が決まります。
チャネルコスト合計: ファイバー・タイプ間のリンク・コストの比較には、トランシーバー、トランク、パッチ・コードなどのリンク全体のコストの評価が含まれます。さまざまなネットワークリンクタイプの相対コストを比較するために、さまざまな原価計算モデルが開発されています。例えば、100G CWDM4 と 100G PSM4 のどちらを選択する場合、平均リンク長が長いほどデュプレックス・オプションが優先される傾向があります。ただし、ブラウンフィールド設置ではPSM4 リンクをサポートするのに十分なファイバーが利用できない場合があります。
その他の考慮事項:設置とメンテナンスの違いは、MMFの使用に有利です。主な考慮事項には、以下が含まれます。
- ほこり/汚れに対する感度:ファイバーコアが大きいほど、コンタミネーションの影響を受けにくくなります。これは、大量のサーバー接続において重要です。
- リンク速度:MMFは現在、波長あたり100Gの最大速度で動作しています。
- インフラストラクチャのライフサイクルと安定性 - データセンターが容量を増やすには、どのくらいの速さが必要ですか?
図 11:SR4, 2X TRxトランク、2X 3 mコードと比較した100Gリンクコスト
データセンターの容量は物理的な光ファイバーケーブル上に構築されており、可能な限り多くのデータ信号を保存することでデータ伝送の速度と効率を向上させるために、常に新しい光に適応する必要があります。ファイバー配線と接続は、ある程度の信号(物理法則)を失いますが、その性能は向上し続けています。今日、超低損失(ULL)コンポーネントは業界標準の制限を超えるように設計されており、終端処理済みケーブル配線システムを使用した光学アプリケーションの進化をサポートします。“超低損失”とはどういう意味ですか?
これは、終端処理済みシステムが超低損失性能を持つという一般的な主張です。しかし、ULL規格がないと、パフォーマンスをどのように比較できますか?言い換えれば、ULLのパフォーマンスにお金を払っているとしたら、お金の価値があることをどうやって知るのでしょうか?
イーサネットおよびファイバー・チャネル・アプリケーションの帯域幅の進化により、過去数年でチャネル損失バジェットとチャネル長が大幅に削減されました。表 1 は、ケーブル配線チャネルの挿入損失 (IL) 要件が、マルチモードとシングルモードの両方のチャネルでより厳しくなっていることを示しています。従来、終端処理済み MPO トランクおよび MPO/LC カセットの光性能パラメータは、カセットの挿入損失 (IL) およびリターン損失 (RL) の dB 単位 (トランクコネクタを含む) で表されます。現在、市場で最高のパフォーマンスを誇るシステムは、0,35 dB の IL パフォーマンスを主張しています。
表 1:マルチモードおよびシングルモード・チャネルの挿入損失要件
これらの性能数値は、国際規格で指定されたケーブル減衰を使用した100GBase-SR4アプリケーション用に設計された図12に示す構成に基づいています。
図 12:100GBase-SR4 アプリケーションのチャネル構成の標準減衰
上記の例は4カセット構成に基づいていますが、チャネルに4個以上のカセットが必要な場合はどうなりますか?原則として、チャネル内のコネクタが多いほど、チャネルのリターンロスは低くなります。上記の場合、光トランシーバが正しく機能するには、RL が 12 dB を超える必要があります。ISO/IEC 11801-1 ed.3で規定されている接続ごとのRLに基づき、各接続の最小RLは20 dBでなければなりません。終端処理済みシステムのすべてのカセットには、2 つの接続部 (リアとフロント) があります。図12のチャネル構成とISO/IEC 11801-1 ed.3のRL要件を使用すると、3番目のカセットの後にチャネルのRLが20 dBのRLしきい値未満に低下します。これは図13に見ることができます。
これらの観察結果は、アプリケーションの機能を確保するために、光学性能の考慮事項にILとRLの両方を含める必要があることを示しています。コムスコープの SYSTIMAX® ULL ソリューションはさらに進化します。
- 6つのカセットチャネルによる設計の最大限の柔軟性
- 6 カセット未満の拡張チャネル長
- 設計とテストのサポートのためのツール
- アプリケーション保証
図 13:Xカセット数のRL合計
SYSTIMAX ULL ソリューションは、優れた光学性能と統計的なアプローチを組み合わせ、Il と RL の両方で真の超低損失性能を保証します。
コムスコープのファイバー性能計算機は、ケーブル配線チャネルの設計や、リンクの最大長を含むアプリケーションの機能の検証に使用できます。
以下の構成は、6 つのカセットが連続している場合でも、チャネル長が標準アプリケーション長を超えていることを示しています (マークされたアプリケーションを参照)。
コムスコープは、サポートされる多くの光学アプリケーションに対する保証により、当社製品の性能を支えています。SYSTIMAX ファイバーパフォーマンス計算ツールの設計ツールとアプリケーションサポートガイドラインは、SYSTIMAX アプリケーション保証に固有のものです。
コムスコープの 25-Year製品およびアプリケーション延長保証 (システム保証) の条件に基づき、SYSTIMAX システム仕様には、指定されたケーブル配線および光学アプリケーションが SYSTIMAX 性能仕様に従って、そこに記載されている性能仕様を満たすことを保証するアプリケーション保証が含まれています。
システム保証および SYSTIMAX 仕様には、システム保証および SYSTIMAX アプリケーション保証の契約条件の詳細が記載されています。現在公開されている25-Yearの延長製品およびアプリケーション保証は、こちらで入手できます。
現在の SYSTIMAX システム仕様およびアプリケーション保証は、SYSTIMAX アプリケーション保証でご覧いただけます。
その他のリソース
地域のデータセンタークラスターに対する現在のトレンドは、大容量、低コストのDCIリンクの必要性を牽引しています。新しい IEEE 規格(以下の規格セクションを参照)は、ポイント・ツー・ポイント展開による低コストのプラグ・アンド・プレイ・オプションへの道を開きますが、データセンター事業者は、コヒーレント対直接検出、変調方式、および増加するファイバー数の管理方法について、意思決定が困難です。
今後の記事で、このテーマに関する詳細情報をご覧ください。
400G/800G以上を実現する4つの柱を結合
ポート密度、トランシーバー、コネクター、ケーブル配線というデータセンターインフラストラクチャの4つの柱は、400G以上のサポートに必要なコアコンポーネントを論理的に表示する方法を提供します。各柱には、多数の選択肢があります。ネットワーク事業者にとっての課題は、個々の選択肢の長所と短所を理解することと同時に、4つの柱間の相互関係を認識できることです。ケーブル配線の変更は、トランシーバ、ポート構成、およびコネクタの適切な選択に影響する可能性が最も高いです。未来のネットワークを設計し、管理している人々は、マイクロとマクロに同時に住まなければなりません。以下は、これがどこで行われているかの例です。
グリーンフィールド・プロジェクトでは、ネットワークと施設の設計者は、1日目から400G, 800Gさらには1.6Tで地上に着くことができる高速インフラストラクチャを作成するという贅沢さ(および課題)を持っています。では、具体的に何が必要でしょうか。以下は、より高速なインフラストラクチャをゼロから設計する際に考慮すべきトレンドと洞察です。
ポート密度: リーフ・スパイン・スイッチ・アプリケーションの場合、市場はスイッチあたりの最大ラディックス(ポート数)を優先します。最も効率的な設計を実現するために、ネットワークはスイッチファブリックの階層数を最小限に抑えます(平ら)。新しいASICはより多くのI/Oをサポートしますが、速度が増加するにつれて、レーンレートとラディックスの間にトレードオフがあります。しかし、Radix は、特定のサイズのネットワークでスイッチの数を減らす鍵となります。図14に示すように、一般的なハイパースケールデータセンターには約100,000台のサーバーがあります。このサイズのネットワークは、2層のネットワークスイッチのみでサポートできます。これは、部分的には、高速に進化するASICとモジュールによって、より高いラディックススイッチとより高い容量のネットワークが可能になるためです。
図 14:ラディックスが高いほど、スイッチの数を減らすことができます
トランシーバー技術: パート I で説明したように、400G の 2 つの主要なフォームファクターは QSFP-DD と OSFP です。どちらも 1 ラックユニット (1RU) スイッチで最大 32 ポートをサポートし、LC、MPO、SN (OSPF)、CS コネクタに対応します。主な違いは、QSFP-DD が QSFP+ および QSFP28 と後方互換性があるのに対し、OSFP は後方互換性のためにアダプターを必要とすることです。800G 用に設計された OSFP トランシーバーも、より長い保存寿命を持つ可能性があります。スイッチ・ラディックスを維持するためには、各ASIC I/Oをトランシーバを介して個々の光ポートにマッピングする必要があります。ケーブル・インフラは、これらの光ポートをサーバー・リンクにマッピングする必要があります。
ケーブル配線とアーキテクチャ: ケーブル経路は、特にバックボーンネットワークとデータセンター相互接続において、非常に高いファイバー数ケーブルを考慮する必要があります。200 ミクロンやロール可能なリボンファイバーなど、設置面積の少ない新しいケーブル設計を活用することで、ケーブル配線や曲げ半径の問題を最小限に抑えることができます。規模にかかわらず、グリーンフィールドデータセンターはクラウドアーキテクチャに備える必要があります。これには、リーフスパインアーキテクチャを使用したサーバー間通信のための最適化された直接パスが含まれます。この設計により、データセンター内の物理的な場所に関係なく、あらゆるコンピューティングとストレージデバイスのアプリケーションが予測可能でスケーラブルな方法で連携できます。このファブリックには固有の冗長性があります。複数のスイッチングリソースがデータセンター全体に分散されているため、アプリケーションの可用性が向上します。ファブリックの総帯域幅は、エッジポートの数にエッジポートの速度を掛けるか、またはスパインポートの数にスパインポートの速度を掛けることで計算できます。オーバーサブスクリプションがない場合、この2つの数字は同じになります。
既存の設置の多くは、8 芯、12 芯、または 24 芯サブユニット MPO トランクを使用して、低損失または超低損失として設計されました。ただし、400G および 800G アプリケーションは、トランシーバへの 16 本のファイバーを使用して最適化されています。16 ファイバーベースの設計により、グリーンフィールド・アプリケーションの移行とブレークアウトが簡素化されますが、8、12、または 24 ファイバー・サブユニット・トランクで構築された既存のインストールでも、より高速なオクタル・アプリケーションをサポートできます。
どの構成が最も理にかなっているかを決定する際に考慮すべきことは次のとおりです。チャネル損失性能、エンドポイント間のファイバー数、ファイバータイプ(SM、OM4, OM5)、極性、MPO トランクケーブル長、性別。
ILおよびRLを含むチャネル性能は、SMおよびMMアプリケーション要件を満たすために、ハンドヘルドテスト機器を使用してテストおよび文書化する必要があります。SYSTIMAX ファイバーパフォーマンス計算機のようなコムスコープのアプリケーションは、チャンネルパフォーマンスを出発点として検証するために実行できます。
1990 年代から 12 ファイバー・サブユニット・トランク・ケーブルが利用できるようになりました。当時はデュプレックスアプリケーションに効果的でした。業界が MPO コネクターを備えたデュプレックスからマルチペア・アプリケーションに移行するにつれ、8、24、(最近では)16 ファイバー・サブユニットが追加されました。新しいオクタル・アプリケーションのサポートにはエンドポイント間のファイバー・カウントが十分必要であるため、これらは歓迎すべき追加事項です。データセンターは、場所間のチャネルの総ファイバー数によって移行が可能になると仮定して、既存のケーブル配線を活用して新しい需要を満たすことができます。ロケーション間のファイバー数が 16 芯または 8 芯のグループと一致している場合は、ブレイクアウト・アレイ・ケーブルを使用してネットワーク・ポートへの移行を行うことができます。
例として、前面インターフェースとして LC デュプレックスポートを持つパネル間のトランクケーブルで 144 本のファイバーで構成される検証済みチャネルは、MPO16 への 8 つのデュプレックス LC コネクターのアレイケーブルを使用してトランシーバに終端できます(図 15)。144 ファイバーチャネルは、1 RU でこれらのアレイケーブルのうち最大 9 本をサポートできます。これらのファイバー・チャネルを管理するその他のアレイ・オプションも接続を可能にします。同様に、16 ファイバーポートは、遠端の二重サーバーポートに分割できます。
図 15:従来のチャネルを介して接続された16ファイバー・スイッチ・ポート
一例として、図16は、LC二重ポートを前面インターフェースとして、パネル間のトランクケーブル内の144本のファイバーからなる検証済みチャネルを示す。
図 16:デュプレックス・サーバー・ポートに分割された 16 芯スイッチ・ポート
また、400Gまたは100800Gの8レーンを250Gまたは400G展開用の2 x 4レーンアプリケーションに分割する4200Gおよび800Gアプリケーションもあります。 100G 400Gこれらのアプリケーションでは、図 2 に示すように、レガシー MPO8 トランクの接続に MPO16 ~ 2x MPO8 アレイアセンブリを使用できます17。
図 17:2x MPO8-to-MPO16 アレイ
変換アセンブリが既存のファイバーを完全に利用できるようにするもう 1 つの方法は、インライン・アダプター・パックへのトランク・ケーブルの終端処理です。これは既存のファイバーを利用するのに効率的ですが、ケーブル管理の課題となる可能性があります。正しく実装されていない場合、ブレークアウトの長さとポート位置は容量を撚り合わせることができます。ポートがローカライズされ、ラックまたはキャビネット内に配置され、フル活用できるようにする。
ピン付きおよびピンなしの接続に関する注意: MPO ベースのトランシーバには内部アライメント・ピンがあるため、接続機器またはパッチ・ケーブルは機器側でピン留めしないでください。MPO 変換ケーブルを使用する場合は、アダプターを使用してケーブルの反対側の端をトランクケーブルに接続します。トランクケーブル接続もピン留めされている場合、変換ケーブルはピン留めされていないものからピン留めされていないものでなければなりません。トランクケーブルがピン留めされていない場合は、機器ケーブルの嵌合端をピン留めする必要があります。技術者は、ピン留めされたコードによる光学系の損傷を避けるために、適切な端部が各側に接続されていることを確認する必要があります。
極性について一言: 業界は、デュプレックスとマルチファイバー接続のシンプルさのためにメソッドB極性に移行していますが、他のレガシー極性スキームは依然としてデータセンターに展開されています。設置されたチャネルの性能とファイバー数がアプリケーションのニーズを満たしている場合、カスタマイズされたトランジションケーブルを使用して高速トランシーバに接続できます。
その他のリソース
802.3bs
IEEEは、400Gアプリケーションを可能にするいくつかの新しい規格を導入しました。新しい変調方式であるPAM4を導入するという重要な決定がなされました。PAM4 は、従来の NRZ 変調で実用的であったよりも高速に電気および光学レーンを前進させます。PAM4は、レーンレートの25Gから50Gと、レーン数を4から8に倍増させます。その結果、400G光トランシーバーが標準化されました。
802.3cm
MMF 上で 400G に対応するこの規格では、4 ペア (400GBASE-SR4.2) と 8 ペア (400GBASE-SR8) のサポートが導入されました。どちらのアプリケーションも VCSEL を使用しています。VCSEL は、SMF の代替製品と比較して、低コストと電力設計を維持しながら、より高い帯域幅を提供し続けます。SR4.2とSR8はどちらも、大容量の高速サーバーリンク用に設計された100mの短距離MMFトランシーバを使用しています。これは、速度が上がるにつれて銅ケーブルが短くなる必要があります。同時に、より高いラディックス機能は、TORスイッチを排除することによってネットワーク層を崩壊させるのに役立ちます。低コストのMMFオプティック・サーバー接続は、この設計をサポートし、コストを節約します。
802.3ck(ドラフト)
PAM4の導入により、高速をサポートする次のステップは、電気信号と光信号のレーンレートを100Gに増加させることです。これは、保留中の 802.3ck 規格の焦点です。完了すると、この規格は400Gアプリケーションのビット当たりのコストにプラスの影響を与え、800Gモジュールを有効にします(800G MACレートはIEEE Beyond 400G研究グループを介して提案されています)。この基準は完了に近づいており、2022で完了する必要があります。
802.3cu について
802.3cu は 100G および 400G モジュール(現在は 100G レーンに基づく)を導入し、DR、FR、LR、ER オプションを追加しす。400GBASE-FR4 は、2 km の距離 (F) の 2 本のファイバーを使用して、4 波長にわたって 100G の 4 本のレーンを定義します。タスクフォースは10kmの距離(LR4の場合)で合意できず、最大6kmの距離で合意しました。したがって、新しい命名法(400GBASE-LR4-6)が作られ、6は6km、Lは10kmの距離を意味する。
802.3cu 規格は 802.3ck 規格より前に完成しましたが、長期ビューでは 100G 光レーンに一致する 100G 電気レーンが見えます。これにより、25G および 50G 規格に必要なギアボックスレートのマッチングの必要性が減ります。共通の光インターフェイスは、将来的に100Gに統合され、いくつかのASIC世代にわたって後方互換性を促進することが期待されています。
802.3db(案):
執筆時点で、802.3dbタスクフォースは、802.3cmのMMF実装を追加し続けています。これらの新しい実装により、レーン数は 8 で 100G に増加し、100 m の OM4 で 400G と 800G のステージが設定されます。MMF サーバー接続が最重要事項です。これらの接続の量が多いことを考えると、光学系のコストは重要です。Tier 1(リーフ)リンクへの多くのサーバーが列に並んでいて非常に短いため、802.3dbは50m未満のアプリケーションを最適化しようとしています。命名法にVRを追加すると50mのリーチが識別され、SRは100mのリーチを引き続き示します。予想されるアプリケーションには、8 本のファイバーを使用する 400GBASE-SR4 が含まれ、ASIC I/O 容量に合わせて QSFP-DD オプティックスは 8 レーンに残ります。したがって、2X400G SR4 には 16 ファイバーの実装が使用されます。800Gの容量も用意されています。しかし、現時点では IEEE 800G MAC がないため、この規格は 800GBASE-SR8 には対応していません。
100G I/O の倍増スイッチ・ポート速度により、同じ 400G ケーブル配線戦略とより高い帯域幅の MMF は、800G モジュールへの移行をサポートできます。800G Pluggable MSA は、8100G800G 電気レーンの導入を活用しています。エンジニアは、2x400、4x200、8x100などのブレイクアウトオプションのサポートを追加するために迅速に移行していますが、現時点では800G MACを必要とするアプリケーションは限られています。
IEEEは、より高いイーサネット・レートの次の高水準への移行を支援する研究グループを立ち上げました。800Gは確かに地図上にあり、1.6T以上のものへの道も探検されています。作業が始まると、多くの新しい目標が導入されます。この調査グループには、ネットワーク・エコシステムに必要な規格をみる最大のネットワーク事業者など、幅広い業界が参加しています。
これらの基準は、1.6Tに達するための新しいモジュール戦略の開発に使用される可能性が非常に高いです。Optical Internetworking Forum (OIF) は現在、スイッチング ASIC の横に \"パッケージ化\" するように最適化されたトランシーバーの小型バージョンである 3.2T Optic Engine に取り組んでいます。
業界のマルチソース契約(MSA)コンソーシアムは、新しいまたは新しいネットワーク技術の開発と採用を加速するための継続的な努力に関与しています。800G 実装の追加など、MSA の取り組みにより、業界標準の完成前に新しい技術が開発される場合があります。
800GプラガブルMSA
2019年9月では、800GプラガブルMSAが形成された。IEEE は 100G VCSEL で現在も作業を続けているため、MSA は、一般的な 8x100G SR MMF オプションを低コストでシングルモードに置き換えることを選択しました。目標は、データセンターが低コストのサーバーアプリケーションをサポートできるようにする、早期市場、低コストの800G SR8ソリューションを提供することです。800Gプラガブルは、スイッチ・ラディックスの増加とラックごとのサーバー数の減少をサポートします。
図 18:8x100、2x400 GbE モジュール
400G BiDi MSA
2018年7月 では、400G を介した 100 m 双方向伝送のための相互運用可能な 400G 光トランシーバの採用を促進するために、400G BiDi MSA が結成されました。 2019年9月 では、MSA は 100 m の MMF を超える 400G 光インターフェイスの 400G-BD4.2 仕様のリリース 1.0 を発表しました。 400Gこの仕様は、イーサネット・アプリケーションに 100G BiDi を活用し、広く導入されているパラレル MMF ケーブル配線インフラと互換性があります。400G-BD4.2は、スイッチ間の最新のデータセンターにおける重要な大量リーチを含む、ショートリーチアプリケーションに対応します。これらは重要な前進ステップですが、IEEE 802.3cm規格を超える技術の進歩はありません。
図 19:400G MMF バイダイおよび SMF
100G ラムダ MSA
2020年10月 では、100G Lambda MSA Group が、PAM4 対応の波長あたり最大 3 km の 100G 伝送をサポートする 2 ギガビット・イーサネット仕様を発表しました。 400 PAM4-enabled, 100G-per-wavelength 10 400G-LR4-10規格は、最大10kmのデュプレックス・シングルモード・リンク用です。100G PAM4-modulated光信号の4波長の多重化に依存しています。特に、さまざまなフォームファクターの光トランシーバーのマルチベンダー相互運用性を保証します。現在、100G Lambda MSAグループは、10kmを超える範囲の仕様に対応しています。
図 20:シングルラムダ PAM4 QSFP
OSFP MSA
OSFP MSAは、高速ネットワーキングアプリケーション向けの次世代の前方互換性プラガブルモジュールフォームファクターの定義に焦点を当てるために 2016年11月で作成されました。 2021年5月 では、800G OSFP モジュールの OSFP 4.0 仕様をリリースしました。OSFP モジュールは当初から 800G をサポートするように設計されていましたが、OSFP 4.0 仕様はデュアル LC、デュアル Mini-LC、デュアル MPO、オクタル SN/MDC ファイバー・コネクター・オプションを備えたデュアル 400G およびオクタル 100G ブレークアウト・モジュールのサポートを追加します。
図 21:OSFP-LS モジュール
QSFP-DD MSA
2021年5月 では、QSFP-DD MSA グループは QSFP-DD/QSFP-DD800/QSFP112 ハードウェア仕様のリビジョン 6.0 をリリースしました。リビジョンは QSFP-DD を更新し、QSFP-DD800 と QSFP112 を導入します。その他の変更点としては、100G 電気ホストインターフェイスのサポート、QSFP-DD800 および QSFP112 の機械的定義とボード定義の追加などがあります。また、QSFP112 の電気および管理タイミングを追加し、25 ワットのより高いモジュール電力定格をサポートします。
図 22:QSFP-DD トランシーバ
多くの大規模なデータセンター事業者は、非常に困難な実装スケジュールを設定する一方で、ネットワーク効率を高める必要性を迫られています。権力の問題は業界を席巻し続け、あらゆる決定に影響を与えている。エネルギー消費は、ネットワークがデータセンターのアプリケーションに課す重税であり、将来のネットワーク速度を考慮すると、より重くなります。リンク容量を増やすことは、効率を改善するために使用される重要なツールですが、もちろん、これを行う技術は継続的に進化する必要があります。図 23 は、速度の移行に伴い予想されるコストと電力の改善を示しています。
図 23:速度が速ければ、必要なリンク数が減少し、データセンターネットワークのビット当たりの電力が減ります。
コパッケージ光学系(CPO)は、電力要件を数ピコジュールに下げ、光IO速度を3.2T向上させる絶好の機会です。そこにたどり着くということは、困難な技術的課題を解決し、ネットワークサプライチェーンとその運用方法を再考することです。万が一、万が一万が一、2025年には市販のCPOが見られるようになり、そうでなければ、そのタイムラインが延期される可能性があります。
図 24:QSFP-XD 16 レーン、レーンあたり 100G
一方、CPO を必要とせずに、これらのネットワーク速度を満たすためにプラガブルモジュールが進化するのを見るパスがあります。OFC '21でのAndy Bechtolsheimのプレゼンテーションは、新しいOSFP-XD MSAの導入により、CPOとプラガブル間の競争のステージを設定しました。800G OSFP モジュール仕様に基づいて、OSFP-XD MSA はレーン数を 8 から 16 に倍増します。これらのレーンは100Gで動作し、1.6Tのモジュール容量を提供します。ASIC-to-moduleの電気的課題は、既知の技術で解決できると考えられています。出力推定は≈10pJであり、1.6T世代の目標範囲内に収まる。CPOと比較して、市場投入までの時間はより早く、リスクはより低くなります。
図 25:OSFP MSA は、2 16電気 I/O と 200G/レーン機能を備えた次世代仕様 \"OSFP-XD\" または追加の密度を導入しました。
図 26 に示すように、3.2T に到達するには、200G の電気/光レーン (16 * 200G) が必要になる可能性が高くなります。レーンレートが増加しない場合、平行ファイバーまたは波長の数は2倍にする必要があり、これらのオプションの両方は望ましくない(おそらく実現不可能)。
電気車線率を上げるのは難しい作業だと考える。IEEE802.3ckタスクフォースは、 2019年5月以来、この100G電気規格に取り組んでおり、現在は2022年後半に作業を完了する予定です。新しい IEEE プロジェクトでは、200G 電気シグナリングなどの次のステップが実施されます。この作業は非常に困難であり、現在の推定では、この技術は2025で準備できる可能性があることを示唆しています。
プラグ可能なモジュールや CPO などの初期パスに関係なく、200G の電気 I/O は必要なステップのようです。CPOの提唱者は、アーキテクチャの利点を考えると、200Gへの道を自然な次のステップと見なしています。しかし、モジュールアプローチを支持する人は、OSFP-XDを200Gと互換性を持つように拡張できると考えています。彼らの見解では、ノード数の減少は、シリコンの進歩が電力要件を減少させるので、全体的な目的を満たすことを可能にします。
ご存知の通り、データセンターがスイッチ帯域幅とネットワーキングファブリックの効率をうまく拡張するためには、200G I/Oが不可欠です。さらに、より速い光レーン速度は、全体的なコストを削減し、電力効率を改善する鍵となります。モジュールと CPO はどちらも、200G レーンへの潜在的なパスを提供します。どちらの道も困難で危険ですが、前進する方法を見つける必要があります。
200G の光レーン(シングルモード・ファイバーでも)では、2 km のリーチに基づく現在のトポロジーがリスクにさらされるポイントまでリーチ能力が低下します。おそらく、これらの高速に近づくにつれて、他の技術がより魅力的になるでしょう。コヒーレント・プラガブル・モジュールは、コスト効率と電力効率が向上しています。また、DC/DCIアプリケーションにコヒーレントモジュールが導入されるのも、速度が上がり続けるにつれてです。
図 26:容量トレンド 2014-2024
結論
確かに、400Gb以上の高速移行に関して考慮すべきことはたくさんあります。問題は、何をすべきかです。素晴らしい第一歩は、今日のネットワークに何があるかを振り返ることです。今、どのように設計されているのでしょうか。たとえば、ポイント間にパッチパネルとトランクケーブルがありますが、接続はどうでしょうか?トランクケーブルにピンがありますか?ピンの選択は、使用する予定のトランシーバと一致していますか?ネットワークの移行について考えてみましょう。1 つの MPO から 2 つの MPO まで、MPO とデュプレックスのどちらを使用していますか?ネットワークの現在の状態に関する詳細な情報がなければ、将来のアプリケーションへの適応に何が関与するのかわかりません。
将来のアプリケーションについて、貴社のテクノロジーロードマップはどのようなものですか。進化する速度とレイテンシーの要件をサポートするインフラストラクチャを準備するには、どの程度の滑走路が必要ですか?適切なファイバー数とアーキテクチャがありますか?
これらはすべてあなたがすでに検討しているかもしれませんが、他に誰がテーブルにいますか?ネットワーク・チームにいる場合は、インフラストラクチャ側の相手と対話する必要があります。彼らはあなたがインストールされているものを理解するのを助け、あなたはさらに先に進むかもしれない将来の要件と計画を彼らに警告することができます。
最後に、新鮮な目と異なる視点を与えることができる外部の専門家を連れてくるのが早すぎることはありません。誰もあなたのニーズをあなたよりよく知ることはありませんが、独立した専門家は、既存の技術や新興技術、設計の傾向、ベストプラクティスをよりよく扱う可能性が高いです。
エンタープライズ向けデータセンターソリューション
ソリューション
ハイパースケールおよびクラウド型データセンター
ソリューション
マルチテナント型データセンター
ソリューション
サービスプロバイダー向けデータセンター
見識
マルチモードファイバー:ファクト ファイル
リソース
高速移行ライブラリテスト 0
仕様情報
OSFP MSA
仕様情報
QSFP-DD MSA
仕様
QSFP-DD ハードウェア
見識
400G/800G への移行:ファクト ファイル - パート 1
一見すると、貴社のために競合するインフラストラクチャー・パートナーたちは、かなり多数出てきているようです。貴社にファイバーと接続を販売したいと考えているプロバイダーが数多くあります。しかし、貴社ネットワークを長期的に成功させるために何が重要かをよく見て考え始めると、その選択肢は狭まり始めます。ネットワークの進化を促進するには、ファイバーや接続性以上のものが必要だからです。これがコムスコープが必要とされる所以です。
パフォーマンスの向上:コムスコープの革新と性能の歴史は 40 年以上に及びます。当社のシングルモード TeraSPEED® ファイバーは最初の OS2 規格の 3 年前にデビューし、当社がパイオニアである広帯域マルチモードは、OM5 マルチモードを生み出しました。現在、当社のエンド・ツー・エンドのファイバーおよび銅ケーブルソリューションおよび AIM インテリジェンスは、お客様が必要な帯域幅、構成オプション、超低損失の性能により、最も要求の厳しい数々のアプリケーションをサポートし、自信を持って成長することができます。
機敏性と適応性: 当社のモジュール式ポートフォリオにより、ネットワーク内の需要の変化に迅速かつ簡単に対応できます。シングルモードおよびマルチモード、事前終端処理済みケーブル・アセンブリ、柔軟性の高いパッチパネル、モジュール式コンポーネント、8 芯、12 芯、16 芯、および 24 芯ファイバー MPO 接続、超小型フォームファクタのデュプレックスおよびパラレルの各種コネクタ。コムスコープは、あなたを高速でアジャイルに、そして日和見にします。
将来対応型 100G から 400G、そして 800G へと移行するにつれ、当社の高速移行プラットフォームは、より高いファイバー密度、高速レーン・レート、新しいトポロジーへの明確かつ優雅な道を提供します。ケーブルインフラストラクチャーを置き換えることなくネットワーク・ティアを縮小し、ニーズの変化に応じて高速で、低遅延のサーバー・ネットワークに移行します。1 つの堅牢で俊敏なプラットフォームが、あなたを今あるところから次なるところへと進化させます。
保証された信頼性:コムスコープは、アプリケーション保証により、お客様が現在設計しているリンクが今後何年にもわたってお客様のアプリケーション要件を満たすことを保証します。包括的なライフサイクル・サービス・プログラム(計画、設計、実装、運用)、フィールドアプリケーション・エンジニアたちのグローバルチーム、コムスコープの鉄のクラッドで覆われた 25 年保証により、この取り組みを支えています。
グローバルな可用性とローカルサポート:コムスコープのグローバルなフットプリントには、6 大陸にまたがった製造、流通、現地の技術サービスなどがあり、20,000 名の情熱的な専門家が参画しています。私たちは、いつでも、どこでも、必要なときに、お客様のためにお手伝いいたします。当社のグローバル・パートナー・ネットワークは、認定設計者、設置者、インテグレーターがネットワークを前進させ続けることを保証します。