400G/800G アップグレードのためのデータセンターファイバーケーブル配線

現代のデータセンターは、より少ない遅延、より高い信頼性、そして次世代の速度への明確な道筋でより多くのトラフィックを移動させるという絶え間ないプレッシャーに直面しています。 AI トレーニング ファブリック、クラウド プラットフォーム、分散ストレージ、リーフ スイッチとスパイン スイッチ間の東西トラフィックはすべて、ボトルネックにならないケーブル プラントに依存しています。-

このため、光ファイバー ケーブルが高性能データセンター ネットワークのデフォルトのバックボーンとなっています。{0}銅線と比較して、ファイバーはより高い帯域幅、より長い到達距離、電磁干渉に対する耐性を備え、400G および 800G への移行へのよりスムーズなパスを提供します。しかし、繊維だけでは戦略になりません。ネットワーク設計者、ケーブル配線請負業者、調達チームは、ケーブルを引く前に、ファイバーの種類、コネクタ システム、極性、リンク バジェット、テスト ワークフローについて難しい選択をする必要があります。

このガイドでは、これらの決定事項を、実際のプロジェクトで実際に直面する順序で説明します。つまり、ネットワーク内でファイバーが属する場所、OM3、OM4、OM5、または OS2 を選択する方法、並列光ファイバー用の MTP/MPO トランキングを計画する方法、適切にテストして文書化する方法、次の 2 つのアップグレード サイクルに耐えるケーブル プラントの設計方法です。

ファイバーが最新のデータセンターのケーブル配線のデフォルトである理由

光ファイバー ケーブルは、電気信号ではなく光のパルスを通じてデータを送信します。この 1 つの違いが、その後のエンジニアリング上のトレードオフのほとんどを左右します。-

AI、クラウド、ストレージ ファブリックの帯域幅の余裕

AI トレーニング クラスタ、GPU ポッド、ハイパーコンバージド インフラストラクチャ、複製されたストレージはすべて、銅線が大規模に伝送するのに苦労する高密度の東西トラフィックを生成します。-ファイバーは 100G、400G、および 800G 光トランシーバーときれいにペアになり、基礎となるイーサネット仕様は進化し続けています。IEEE 802.3df-2024200 Gb/秒、400 Gb/秒、800 Gb/秒、1.6 Tb/秒のイーサネット動作の物理層仕様を定義しています。これにより、設計者は複数年にわたるケーブル配線の更新を計画する際に安定した目標を得ることができます。{4}}

距離ペナルティなしで到達

銅は速度が上がると急速に劣化します。 100GBASE-T リンクは通常の条件下で最高 30 メートルですが、400GBASE-DR4 シングルモード- リンクは 500 メートル、400GBASE-LR4 は 10 km に達します。 MDA と HDA、行間リンク、データセンター相互接続間のバックボーン実行の場合、ファイバーは到達距離の問題を回避するのではなく、解決します。-

高密度の機器室における EMI 耐性

電力ホイップ、母線路、CRAC ユニット、および大きな銅の束は電磁ノイズを発生します。ファイバーは電流ではなく光を運ぶため、銅のように EMI の影響を受けません。高密度の機器室では、生のスループットよりもエラー率の安定性が重要であり、ストレージ レプリケーションと密結合コンピューティングにとってはまさにこれが重要です。

密度と将来の容量へのよりクリーンな道筋

144- ファイバー MTP/MPO トランクは、同等の銅バンドルのトレイ スペースの一部を占めます。モジュラーカセットと高密度パッチパネルにより、単一の 4U エンクロージャで数百の LC ポートを、面倒な移動、追加、変更を行うことなく終端できます。この密度の利点により、今日設計されたケーブル プラントが将来の 100G から 400G への移行を吸収できるようになります。

ファイバー vs 銅線: それでもどちらが勝つ場合

適切な設計とは、「どこにでもファイバーを使用する」というものではありません。銅線は依然としてラック内でその場所を獲得しており、強力なケーブル配線計画では、物理的性質がワークロードと一致する各媒体を使用します。

現代のホールの一般的なパターン: -ラック サーバー-から ToR へのリンクには DAC または AOC、ToR からリーフへの MMF または SMF MPO トランク、列、部屋、建物をまたぐすべてのものには OS2 シングル-モード。

データセンターネットワーク内のファイバーが設置される場所

葉-背骨と背骨

リーフ-スパイン ファブリックでは、通常、すべてのリーフ スイッチがすべてのスパイン スイッチにアップリンクします。これらは建物内で最も使用率の高いリンクであり、ほとんどの場合ファイバーです。-TIA-942データセンター通信インフラストラクチャの参照標準であり、バックボーン設計を最終決定する前に読む価値があります。- ファイバ数やルートの多様性を決定する冗長層、経路の分離、ケーブル プラントの要件について説明しています。

ラックの上部-と{1}}列の最後-と{3}}行の-の-}

トップオブラックでは、サーバーのケーブル配線が短く銅線に優しい状態に保たれますが、スパインへのファイバー アップリンクの数が増加します。{2} --行の終端ではスイッチングが集中化され、アップリンク数が減りますが、水平方向の銅配線が増加します。 -列の中央-が 2 人の間に座っています。通常、決定はラック密度、ポートの経済性、そして今日のアップリンクにどれだけのファイバー容量をコミットするか、それとも明日に備えてどれだけの容量を確保するかによって決まります。

データセンター相互接続

建物、キャンパス、コロケーション ケージ間の DCI リンクは、ほとんどの場合、シングルモード ファイバーで実行されます。-ポートごとのコストよりも到達距離が重要であり、光学ロードマップ（コヒーレント 400ZR、800ZR）はこれを中心に構築されています。-シングルモード ファイバーの種類-OS2みたいな。

ストレージと HPC ファブリック

NVMe-oF、RoCEv2、InfiniBand ファブリックはすべて、コンピューティングとストレージの間に膨大な二分帯域幅を押し広げます。ファイバーは損失が少なく、遅延が一貫しているため、特に単一行を超えて拡張する場合には、自然な媒体になります。

シングルモードとマルチモード: OM3、OM4、OM5、または OS2 の選択

これはケーブル プラントの残りの部分を動かす決定であり、自動操縦で最も頻繁に行われる決定です。正直な答えは、速度、到達距離、およびケーブル配線に必要な長さによって異なります。

実際的な経験則: リンクが 100 メートル未満で、100G または 400G の短距離光通信で動作している場合、{3}}通常、コストが最適化される選択肢は OM4 です。-同じケーブル プラントが 800G への移行に耐える必要がある場合、800G に到達するまでの光ロードマップは圧倒的にシングルモードであるため、OS2 を選択するのがより安全です。{9}}現在の OS2 トランシーバーの価格は高くなりますが、5 年以内にケーブル プラント全体を交換する必要はありません。シングルモードグレードの詳細な比較については、-OS1 と OS2 のシングルモード ファイバー-コミットする前に確認する価値があります。

OM5 は売られすぎていることがあります。広帯域パフォーマンスを活用する SWDM 光学系に熱心に取り組んでいる場合にのみ、成果が得られます。 SR4/SR8 を直接導入する場合、OM4 は通常、低コストで同じ到達範囲を提供します。
 

MTP/MPO、LC、およびコネクタの決定

選択したコネクタによって、ファブリックの拡張方法が決まります。いくつかのパターンが現代のホールを支配しています。

LC デュプレックス（2 人用）-光ファイバー

LC は、10G、25G、および二重ペア (LR4、FR4、DR1) を使用する 100G/400G 光ファイバーの主力製品であり続けます。これは密度が高く、よく理解されており、現場で使用可能です。-

並列光学用MTP/MPO

100G- SR4、400G- DR4、400G- SR8 などの並列光ファイバーは、複数のファイバー レーンを同時に使用します。これらにはMTP/MPOコネクタが必要です。レーン数は重要です:

• MPO-8/12:SR4（8レーン使用）およびDR4の標準。 8 本のアクティブ ファイバーを備えた 12 極のハウジングは、現在最も一般的な配置です。
• MPO-16:400G および新たな 800G アプリケーション向けの SR8 / DR8 光学系と調整されています。
• MPO-24:一部のレガシー 100G- SR10 設計および特定のブレークアウト構成で使用されます。グリーンフィールド ビルドではあまり一般的ではありません。

間違ったレーン数を選択すると、移行の崖に閉じ込められてしまいます。現在 MPO-12 用にケーブルを接続し、次世代光学系が MPO-16 で標準化されている場合、すべてのトランクとカセットを再考する必要があります。-トランクを注文する前に、必ずコネクタのロードマップをトランシーバーのロードマップと照らし合わせて検証してください。

極性: 最も一般的なフィールド障害

MTP/MPO の極性 (方法 A、B、C) は、プロジェクトが静かに失敗する場所です。極性の不一致により、物理的に接続されるリンクが生成されますが、信号は確立されません。チャネル内のすべてのトランク、カセット、およびパッチ コードは一貫した極性スキームを使用する必要があり、そのスキームは設置を開始する前に文書化する必要があります。のMTP と MPO エンジニアの選択ガイド実際の違いと、極性の選択がチャネルをどのように流れるかについて説明します。
 

事前に終端されたケーブルと-現場で終端されたケーブル-

最新のデータセンターの構築では、事前に終端されたトランクとパッチ コードが適切です。{0}これらは文書化された挿入損失値でテストされた状態で出荷され、ほんのわずかな時間で取り付けられ、フィールド終端よりも一貫した結果が得られます。-大手ケーブル ベンダーは通常、挿入損失値が適切な範囲内で終端済みのアセンブリを出荷します。-ISO/IEC 11801チャンネルの制限。

正確な長さを事前に確認できない場合の改造、トランクが損傷した後の修理、または事前に終端処理されたアセンブリを既存の経路に引き込むことができない特殊な作業など、現場での終端処理は依然としてその役割を果たしています。{0}} -実際のトレードオフは、- 現場で終端されたコネクタ-は通常、挿入損失が高く、より変動しやすく、その結果は技術者のスキルと工具に大きく依存します。

スケジュールと一貫性が重要な場合は、早期終了に対して割増料金を支払います。{0}}経路が狭くて事前終端処理が不可能な場合は、すべての現場終端処理のテストと品質管理に追加の時間を確保してください。-

適切なファイバーケーブルを選択する方法: 意思決定の枠組み

この順序を使用してください。ケーブルプラントは、段階を省略して引き渡しから 2 年後に再建されることになります。

1. まず速度ロードマップを固定する

25G アクセス、100G リーフ-スパイン、400G スパイン、または 800G AI ファブリック用にケーブルを配線していますか?トランシーバーのロードマップはファイバーの種類を決定するものであり、その逆ではありません。 3 年以内にどのような光ファイバーを使用するかわからない場合は、トランクを指定する前にネットワーク設計者に問い合わせてください。

2. ケーブルが実際に通る距離を測定します。

床の距離があります。垂直経路、トレイ ルーティング、スラック ループ、パッチ パネルの入口、機器側のサービス ループを追加します。-多くの場合、30 メートルの列には 50 メートルの幹が必要です。

3. 到達距離と将来の速度に合わせてファイバーの種類を選択する

上記の OM3/OM4/OM5/OS2 テーブルを使用します。迷っていて予算が許せば、100 メートルを超えるリンク、または次世代の光世代よりも寿命が延びると予想されるリンクについては、OS2 を選択してください。

4. コネクタだけでなくチャネル全体を検証する

トランシーバー、ファイバーの種類、コネクタ、極性、およびパッチ パネルがすべて一致している必要があります。スイッチ ベンダーのトランシーバ互換性マトリックスが信頼できる情報源 - であり、物理的に適合するコネクタ本体ではありません。

5. コミットする前にリンクバジェットを計算する

OM4 上の 400G-SR4.2 リンクの簡略化されたリンク バジェット:

• 光バジェット (トランシーバーの TX 最小値から RX 最小値まで): ~1.9 dB
• ファイバー減衰 (850 nm での OM4): 70 m の走行で ~0.2 dB
• コネクタ損失: 4 コネクタペア × 0.35 dB=1.4 dB
• 予想される合計損失: ~1.6 dB → わずかなマージンで予算内に収まります

予算が厳しい場合、パッチ ポイントが追加されるたびにマージンが消費されてしまいます。これはまさに、デザインが初日に機能し、次の移動や変更の後も機能するかどうかを決定する計算です。

6. 密度を計画し、次に保守性を計画する

-高密度パネルはラック U を節約しますが、これは技術者が隣接するコネクタに迷惑をかけずに 1 つのコネクタを検査、清掃、再装着できる場合に限ります。パネル設計に着手する前に、実際のクリーニングツールを使用して保守性をテストしてください。

ファイバーケーブルの導入方法: フィールドワークフロー

ステップ 1 - 既存のプラントを監査する

現在のラック レイアウト、経路充填、スイッチ ポートの割り当て、トランシーバの在庫、ファイバの種類、極性方法、およびラベル付けを文書化します。すでに容量がいっぱいになっているトレイと、新しい光学系をサポートしないレガシー ファイバーを特定します。

ステップ 2 - トポロジをロックする

ToR、EoR、MoR、または集中構造のケーブル配線。トポロジによって、アップリンク数、トランク ルート、パッチ パネルの配置、およびブレークアウトの処理方法が決まります。

ステップ 3 - ケーブル プラントを指定します

トランク、カセット、パッチパネル、パッチコード。すべてのコンポーネントをチャネル設計と照合し、ベンダーの互換性をエンドツーエンドで確認します。

ステップ 4 - 極性とリンク バジェットを紙で確認する

トランクを注文する前にこれを行ってください。納品後の極性修正には費用がかかります。設置後の極性修正は非常に高価です。

ステップ 5 - 規律を持ってインストールする

曲げ半径、引っ張り張力、および経路充填を考慮してください。ビックシー002データセンターの設計と実装のベスト プラクティスをカバーしており、トレイの充填、経路の分離、およびケーブル管理のワークフローに関する標準リファレンスです。

ステップ 6 - 検査、クリーニング、テスト

すべてのコネクタは、嵌合前に検査および洗浄されます。IEC 61300-3-35:2022コア、クラッド、接触、接着領域の周囲の破片、傷、欠陥ゾーンなどの端面検査-の合否基準を定義します。{1}すべてのリンクで挿入損失テストを実行します。通常のパッチング距離よりも長いトランク、または損失バジェットが厳しいトランクに対して OTDR テストを追加します。間の関係挿入損失と反射損失ここで重要なのは、特に総損失よりも反射が受信機に影響を与える短い高速リンクの場合です。{0}

ステップ 7 - すべてを文書化する

ケーブル ID、パネルの位置、経路ルート、ファイバーの種類、極性方式、トランシーバーのマッピング、テスト結果、および変更履歴。スタッフの入れ替わりにも耐えられる形式で引き渡します。

拡張する方法: 400G、800G、そしてそれ以降に向けた設計

これは、ほとんどのケーブル プラントのパフォーマンスが劣る部分です。 「将来への対応」とは通常、実際には 3 つのことを意味します。十分なファイバー数、モジュール式コンポーネント、正確なドキュメントです。

予備のファイバ数

初日から 24 ファイバー トランクが 100% 充填されると、すでに問題が発生します。経路ごとに 30 ～ 50% の予備のストランドを残すように計画します。トランク内のファイバーを増やす限界コストは、後で 2 番目のトランクを引く場合に比べて小さくなります。

モジュラーパッチパネルとカセットを使用する

カセット-ベースのパネルを使用すると、トランクを引き抜くことなく MPO-12 を MPO-16 カセットに交換したり、MPO トランクをレガシー機器の LC ブレイクアウトに変換したりできます。固定ポート パネルではこれを行うことができません。

初日からブレイクアウトを計画する

400G-DR4 ポートは、次を使用して 4 × 100G-DR にブレークアウトできますMPO ブレークアウト ケーブル。ブレークアウトを予測してパッチ パネルとカセットを設計することは、ケーブルを再配線することなく、スパイン ポートを再利用して高密度化できることを意味します。

ファイバーのロードマップと光のロードマップを一致させる

光学ロードマップに 800G-DR8 または 1.6T が含まれている場合は、トランク レーン数とコネクタの選択が一致している必要があります。これは、何かを指定する前にネットワーク アーキテクチャ チームと行うべき会話です。

避けるべきフィールドでの一般的な問題

MPO トランクの極性の不一致

新しくインストールしたリンクが起動しない最も一般的な理由は 1 つです。最初のトランクが出荷される前に極性方式 (A、B、または C) を文書化し、トランク、カセット、およびパッチ コードがすべて適合していることを確認します。

端面検査をスキップ-

コネクタの端面に 1 つの粒子があると、400G リンクが切断されたり、診断に数日かかる断続的なエラーが発生したりする可能性があります。検査と清掃は、トレイから引き抜かれた工場での終端処理済みのアセンブリを含め、すべての嵌合の前に交渉の余地はありません。{{2}

価格だけで繊維を買う

15% 節約するために現在設置されている OM3 トランクは、次世代の光学機器が出荷される 3 年後には廃止されることになります。総所有コストは常に単価を上回ります。

チャネル検証を行わないコンポーネントの混合

物理的に適合するコネクタは、チャネルの動作を保証しません。フルパス - トランシーバー、パッチ コード、パネル、トランク、カセット、パッチ コード、トランシーバー - をスイッチ ベンダーの互換性マトリックスと照合して検証します。

予備容量を忘れる

100% 充填のトレイ、100% のポート使用率のパネル、予備ファイバーのないトランクにより、将来のあらゆる変更が大規模なプロジェクトに変わります。

メンテナンスとテストのベスト プラクティス

ファイバーは信頼性がありますが、容赦はありません。検査、清掃、計画されたテスト、および変更管理を含むメンテナンス ルーチンを確立します。承認済みのクリーニング ツールと検査範囲を、リモートの保管室ではなくデータ センター内に保管します。サービスレベル アグリーメントが依存するリンクには、予備のパッチ コード、トランシーバー、カセットを維持してください。-

プラットフォームがサポートしている場合は、光パワー、FEC 前エラー、トランシーバー診断を監視します。{0}劣化しているリンクは、障害が発生する - 日前のテレメトリに表示されますが、これは誰かが監視している場合に限られます。

結論

光ファイバー ケーブルは、光ファイバーを複数世代にわたって使用できるように設計されたデータ センターの基盤です。正しく行うには、ケーブルそのものよりも、速度ロードマップ、ファイバー グレード、コネクタ レーン数、極性方法、リンク バジェット、予備容量など、ケーブルに関する決定が重要です。最初のトランクが発注される前に、これらの決定を書面でロックするネットワーク設計者は、100G から 400G、そして 800G への移行を適切に吸収するケーブルプラントを完成させることになります。こうした決定を延期したチームは、通常 5 年以内に再建します。

昨年使用した光学系ではなく、実際に 3 年後に使用する光学系を選択してください。チャネルをエンドツーエンドで文書化します。公開されている標準に対してすべてのリンクをテストします。すべての経路に予備容量を確保します。この規律は初期費用がほとんどかからず、施設の存続期間中に移動、追加、変更するたびに元が取れます。