400G/800G の AI データセンターのケーブル要件

人工知能はデータセンターの設計を再構築しています。ほとんどの注目は GPU、アクセラレータ、冷却に向けられますが、残りのビルドが成功するかどうかを静かに決定するレイヤーはケーブル配線です。 AI クラスタでは、物理層によって、実際に 400G と 800G に到達できるかどうか、高速リンクがトラフィックを通過できるほどクリーンな状態に保たれているかどうか、フル装備のラックでもエアフローが維持されているかどうか、次の速度向上がカード交換かフォークリフト アップグレードかどうかが決まります。{4}}

このガイドはインフラストラクチャ チームと光ネットワーク チームを対象に書かれています。{0} AI ケーブル配線の違い、実数に関係する要件、DAC、AOC、ストラクチャード ファイバーの比較方法、段階的な計画ワークフロー、400G または 800G への移行前に準備するもの、実際に使用できるチェックリストについて説明します。--ここでの技術リファレンスは、現在の IEEE 802.3 および ANSI/TIA-942 標準に基づいています。

AI ワークロードがデータセンターのケーブル要件を変える理由

従来のエンタープライズ データセンターは、かなり予測可能なアプリケーション トラフィックを中心に構築されており、その多くはユーザー、アプリケーション、外部ネットワーク間を南北に移動します。{0} AI クラスターはそのパターンを逆転させます。トレーニングと大規模な推論中、支配的なフローは東-です。GPU は、通常、リモート ダイレクト メモリ アクセス（RDMA）ファブリックを介して、all{5}}reduce などの集合的な操作を通じて、勾配とアクティベーションを常に相互に交換します。-

これはベンダーのリファレンス設計で確認できます。 NVIDIA は、GPU コンピューティング ネットワークを、レール-に最適化されたトポロジにより、どの GPU も他の GPU から最大 1 ホップになるこれにより、大規模なマルチ GPU 通信の効率が維持されます。-ケーブル接続の結果、ポート数が膨大になります。単一の 8-GPU ノードは 8 つの 400G (または 800G) East-} ポートを提供でき、ラックごとに複数のリーフ スイッチを備えたトレーニング ポッドにより、トランク ファイバーとパッチ適用が非常に迅速に増加します。

物理層が十分に計画されていない場合、初日から問題は発生しません。{0}これらは、空気の流れを詰まらせる混雑した経路として、数分ではなく数時間かかる障害分離として、そして最初のアップグレード サイクル中のやり直しとして、後になって現れます。 MPO 極性の反転や端面の汚れなど、些細に見える細部によって、レール全体がオフラインになる可能性があります。 AI インフラストラクチャの場合、ケーブル配線は、試運転前の最後のタスクとしてではなく、最初からアーキテクチャに含まれます。

従来型 vs AI- 対応データセンターのケーブル配線

従来のケーブル配線と AI 対応ケーブル配線との間のギャップは、ケーブル数の増加だけではなく、設計の優先順位の変化です。{0}従来の設計は今日の接続に最適化されています。 AI- 対応設計により、移行速度、密度、予測可能なリンク品質、複数のアップグレード サイクルにわたる保守性が最適化されます。

目標は、再設計なしで少なくとも 1 回の速度上昇と 1 回の容量拡張を吸収できる繊維プラントです。

AI データセンターの主要なケーブル要件

現在の速度だけでなく、400G および 800G の物理層を計画する

AI クラスターは、100G から 400G、800G、そして最終的には 1.6T へと速度のはしごを急速に上っていきます。 400G および 800G インターフェイスが正式に標準化されました。2024 年に承認された IEEE 802.3df は、400 Gb/s および 800 Gb/s イーサネットの MAC、物理層、管理パラメータを定義します800GBASE-SR8 や 800GBASE-DR8 などの物理メディア タイプを含みます。機器側では、400G は通常 QSFP- DD または QSFP112 フォーム ファクタで使用され、800G は OSFP または QSFP- DD800 を使用します。トランシーバーのパッケージングとレーン マッピングを比較する場合、これはQSFP-DD の技術概要は有用な出発点です。

実際的なルール: 植物が次のジャンプに耐えられるように、ファイバーの種類、ファイバーの数、およびコネクターベースのサイズを決定します。現在のポート速度のみに合わせて寸法設定されたトランクは、スイッチのシリコンと光学系が進歩した瞬間にボトルネックになります。

高密度 MTP/MPO ファイバーを GPU に使用--クラスタ接続

高速 AI リンクは並列光学系であり、並列光学系はファイバー数に直接マッピングされます。- 400G-DR4 リンクは 4 つのレーンまたは 8 つのファイバーを使用し、通常は MPO-12 フェルールで終端されます。 800G-SR8 または 800G- DR8 リンクは 8 つのレーンまたは 16 本のファイバーを使用し、多くの場合、APC 端面を備えた MPO-16 が使用されます。カセットと組み合わせた Base-8 および Base-16 の MTP/MPO トランクは、ラックごとに数百のこれらのリンクを統合し、現場での接続ではなく、展開を再現可能な、工場でテストされた動きに変えます。事前終了済みMTP/MPO幹線ケーブルブレークアウト アセンブリ (MPO から LC、または MPO から MPO) がこのアプローチのバックボーンです。

密度は最大化するのではなく、計画する必要があります。経路の充填や空気の流れを考慮せずにラックにファイバを詰め込むと、機器の排気に背圧が発生し、ポートの保守が不可能になります。{1}充填率とスラック管理ルールは、最初のインストールの後ではなく、前に設定してください。{3}}

挿入損失、コネクタの清浄度、極性を管理

高速 AI 光学系は、以前のリンクほど寛容ではありません。 400G および 800G で使用される PAM4 シグナリングは、古い NRZ リンクよりも厳しいチャネル損失バジェットで実行され、すべての嵌合 MPO または LC ペアによって挿入損失が追加され、多くの場合、接続ごとに数十分の 1 デシベルになります。複数の接続ポイントと一定の長さのファイバーを備えた構造化チャネルでは、その予算はすぐになくなってしまうため、コネクタ数は後付けではなく設計変数となります。挿入損失と反射損失の違い、および並列光学系で両方が重要である理由は、チャネルを最終的に決定する前に理解しておく価値があります。この説明者はファイバーネットワークにおける挿入損失メカニズムをカバーします。

汚染はフィールドリンクの故障の主な原因の 1 つであるため、嵌合前にすべての端面を検査して洗浄する必要があります。極性には明示的なスキーム (方法 A、B、または C) が必要であり、シングルモードの並列リンクでは通常、角度付き APC コネクタを使用してリターン ロスを制御します。-高密度パネルでは曲げ半径が重要になり、曲げに鈍感なファイバーがマージンを確保します。{3}ここでの信頼性とは、コンポーネントの選択であると同時に、設置とメンテナンスの規律も重要です。

モジュール式でスケーラブルな構造の{0}ケーブル アーキテクチャを設計する

AI インフラストラクチャは短いサイクルで変化するため、変更が難しいプラントでは将来の展開が遅くなります。トランク、カセット、エンクロージャ、定義された経路で構築された構造化されたケーブル配線により、チームはケーブルを引き抜くことなく容量を追加したり、ファブリックを再配線したりできます。{{1}ANSI/TIA-942 は、データセンターの通信インフラストラクチャの最小要件を指定します。そして、将来のアプリケーションに対応することを目的とした配線トポロジ。これはまさに AI ビルドに必要な姿勢です。この基盤があれば、ほとんどの速度アップグレードは、物理層を再構築するのではなく、光学部品とカセットを交換するだけの問題になります。

高密度ラック内のエアフローと冷却のためにケーブルを配線する-

AI ラックは高温になります。最も密度の高い GPU ラックの電力密度は 100 kW を超える場合があり、そのようなレベルでは混雑したケーブル配線が再循環と局所的なホット スポットを直接引き起こします。ASHRAE TC 9.9 ガイダンス フレームは、IT 機器の吸気口周囲の熱制御とクリーンな温-通路/冷-通路の分離を実現します、そしてケーブル配線はそれをサポートするか、またはそれに反するかのどちらかです。実際には、これは、可能な場合の架空ファイバー経路、電力とデータの明確な分離、実際のケーブル数に合わせたサイズの垂直および水平マネージャー、規律あるスラック、後方排気や煙突キャビネットを決して妨げない配線を意味します。リンクを追跡可能に保つケーブル管理により、移動や変更時の人為的エラーも削減されます。

DAC、AOC、またはストラクチャードファイバー? AI データセンターのケーブル選択マトリックス

AI クラスターに最適な単一のメディアはありません。正しい選択は、到達範囲と役割によって左右されます。ラック内では、短距離銅線がコスト、電力、遅延の点で依然として優れています。-リンクが列やホールにまたがる場合、シングルモード ファイバーがスケーラブルなバックボーンになります。-以下のマトリックスは、設計レビューが実際にそれらを比較検討する方法で一般的なオプションを比較しています。

これは、「ファイバーが常に優先される」などの包括的な記述に注意が必要な理由でもあります。ファイバーはファブリックのスケーラブルな基盤ですが、ラック内の 1 メートルのホップにはパッシブ DAC がエンジニアリングのより優れた選択肢であることに変わりはありません。{0}}

AI データセンターのケーブル配線を段階的に計画する方法

ステップ 1: AI ワークロードとネットワーク トポロジをマッピングする

まずはワークロードから始めます。大規模なトレーニング ポッド、高スループットの推論フリート、HPC クラスタ、ストレージを大量に使用するデプロイメントは、同じトラフィック プロファイルを共有しません。-次に、GPU コンピューティング (東-西)、ストレージ、北-、南-、帯域外管理ネットワークが接続されている場所をマッピングします。-純粋な推論のデプロイでは大規模な East West ファブリックはまったく必要ありませんが、マルチラックのトレーニング ポッドでは必要になります。-ラックの高さだけでなく、実際の交通の流れに合わせて設計します。

ステップ 2: 現在および将来の速度目標をロックする

最初のフェーズと次のフェーズの両方を定義します。ポッドが現在 400G で稼働し、来年は 800G で稼働する場合、ファイバー プラントは現時点で 800G に対応するサイズにする必要があります。その地平線を超えて、テラビット-クラスのイーサネットに関する取り組みがすでに進行中です。IEEE P802.3dj 特別委員会は、レーンあたり 200 Gb/s のシグナリングを使用した 200G、400G、800G、1.6 Tb/s の動作を定義しています。{6}。ロードマップがどこに向かっているのかを知ることで、どれだけのファイバー数と経路容量を確保すべきかがわかります。

ステップ 3: 余裕のあるメディアとコネクタを選択する

OS2-対-OM4 の質問は、ほとんどがリーチに関する質問です。 OM4 は、-100 m 未満のリーフスパイン リンクには適していますが、速度が上がると到達距離が短​​くなります。そのため、リンクが列やホールをまたぐ場合、または 800G DR/FR ヘッドルームが必要な場合は、シングルモード OS2 がより安全な基盤となります。レビューするOM1 ～ OM5 マルチモード ファイバーの距離制限これにより、トレードオフが具体化されます。- MPO ベース (12 対 16) を光ファイバ マップに一致させ、極性を早期に計画します。高密度パネルの場合はこれ-MTP と MPO の選択ガイド重要な違いをカバーします。トランシーバーとポートの速度が一致しない場合は、インストール時に即興で対応するのではなく、ブレークアウト (MPO から LC) を計画します。

ステップ 4: ラックの密度、経路、エアフローを一緒に計画する

高密度 AI 環境では、ラック レイアウト、ケーブル配線、冷却は 3 つではなく、1 つの決定で決まります。{0}}設置前に、各ラックに出入りするケーブルの数を数え、パッチ パネルが配置される場所を決定し、余裕を計画し、技術者がライブ リンクを妨げることなくポートに到達して交換できることを確認します。トレイと充填率に成長のヘッドルームを残します。試運転時にはきれいに見えたラックでも、初日に経路が最大になった場合、2 回のアップグレード サイクル後には使用できなくなります。

ステップ 5: テスト、文書化、仕様の維持

プロジェクト仕様へのすべてのリンクをテストします。これは、高速ファイバーの場合、挿入損失テスト、必要に応じて OTDR、極性検証、端面検査を意味します。{0}{1}すべてのポート、トランク、カセット、経路を、極性スキーム、長さ、測定された損失など、完成図にマッピングされたラベルとともに文書化します。-その後、端面の洗浄、定期的な監査、ラベル付けと変更管理などのメンテナンスが日常的なものになります。次の音光ファイバーケーブルの設置実習引っ張り張力と曲げ半径については、テストした損失バジェットを保護します。

400G または 800G への移行前に準備するもの

移行は、光学系よりも物理層で失敗することが多くなります。カットオーバーする前に、次の作業を行ってください。

• 回線速度が上昇するとサポートされる距離が低下するため、ファイバーのタイプと数を確認し、既存の OM4 が依然としてターゲット速度に達していることを確認します。
• コネクタ ベースが新しい光学系 (MPO-12 と MPO-16) に一致し、極性スキームがエンドツーエンドで維持されていることを確認します。
• PAM4 のリンク損失バジェットを再計算し、可能な限り接続数を減らし、すべての端面を再検査します。-
• 追加されたケーブルの経路とトレイの容量を確認し、高出力光学系のラックの熱ヘッドルームを確認します。{0}}
• カセット、トランク、ラベル、テスト計画を事前に準備して、カットオーバーが再プルではなくスワップインになるようにします。{0}{1}

避けるべきよくある間違い

現在の帯域幅のみに応じたサイジング。現在の速度に合わせて構築されたプラントはすぐに期限切れになります。より高速でより高いポート密度への現実的なパスを構築します。

ケーブル管理を化粧品として扱う。きちんとしたケーブル配線は便利ですが、実際に管理するのは外観ではなく、エアフロー、アクセス、障害の分離です。

密度のためにメンテナンスアクセスを犠牲にします。高密度とは「可能な限りコンパクト」ではありません。-技術者が接続を安全にトレースして交換できない場合、実際の運用中に設計コストが発生します。

コンポーネントを個別に購入する。ケーブル、コネクタ、パネル、トランシーバー、ラック、および経路が 1 つのチャネルを形成します。それだけでは安っぽく見える部分が拡大すると、ファブリック全体を覆ってしまう可能性があります。

AI-Ready 配線準備チェックリスト

GPU をスケーリングする前に、これらの作業を行ってください。各項目には具体的な合格条件があり、漠然とした「はい」か「いいえ」ではありません。

• スピードヘッドルーム:取り付けられたファイバーは、引き抜きなしで少なくとも 1 つの速度ジャンプ (400G から 800G など) をサポートできますか?-また、ファイバー数は光ファイバーのレーン マップ (8 ファイバーまたは 16 ファイバー) に合わせて調整されていますか?
• 損失予算:各高速チャネルは、接続数と端面検査で検証された、PAM4 挿入損失許容範囲内にありますか?{0}
• 密度とサービス:技術者は、稼働中のレールを妨げずにポートに到達し、トレースし、交換することができますか?
• 気流：経路は後方排気と通路の封じ込めを確保し、電源とデータは分離されていますか?
• ドキュメント:すべてのリンクはテストされ、その極性スキーム、長さ、損失が記録され、構築された図面と一致するようにラベルが付けられていますか?{0}}
• 規模：リーフ-スパイン、レール-に最適化されたトポロジは、再設計せずに次のポッドに拡張されますか?
• メディアフィット:各リンクの媒体は、ラック内の DAC とホール全体の OS2 を使用して、到達距離、速度、熱影響、保守性によって選択されていますか?{0}}

いくつかの答えが「いいえ」の場合は、最初の拡張後ではなく、AI ワークロードが拡張される前に物理層を再設計します。

重要なポイント

AI ワークロードは、より高い帯域幅、より高密度の並列ファイバー、厳しい損失予算、エアフローを考慮したルーティング、短いアップグレード サイクルを中心にデータセンターのケーブル配線要件を書き換えています。{0}物理層はそれ自体で GPU を高速化するわけではありませんが、間違った物理層では環境全体のパフォーマンス、信頼性、アップグレード速度が制限されます。

最も安全な設計原則は、最初の拡張サイクルの後ではなく、GPU ラックが設置される前に、ファイバー プラント、経路容量、パッチ適用アーキテクチャ、および文書化モデルを計画することです。少なくとも 1 回の速度向上を考慮して構築し、習慣ではなく役割に基づいてメディアを選択し、コネクタの清潔さ、極性、エアフローを第一級の設計制約として扱います。-導入または拡張する前に、現在のケーブル配線を上記のチェックリストと照らし合わせて確認してください。構造化されたケーブル配線と MTP/MPO コンポーネントについては、光ファイバーソリューション.