AI クラスタ ネットワーク設計: スパイン-リーフ、RoCE、NIC

AI クラスタのネットワーク設計は、GPU サーバー NIC、リーフ スパイン帯域幅、オーバーサブスクリプション率、RoCE 設定、光学系、ケーブル配線のサイジングを行うプロセスであり、クラスタの規模が拡大しても分散トレーニング トラフィックが予測可能に保たれます。{0}これらのいずれかを間違えると、GPU - ではなくネットワーク - がボトルネックになります。

AI クラスター ネットワーキングが異なる理由

従来のエンタープライズ データセンターでは、ネットワークは南北のユーザー トラフィック、ストレージ アクセス、仮想化、管理を組み合わせて処理します。{0}東-西のトラフィックは存在しますが、それが支配的な負荷になることはほとんどありません。 AI クラスターでは状況が逆転します。分散トレーニングを実行する GPU サーバーは、ジョブの各ステップ中に勾配を交換し、パラメーターを同期します。この通信は計算の一部であり、その副作用ではありません。

30,000 ドルの GPU がすべての Reduce オペレーション中にネットワークでの待機時間の 30% を費やした場合、クラスタは実質的にそのコンピューティング容量の 30% をアイドル状態に費やしていることになります。-これが、AI ネットワーキングがこれほど注目される経済的な理由です。

次の 3 つのワークロード特性が設計を推進します。

• 東-西の交通渋滞。all{0}}reduce、all-gather、reduce-scatter などの集合的な通信操作では、多くのノード間で同期バーストが同時に生成されます。
• テール レイテンシの感度。-単一の遅いノードにより、トレーニング ステップ全体が遅れます。予測可能なレイテンシは、平均レイテンシよりも重要です。
• 成長をスケールアウトします。-32 GPU で開始したクラスターは、多くの場合、18 か月以内に 256 または 1,024 に増加します。ファブリックは再設計せずに拡張する必要があります。

スパイン-リーフが AI クラスタに適合する理由

スパイン-リーフは、すべてのサーバーに同じホップ数と同じ理論上の帯域幅を与えるため、ハイパースケール データセンターの標準ファブリックです。{1}{2} AI ワークロードの場合、この均一性はトレーニング ステップ時間の予測可能性に直接つながります。

スパイン{0}}リーフ トポロジでは、GPU サーバーがリーフ スイッチに接続され、各リーフがすべてのスパインに接続されます。あらゆる GPU- 間- GPU 通信は、ちょうど 1 つのリーフ、1 つのスパイン、そしてもう 1 つのリーフを通過します。可変遅延やチョークポイントを引き起こす集約層はありません。

予測可能なレイテンシー

等コスト マルチパス (ECMP) ルーティングにより、スパイン スイッチ間でフローが分散されます。{0}アダプティブ ルーティングまたは動的ロード バランシングを正しく構成すると、一部のフローが他のフローよりも大幅に遅くなるハッシュの衝突を防ぐことができます。- これは、少数ながら大きなフローを伝送する静的 ECMP ファブリックにおける既知の問題であり、まさに AI トレーニングが生成するものです。

高二分帯域幅

二分帯域幅は、クラスタの任意の 2 つの等しい半分の間で利用可能なスループットです。 AI トレーニングは、リーフ-からスパインへのアップリンク容量がサーバー側のダウンリンク容量と等しいかほぼ等しい、ノンブロッキングまたはほぼノンブロッキング設計の恩恵を受けます。- IETF はこれらの概念を定義し、議論しています。RFC 7938これは、大規模なデータセンターで広く使用されている BGP{0}} ルーティングの Clos ファブリックをカバーしています。-

より簡単なスケールアウト-

さらにサーバーを追加するには、リーフをさらに追加します。二等分帯域幅を増やすには、スパインをさらに追加します。数千の GPU を超えるクラスタの場合、スーパースパイン (5- ステージの Clo) またはレール最適化トポロジにより、同じ原理がさらに 1 層拡張されます。

AI クラスター ネットワークのコア コンポーネント

GPUサーバーとNIC

NIC は、ファブリックとホストが接続される場所です。 AI クラスターでは、NIC の選択により、ダウンストリーム - スイッチ ポートの速度、光学系の選択、ケーブル密度のすべてが決まります。

AI ワークロードの選択基準:

• ポート速度:ポートあたり 200G、400G、または 800G。 GPU の世代と PCIe 帯域幅に一致します。
• PCIe世代:400G NIC には、ホスト側のスロットルを回避するために PCIe Gen5 x16 が必要です。{3}} PCIe Gen4 x16 は最大 256 Gbps で使用可能です。
• RDMA および RoCEv2 のサポート:NCCL などのカーネル バイパス GPU 通信ライブラリに必要です。{0}
• GPUDirect RDMA:GPU-から-への直接 DMA を許可し、ホスト メモリのコピーを削除します。
• マルチレール機能:多くの AI サーバーは、レールに最​​適化されたトポロジのために、ノードごとに 4 つまたは 8 つの NIC、GPU ペアごとに 1 つの NIC を使用します。{2}}

現在、一般的な 8 GPU サーバーは、ワークロードと予算に応じて、400G NIC を 4 枚 (GPU 2 つにつき 1 つ) または 400G NIC を 8 つ (GPU ごとに 1 つ) を使用します。からの参照アーキテクチャNVIDIA ネットワークのドキュメント設計のトレードオフについて詳しく説明します。

リーフスイッチとスパインスイッチ

AI ファブリックのスイッチ選択基準は企業の選択基準とは異なります。バッファ サイズ、輻輳制御動作、およびテレメトリは、機能の幅よりも重要です。

• ポートごとの速度と基数:{0}}51.2 Tbps スイッチ ASIC は、64 × 800G ポートまたは 128 × 400G ポートを提供します。基数は、生地をどの程度平らにすることができるかを決定します。
• バッファアーキテクチャ:深いバッファーはインキャスト バーストを吸収しますが、レイテンシーが増加します。浅いバッファはレイテンシーを削減しますが、正確な輻輳制御が必要です。
• RoCE 機能セット:ECN マーキング、PFC、DCQCN または同等の輻輳制御、優先キューのエンドツーエンドの適切な処理。--
• テレメトリー：インバンド ネットワーク テレメトリ（INT）、キューごとの深さのレポート、ECN マークと PFC 一時停止のマイクロ秒の解像度カウンタ。{0}{1}

光学、DAC、AOC ケーブル配線

400G および 800G では、ケーブル配線プラントが実際のエンジニアリング上の問題になります。フォーム ファクター、リンク バジェット、ブレークアウト構成はすべて、早期の計画が必要です。

• DAC (ダイレクトアタッチ銅線):400G で最大 ~3 メートル、最低コストと最低電力。規模が大きいと重くてかさばります。
• AOC (アクティブ光ケーブル):最長約 30 メートル、DAC より薄いですが、長さは固定されており、両端で光電力を消費します。-
• プラグイン可能な光学系:AOC 距離を超えて必要です。 QSFP-DD および OSFP フォーム ファクタが 400G/800G の大半を占めています。 MPO/MTP ファイバー アセンブリは、並列ファイバー接続を処理します。-

400G/800G でのラック間リンクと構造化ケーブル配線では、MPO 終端を介した並列光が標準になりました。{0}トランク ケーブルとブレークアウト アセンブリのどちらを選択するかは、スイッチ ポートの割り当てによって決まります - を参照してください。MPO ブレークアウト ケーブル ガイド実用的な選択ロジックと、より広範なMPO トランクとブレイクアウトの比較リーフからスパインまでの実行を計画するとき。{0}}

AI ファブリックにおける RoCE とロスレス イーサネット

RoCEv2 (RDMA over Converged Ethernet v2) は、AI ワークロードの主要なイーサネット トランスポートです。これにより、どちらの側でもカーネルが関与することなく、NIC が GPU メモリ領域間でデータを直接移動できるようになります。ほぼすべての分散トレーニング フレームワークの基礎となる GPU 通信ライブラリである NCCL は、InfiniBand が利用できない場合に RoCEv2 を使用します。

RoCE は、正しく設定されている場合に適切に機能します。設定が間違っていると、醜く失敗します。のインフィニバンド貿易協会は RoCE 仕様を公開しており、ほとんどの NIC ベンダーとスイッチ ベンダーはエンドツーエンドで従うべき詳細な構成ガイドを公開しています。--

ロスレス動作が重要な理由

RDMA は、ロスレス転送を想定して設計されました。パケットがドロップすると、RDMA の回復にコストがかかります。- go-back-N 再送信により、トレーニング ステップがミリ秒単位で停止する可能性があります。これは、マイクロ秒規模の RDMA 予算と比較すると膨大です。-。

イーサネット上でロスレス動作を実現するために、ファブリックは連携する 2 つのメカニズムを使用します。

• PFC (優先フロー制御、IEEE 802.1Qbb):スイッチは、バッファがいっぱいになると、特定の優先キューの受信トラフィックを一時停止します。これは最後の手段のメカニズムです。-
• ECN (明示的な輻輳通知、RFC 3168):スイッチは、キューがしきい値に近づくとパケットにマークを付けます。 NIC は、バッファが実際にいっぱいになる前に送信レートを下げ、理想的には PFC を完全に回避します。

目標は、PFC をセーフティ ネットとして使用して、ECN がほぼすべての輻輳管理を行うことです。定常状態のトラフィックで PFC の一時停止が頻繁に発生する場合は、ECN しきい値が間違っているか、ファブリックのサイズが小さすぎます。-

一般的な RoCE 導入の失敗

AI クラスター ネットワークを設計する方法: 実用的なフレームワーク

これは、ほとんどの「AI ネットワーキング」記事がスキップするセクションです。以下の 7 つのステップでは、各段階での具体的なインプットとアウトプットを示します。

ステップ 1: ワークロードとスケールを定義する

入力:ワークロード タイプ（事前トレーニング、微調整、推論、混合）、現在のターゲット GPU 数、18 か月後のターゲット GPU 数、モデル サイズの範囲。{0}

出力：NIC の速度とオーバーサブスクリプションの許容度を通知するワークロード プロファイル。フロンティア モデルの大規模な事前トレーニングには、ノンブロッキング 400G 以上のファブリックが必要です。{{1}ワークロードを微調整すると、2:1 のオーバーサブスクリプションを許容できます。-推論クラスターでは多くの場合、より低い帯域幅が必要ですが、テール レイテンシーはより低くなります。

ステップ 2: サーバーごとの NIC の速度と数を選択する

決定ロジック:

• 大規模モデル、8 GPU サーバーの事前トレーニング → サーバーあたり 4 ～ 8 × 400G NIC、または 4 × 800G
• 中規模のトレーニング、8 GPU サーバー → サーバーあたり 2～4 個の 400G NIC
• 推論処理 → モデルの並列処理に応じて、サーバーあたり 1 ～ 2 個の 200G または 400G NIC

ホスト上の PCIe 帯域幅を確認します。単一の 400G ポートをライン レートで実行するには、PCIe Gen5 x16 が必要です。 800G に倍増するには、Gen6 または 2 つのスロットに分割する必要があります。

ステップ 3: 葉のレイヤーのサイズを変更する

動作した例 - 32- ノード クラスタ、ノードあたり 8 GPU、ノードあたり 4x 400G NIC:

• 必要なサーバー-側のポートの合計: 400G で 32 × 4=128 ポート
• ノードあたりのダウンリンク帯域幅: 4 × 400=1.6 Tbps
• クラスターの合計ダウンリンク帯域幅: 32 × 1.6=51.2 Tbps

64 ポートの 400G リーフ スイッチ (総容量 25.6 Tbps) を使用すると、各リーフは 32 のサーバー ポートに接続し、残りの 32 のポートをアップリンクとして使用できます。 4 つのリーフを使用すると、128 個のサーバー ポートすべてをカバーできます。各リーフは、スパインに向けて 32 × 400G=12.8 Tbps のアップリンクを提供します。

ステップ 4: スパイン レイヤーのサイズを変更する

ノンブロッキング（1:1）設計の場合、アップリンク容量の合計はダウンリンク容量の合計と等しくなければなりません。ステップ 3 から:

• 必要なリーフ アップリンクの合計: 4 リーフ × 12.8 Tbps=51.2 Tbps
• 各スパインに 32 × 400G ポート=12.8 Tbps がある場合、4 つのスパインが必要です
• 各リーフは、スパインあたり 8 つのアップリンクを使用して 4 つのスパインすべてに接続します (リーフあたり 8 × 400G × 4=12.8 Tbps - の一致)

64 ポート 400G スパイン スイッチを使用している場合、各スパインにはクラスターを拡張するための予備容量があり、ステップ 1 の 18 か月プランに役立ちます。

ステップ 5: オーバーサブスクリプション率を設定する

ステップ 6: コンピューティング、ストレージ、および管理トラフィックを分離する

分離性が高まる順に 3 つのオプション:

• QoS クラスを備えた共有ファブリック:個別の DSCP 優先順位に基づいてコンピューティング、ストレージ、および管理を行います。最低コスト。慎重な QoS 設定が必要です。
• 論理的に分離された VLAN/VRF:同じハードウェア、別個のコントロール プレーン。マルチテナント クラスタに役立ちます。-
• 物理的に分離された生地:コンピューティングとストレージの専用の NIC、スイッチ、ケーブル配線。最高コスト。これは、競合が許容されないフロンティア-モデルのクラスタで一般的です。

AI のストレージ トラフィック自体が大量です。- 大規模モデルのチェックポイント書き込みは、短時間で数百ギガバイトを移動する可能性があります。明確に計画してください。 -を使用した高密度構造のケーブル配線プラントMPO/MTP幹線ケーブル同じ物理インフラストラクチャ内での並列ファブリックの実行が簡素化されます。

ステップ 7: 実稼働前に検証する

ネットワーク-レベルのテストでは、いくつかの問題が検出されます。ワークロード-レベルのテストで残りをキャッチします。

• 帯域幅:すべてのノード ペア間で iperf3 または ib_send_bw。 NIC 回線速度の 90% 以上に達する必要があります。
• レイテンシ:ib_read_lat または同様のもの。平均だけでなく分布を確認してください。 P99.9 は平均よりも重要です。
• パケットロス:負荷をかけた状態で 24- 時間の浸漬テストを実行します。 RoCE トラフィック クラスでのゼロ以外の損失は問題です。
• ECN マーキング動作:PFC が起動する前にマークが表示されることを確認します。定常状態で PFC の一時停止が頻繁に発生する場合は、再調整してください。
• 集団コミュニケーション:NCCL テスト (all_reduce_perf、all_gather_perf) をクラスターのフル サイズで実行します。ベンダーの参照番号と比較します。
• ジョブ-レベルのテスト:代表的なトレーニング ジョブを 4 ～ 6 時間実行します。 GPU 使用率を確認してください - 適切なサイズのモデルで 50% 未満の値が継続する場合は、通常、ネットワークに問題があることを示します。-

従来のデータセンター ネットワークと AI スパイン-リーフ ファブリック

Ethernet RoCE vs InfiniBand: クイックデシジョンガイド

この疑問は、ほぼすべての AI クラスター プロジェクトで生じます。どちらも機能します。通常、選択は純粋なパフォーマンスではなく、運用上の適合性によって決まります。

• 次の場合は InfiniBand を選択してください。チームがすでに InfiniBand ファブリックを運用している場合、ロスレス トランスポートへの最もシンプルなパスが必要な場合、または完全に統合されたベンダー リファレンス アーキテクチャを購入しようとしている場合。{0}
• 次の場合はイーサネット RoCE を選択してください。運用チームがイーサネット{0}}ネイティブで、マルチベンダーのスイッチ オプションが必要な場合、AI ファブリックを既存のデータセンター ネットワークと統合する必要がある場合、または現在の InfiniBand トポロジがクリーンにサポートしている範囲を超える拡張が予想される場合です。

2023 年に設立されたウルトラ イーサネット コンソーシアムは、AI ワークロードに特化したイーサネット拡張機能の標準化に積極的に取り組んでいます。 2026 年のほとんどの新しいクラスターでは、他を選択する特別な理由がない限り、イーサネット RoCE が防御可能なデフォルトになります。

避けるべきよくある間違い

NIC をチェックせずにスイッチをアップグレードする

NIC が 400G で実行されている場合、またはホスト PCIe の帯域幅が不足している場合、800G スイッチ ファブリックは何も役に立ちません。最初にホスト側を設計し、次にスイッチ側を設計します。 PCIe Gen5 x16 は、単一ポートの実際のスループットを約 504 Gbps -に制限します -。400G では快適ですが、800G では限界です。

ポート速度を最適化するが、ケーブル密度は無視する

64- ポート 400G の葉では、各スイッチの下のケーブル配線が計画なしに物理的に管理できなくなる可能性があります。必要に応じてブレークアウト ケーブルを使用し、構造化された経路にファイバーを配線し、コネクタの種類を標準化します。コネクタの品質と終端は高速では重要です - 当社の光ファイバーコネクタのタイプガイドLC、MPO、および新たな高密度フォーム ファクタの間のトレードオフについて説明します。{0}}

RoCE をプラグ{0}}アンドプレイとして扱う-

実際の AI クラスタにおける最大の設計ミスは、間違ったスイッチを選択していないことです。- 必要なエンドツーエンドの RoCE 構成作業の量を過小評価していることです。-- ECN しきい値、PFC 優先順位、MTU の一貫性を調整するための時間を確保します。実稼働ワークロードを実行する前に、専用の検証フェーズを計画します。

QoS を使用せずに 1 つのファブリック上ですべてのトラフィックを混在させる

ストレージ レプリケーション、監視エージェント、および管理トラフィックがコンピューティング トラフィックとバッファを共有すると、トレーニング ステップ時間が大幅に短縮される可能性があります。それらを物理的に分離するか、別個の優先順位と ECN 構成で厳密な QoS クラスを適用します。

今日のクラスター専用の構築

ほとんどの AI クラスターは、最初の導入から 2 年以内に 4 ～ 8 倍に成長します。無停止の拡張を可能にするスイッチの基数とスパインの容量を選択してください。-ライブ AI データセンターにケーブルを引くには費用がかかります。導入時にコンジットとパッチの容量を計画するのは安価です。

400G から 800G にステップアップする時期

800G NIC とスイッチも利用できますが、ポートあたりのコストが高くなります。次の場合はステップアップを検討してください。

• -GPU あたりの帯域幅のニーズは、400G が提供できる帯域幅を超えています-。たとえば、NVLink 5 を搭載した H100 以降の GPU では、より高い外部帯域幅が期待されます
• NCCL はすべて-クラスタ サイズに応じて時間の短縮が不十分であり、ネットワークの飽和を示しています
• 400G のケーブル密度は物理的に管理できなくなりつつあります - 少ない 800G ポートでより多くの 400G ポートを置き換えることができます
• ロードマップ内の次の GPU 世代では、クラスターの減価償却期間内にそれが必要になることが予想されます
• あなたはフロンティア モデルのトレーニング クラスタを構築しています。{0}コンピューティングのアイドル時間には光学系のアップグレードよりも大幅にコストがかかります

2026 年のほとんどの実稼働クラスタにとって、コスト、エコシステムの成熟度、機能の適切なバランスは 400G のままです。. 800G は、ハイエンドとして、また現在構築され 4 ～ 5 年間稼働すると予想されるクラスタへの先行投資として意味があります。

結論

最強の AI クラスター ネットワークは、最速のスイッチを備えたネットワークではありません。これは、NIC の選択、リーフ/スパインのサイジング、オーバーサブスクリプション、RoCE 構成、トラフィック分離、および物理ケーブル接続がすべて相互にサポートし、選択されたワークロードをサポートするものです。

ワークロードと 18 か月の成長計画から始めます。-経験則だけでなく実数を使用して、各レイヤーで必要な帯域幅を計算します。 RoCE をエンドツーエンドで構成し、実際の集団通信ベンチマークで検証します。--ケーブル配線工場の予算 - 400G および 800G では、物理層はもはや簡単ではなくなります。

すべてのトレーニング ステップを通じて GPU を 95% 以上の使用率でビジー状態に保つクラスターは、これらすべてのレイヤーに注意を払ったクラスターです。より高速なスイッチとより低速なファブリックを搭載したクラスターは、GPU がアイドル状態になる理由を説明するのに何年もかかります。

さらに読む

• RFC 7938 - 大規模データセンターにおける BGP-
• InfiniBand Trade Association - RoCE 仕様
• NVIDIA ネットワークのドキュメント
• 光ファイバーケーブル設置ガイド
• 挿入損失と反射損失の説明