AI クラスター用の QSFP-DD: 推測せずに 400G と 800G のどちらかを選択する方法

Aug 03, 2026

ご伝言

QSFP-DD は、スイッチまたはエンドポイントがすでにネイティブ QSFP- DD ケージを使用している場合、認定された QSFP- ファミリ モジュールとファイバーの大規模なベースを稼働し続ける必要がある場合、およびプラットフォームがすべてのポートが装着された状態で選択されたモジュールを冷却できる場合に、AI クラスタに適しています。 GPU サーバーとスイッチがネイティブ OSFP ケージを中心に構築されている場合、または実際に必要な光学系がホストが提供できる以上の熱ヘッドルームを必要とする場合、これは間違った出発点です。

フォームファクターは最初の決定事項ではありません。大体4番目くらいです。最初の実稼働トレーニングの実行に耐えられるネットワーク設計は、サーバー インターフェイス、レールの数、ターゲット トポロジ、許容可能なオーバーサブスクリプション率、および測定されたケーブル ルートから始まります。その場合にのみ、モジュールの形状が重要になります。

このガイドでは、作業容量の計算、リンク選択テーブル、ラボ チームに渡すことができる検証シーケンスを含めて、その順序をエンドツーエンドで説明します。{0}

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

どのフォームファクターを選択すべきですか?

エンドポイント条件 評価する最初の選択肢
両端がネイティブ QSFP-DD / QSFP-DD800 QSFP-DD
両端はネイティブ OSFP OSFP
設置済みの 400G QSFP ベースからの移行 QSFP-DD、ホストが必要なポートモードをサポートしている場合
ネイティブ ケージが OSFP であるプラットフォーム上の高出力光学系- OSFP
一方の端は OSFP、もう一方の端は QSFP-DD 認定されたクロス-フォームファクタ- DAC/AEC、または両端で一致する PMD、レーン レート、FEC モードを備えた光リンク

基礎となるルールは短いです。エンドポイントにネイティブなケージを選択し、その正確な部品番号の電気レーン レート、光インターフェイス、FEC モード、電力クラス、およびファームウェアを確認します。以下のすべては、そのルールを正直に適用するために必要な作業です。

5 つの決定を順番に

不適切な AI ネットワーク構築のほとんどは、これらの決定を順番どおりに行うことで発生します。- 最初にモジュールを選択し、後で制約を発見します。以下の各ステップは次のステップに影響を与え、それぞれのステップでその後のステップで購入できるものが変わります。

  1. エンドポイントを確認します。すべてのリンクの両端のネイティブ ケージ タイプとプロトコル モード。
  2. 容量を計算します。ノードごと、レールごとのポート、および目標のオーバーサブスクリプション率でのリーフのダウンリンクおよびアップリンクの容量。
  3. 物理リンクを選択します。測定された配線の長さ、ファイバープラント、コネクタ、ブレークアウト要件。
  4. 部品番号を検証します。FEC、レーンレート、電力クラス、ファームウェア、CMIS リビジョン、ベンダー認定。
  5. 障害ドメインごとに展開します。最初にラボを実施し、次にラック、レール、またはスケーラブル ユニットを一度に 1 つずつ実施します。

ステップ 1: フォームファクター、プロトコル、光インターフェイスを分離する

これら 3 つの事項は常に 1 つの決定にまとめられており、互換性に関する驚きのほとんどはその崩壊から発生します。これらは個別の管理文書を持つ個別のレイヤーです。

フォームファクター機械的寸法、ホスト コネクタ、電気レーン、管理動作、熱設計を定義します。のQSFP-DD MSA ハードウェア仕様機械的、電気的、熱的要件をカバーしており、その後のリビジョンでは、QSFP ファミリとの下位互換性を維持しながら、同じ 8 レーンのホスト ポートを 800G および 1.6T バージョンに拡張しています。{0}さらに進む前に、機械と管理の背景を知りたい場合は、QSFP-DD の技術概要フォームファクター自体について詳しく説明します。

プロトコル- イーサネット、RoCEv2 または InfiniBand - は、ケージの形状ではなく、NIC、スイッチ ASIC、ファームウェア、およびポート構成によって決まります。 QSFP-DD モジュールは、フォーム ファクターの特性として「イーサネットと InfiniBand の両方をサポートする」と決して説明すべきではありません。その機能はホストに属しており、特定のポートで確認する必要があります。

光インターフェース- DR8、FR4、SR8、LR - は、レーンの編成、リーチ、およびアプリケーションを説明します。コネクタ、ファイバー数、ブレークアウト マッピング、または電気レーン レートについては説明しません。同じ光ラベルを保持する 2 つのモジュールは、それぞれが異なる場合があります。シグナリング自体は MSA ではなく IEEE によって定義されます。IEEE標準802.3df-2024800 Gb/s 動作用の MAC パラメータと物理層、および追加の 400 Gb/s PHY が追加されました。

管理行動は 4 番目の静かな層です。 QSFP-DD モジュールと OSFP モジュールは両方とも CMIS を通じて管理され、リビジョンはファームウェアの更新動作、アプリケーションの選択、ホスト- モジュールのタイミングに影響します。公開されたリビジョンは、OIF実施協定.

ステップ 2: GPU 数ではなく、サーバー ポートに基づいてネットワークのサイズを決定する

GPU 数はクラスターの大きさを示します。ネットワークはサーバー インターフェイスしか認識しないため、ネットワークが何を伝送する必要があるかはわかりません。

2 つの例が要点を示しています。 NVIDIA DGX H100/H200 システムは、8 つの ConnectX-7 コンピューティング- ファブリック インターフェースをそれぞれ最大 400 Gb/s で公開しますが、これらは 8 つの物理ケージではありません。 SuperPOD リファレンス アーキテクチャは、8 つの GPU すべてに到達する 4 つの 2- ポート トランシーバー。対照的に、DGX B300 には次のような特徴があります。GPU トレイ上の 8 つのネットワーク ポート8 つの ConnectX-8 インターフェイスを最大 800 Gb/s で提供します。 GPU 数は同じですが、ポート インベントリ、ケーブル数、光学系の料金はまったく異なります。

したがって、単一のスイッチ データシートを確認する前に、ノード タイプごとに、コンピューティング{0}}ファブリック ポート、ポート レート、NIC-から GPU またはレール マッピング、-へのマッピング、ネイティブ ケージ タイプ、サポートされているプロトコル モード、および個別のストレージと管理インターフェースなどを文書化します。 GPU の数ではなく、そのインベントリが、その後のすべての計算への入力となります。

作業能力の計算

レールに最​​適化された設計で、レールごとに 1 ポートずつ、8 つの 400G コンピューティング ファブリック ポートを備えた 32 ノードのスケーラブルなユニットを例に挙げます。{2}一度に 1 つのレールを作業します。

  • レール リーフあたりのダウンリンク容量= 32 ノード × 1 ポート × 400G =12.8TB/秒
  • 1:1 (非-)、必要なアップリンク容量=12.8 Tb/s → 12,800 ÷ 800 =16 × 800G アップリンク
  • 2:1で、必要なアップリンク容量=6.4 Tb/s →8 × 800G アップリンク

次に、スイッチの基数と比較して結果を確認します。32 のダウンリンクと 16 のアップリンクには、そのリーフ上で 48 の使用可能なポートが必要であり、これによりスイッチの選択が即座に制限されます。冗長性とメンテナンスのためにリンクを追加し、レールごとに繰り返します - 8 つのレール、8 つのリーフ グループ、1 つの集合数ではありません。ここで 800G がその地位を獲得するかどうかが決まります。ここではアップリンク ポート数が半分になりますが、これは帯域幅の引数ではなく基数の引数です。

レール-最適化され、バランスの取れたファット ツリー- ファブリックは、大規模トレーニング クラスタ用の NVIDIA ドキュメントのパターン - です。DGX H100 SuperPOD リファレンス アーキテクチャシステムごとに 8 つのコンピューティング接続を持つフル ファット ツリーを使用します。-そのパターンがワークロードに適しているかどうかは設計上の判断ですが、上記の計算方法はトポロジに関係なく当てはまります。

ステップ 3: 4 つのファブリックすべてを計画し、モジュールに戻ります

AI クラスターは 1 つのネットワークではありません。 DGX SuperPOD リファレンス アーキテクチャは別々ですコンピューティング、ストレージ、-帯域内管理、-帯域外管理-ファブリックがあり、それぞれが独自のポートと光学要件を生成します。

のコンピューティングファブリック勾配交換、パラメータ同期、コレクティブ、およびリモート メモリ操作を実行します。レイテンシ、輻輳、パスの対称性の要件が最も厳しく、800G と 400G の議論が実際に決着する場所です。{{1}

の収納生地トレーニング データ、チェックポイント、モデル アーティファクトを保持します。その容量は、データセットの形式、キャッシュ ヒット率、データローダーの並列処理、チェックポイントの頻度、メタデータの強度 - によって決まります。そのため、「ストレージには 400G で十分」が安全なデフォルトではありません。リファレンス アーキテクチャは、システム レベルでストレージ パフォーマンスを指定し、それをコンピューティング ファブリックから正確に切り離すため、2 つのワークロードが相互に損害を与えないようにすることができます。

の-帯域内管理ネットワークプロビジョニング、スケジューラ トラフィック、レジストリ、リポジトリ、監視を実行します。の-帯域外ネットワーク-BMC、スイッチ管理ポート、およびラック電源に到達し、実稼働ファブリックが壊れている間も到達可能な状態を維持する必要があります。残りの低速トラフィックとしてではなく、独自のアップリンクを備えたリカバリおよびセキュリティ パスとして扱います。-

モジュール選択の実際的な結果は次のとおりです。各ファブリックは独自のポート数、独自の距離プロファイル、独自のケージ タイプに寄与し、多くの場合、それらは異なります。何も問題なく、クラスタはコンピューティングでは OSFP、ストレージと管理では QSFP-DD になります。

ステップ 4: 傾向ではなく制約から 400G または 800G を選択する

800G ポートは公称容量を 2 倍にします。アプリケーションが生成するトラフィックは削減されません。その価値は、ほとんどの場合、構造的に - 少ないリンク、基数効率の向上、またはネイティブ 800G エンドポイントです。

400G がより良い選択であることに変わりはありませんコンピューティング エンドポイントがネイティブ 400G である場合、現在のファブリックがすでにブロッキング ターゲットを満たしている場合、クラスターが利用可能な基数内で成長している場合、認定された 400G モジュールとケーブル配線ベースがすでに存在している場合、または電力と冷却の制約により 800G が魅力的ではない場合があります。 800Gを使用するアップリンク400G を超えるサーバーでも - は完全に合理的ですが、ラベルではなく上記のポート演算から正当化されます。

800Gによりデザインが向上サーバーがネイティブ 800G インターフェースを公開する場合、多くの 400G フローを少数のスパイン リンクに集約する必要がある場合、スイッチ ポート数がバインド制約である場合、または 800G から低速の子インターフェースへのブレークアウトにより移行が簡素化される場合。{3}}正確に言うと、800G では物理リンクまたはスイッチ ポートの数を減らすことができます。集計と基数が制限的な制約となる設計の場合。自然の法則としてはそうなりません。

Comparison of 400G and 800G AI cluster network architectures

混合速度の移行には明示的なドキュメントが必要です。{0}

ブレークアウトとは、混合速度の設計が静かに失敗する場所です。-最新の NIC では、これを固定ではなく構成可能にしています - NVIDIA の ConnectX-8ポート分割に関するドキュメント-は、単一の 800G OSFP ケージが 2 つの 400GbE ポートまたは 8 つの 100GbE ポートに再構成されており、それぞれファームウェア レベルの構成変更と電源の入れ直しが必要であることを示しています。-この柔軟性は、ベンダーがテストして公開した場合にのみ存在します。

したがって、移行計画では、ポートごとに、どのポートがどの速度で実行されるか、ホストが目的のブレークアウト モードをサポートしているかどうか、両端の電気レーン レート、ブレークアウトが論理ベースか、光ベースか、ケーブル ベースか、各子インターフェースに必要な FEC モード、既存のファイバ数とコネクタ タイプを再利用できるかどうか、監視が各子ポートをどのように識別するかを記載する必要があります。{0}}低速モジュールを挿入しても、すべてのホスト モードが使用可能になるわけではありません。-。

QSFP-DD 対 OSFP

決定要因 QSFP-DD OSFP
QSFP- ファミリの互換性 ネイティブ、ホストがモードをサポートする場合 専用のアダプターを介して一部のモジュールで可能-
モジュールサイズ より小さい より大きな
熱設計 ライディング-ヒートシンク設計。全人口で検証する 一体型またはライディングヒートシンク。 MSA はより高い電力クラスを定義します
一般的な AI- システムの使用法 イーサネット スイッチ、混合速度のプラットフォーム- いくつかの高性能 GPU および InfiniBand プラットフォーム-
決定ルール エンドポイントがネイティブ QSFP である場合を優先します-DD と QSFP の再利用が重要です エンドポイントがネイティブ OSFP である場合、または光学系がそのパワー エンベロープを必要とする場合に推奨

2 つの主張には制限が必要です。まず、「OSFP には下位互換性がない」という表現は広範すぎます -OSFP MSA専用アダプタを介した QSFP の互換性が文書化されており、そのモジュール仕様では、OSFP の熱評価を高める高電力クラスと統合ヒートシンク オプションが定義されています。{0}第二に、その評判は仕様の上限であり、保証ではありません。特定のシャーシが実際にすべてのケージで 30W- クラスのモジュールを実行できるかどうかは、ケージの設計、エアフローの方向、吸気温度、ファンのポリシー、隣接するポートのディレーティング、およびシステム ベンダー独自の制限によって決まります。-

これが、完全な実装温度検証が交渉の余地のない理由です。-1 つのポートを通過するモジュールは、32 または 64 個のポートすべてが点灯している場合、およびファンまたは電源に障害が発生した場合に、そのケース温度制限を超える可能性があります。-実際の入口温度で、実装されたシステムをテストします。

サーバーが OSFP でスイッチが QSFP-DD の場合は、標準化への抵抗を避けてください。アダプターにより、機械的クリアランス、エアフロー、電力、信号整合性、在庫、サポートに関する考慮事項が追加されます。-認定されたクロス-フォーム ファクタ- ケーブル、または両端に一致する PMD と FEC を備えた光リンクは、多くの場合、形状を一致させるためにハードウェアを交換するよりもクリーンです。

QSFP-DD and OSFP transceivers compared by size and thermal design

ステップ 5: 測定された距離と既存のファイバーに基づいてリンクを選択します

キャパシティとエンドポイントにより、ポート速度とケージが固定されました。距離と設置されたファイバープラントがその他すべてを解決します。ルールではなくエンジニアリング ガイドラインとして、技術的に有効な最短のリンクは通常 - の運用が最も簡単ですが、柔軟性、ケーブル直径、保守性、ブレークアウト要件はすべてそれに反します。

ルート 代表的なオプション 確認すべきこと
ラック内、非常に短い- パッシブDAC 正確な長さとケーブルのタイプが両端でサポートされています。曲げ半径。重さ
短いがパッシブ銅線を超えている AEC / ACC 消費電力、遅延の増加、エアフローの遮断、ベンダー認定、ポート モードのサポート
短い光学式、固定長も許容可能 AOC 保守性 - 障害が発生すると、アセンブリ全体が置き換えられます
マルチモード、-行から隣接する-行まで SR- クラスの並列光学系 繊維のグレードと限界に達する。私たちのを参照してくださいOM1 ~ OM5 の距離制限ガイド
シングル-モード、サブ-、ブレークアウトが必要 DR- クラスの並列光学系 MPO サイズ、極性、APC/UPC ポリッシュ、ブレークアウト マッピング
シングル-モード、キロメートルスケール FR-クラスの二重または並列、製品に応じて コネクタのタイプは部品番号によって異なります。繊維グレード - の比較OS1 および OS2 シングルモード ファイバー-

コネクタの実装は光ラベルによって暗示されていないため、ここでは落とし穴となります。ベンダーは、デュアル MPO-12 またはシングル MPO-16 接続を備えた 800G DR8 製品と、並列 MPO またはデュアル二重 LC を備えた 2 km FR クラス製品を出荷しています。どちらの亜種も正当です。まったく異なるケーブル配線が必要になります。トランクを注文する前に、コネクタに関する質問を慎重に解決してください。MTP と MPO の選択ガイド機械的および極性の違いをカバーしています。MPO ブレークアウト ケーブル ガイドブレークアウト ポートが依存するファンアウト マッピングについて説明します。{0}

さらに 2 つのアイテムが同じ会話に属します。チャネル損失は、想定されていないコネクタとスプライスを考慮したモジュールの仕様に基づいて予算を立てる必要があります。- を参照ファイバーネットワーク内で挿入損失がどのように蓄積されるか。また、列間の構造化されたケーブル配線は、事前に終端処理されたものに構築されていると保守が容易になります。-MPO/MTP幹線ケーブル現場で組み立てられた実行ではなく、文書化された極性方法を使用します。-デュプレックス FR リンクが使用される場合、コネクタ端面の品質がリターンロスを直接的に左右します。のLCコネクタガイド検査対象をカバーします。

すべてのリンクについて、ホスト ケージ、ホスト レーン レート、設定されたポート速度、PMD またはケーブル タイプ、コネクタ、ファイバのタイプと数、最大チャネル損失、FEC モード、ブレークアウト マッピング、モジュール アプリケーション コード、CMIS およびファームウェアの要件、最大電力、認定ステータスを記録します。このリンクごとの記録は、どの光学部品がどこに配置されるかに関する一般的なルールよりも価値があります。-

AI network interconnect options from DAC cables to duplex optics

RoCEv2 または InfiniBand: これを個別に決定します

プロトコルの選択はフォームファクタとは無関係であり、運用上の根拠に基づいて選択する必要があります。

RoCEv2スイッチング プラットフォーム上で検証済みの RoCE 機能を備え、QoS、輻輳制御、テレメトリ、およびホスト構成を所有できるチームを備え、すでにイーサネットを大規模に実行している組織に適しています。注意点は、「PFC と ECN を有効にする」は展開計画ではないということです。 NVIDIA の Cumulus Linux ドキュメントでは次のように説明されています。複雑な構成としての RoCEスパン バッファ プール、トラフィック分類、プライオリティ マッピング、PFC および ECN のしきい値とスケジューリング、PFC と ECN を一緒に使用するロスレス モードと ECN のみを使用するロッシー モード - があり、あるスイッチ ASIC 世代に対して生成された設定は別のスイッチ ASIC 世代には引き継がれないことに注意してください。

インフィニバンド統合されたファブリック管理が価値があり、チームがすでにツールと専門知識を備えている場合、検証済みのベンダー アーキテクチャに従った展開に適しています。

選択は、テストされたアプリケーションの動作、運用スキル、サポート境界、および全体的なシステム設計に基づいて行われます。マーケティング パフォーマンスのパーセンテージは、トポロジ、ソフトウェア バージョン、メッセージ サイズ、輻輳状態、NIC 構成に依存し、別のクラスターに転送されることはほとんどありません。

検証: 大量購入する前に何をテストするか

代表的なラボ テストは 4 つの領域をカバーしており、不安定なリンクからのパフォーマンス数値は無意味であるため、順序が重要なのは最初に - リンクの安定性です。

-次のことを呼び出します:コールド ブート、ウォーム リブート、モジュールの挿入と取り外し、ポートの無効化/有効化、ブレークアウトの作成と削除、および両端が異なるシーケンスで再起動されます。信号の完全性:プレ-FEC BER、修正済みおよび修正不可能なFECカウント、レーン-レベルのエラー、PRBSまたはBERT(サポートされている場合)、光送受信電力、モジュールケース温度、熱負荷時のリンク-フラップ数。パフォーマンス:持続的なスループット、ジョブが実際に使用するコレクティブとメッセージ サイズ、同時マルチレール トラフィック、インキャスト、ストレージ-プラス-のコンピューティング競合、ロング ソークなどです。失敗:シングル リンク、リーフ スイッチ、スパイン リンク、パワー サイクル回復、{0}}ケーブルとモジュールの交換、管理パスの損失。-

合格/不合格だけでなく、しきい値を記録します。修復不可能な FEC エラーは、正常なリンクではゼロになるはずです。 pre-FEC エラー率は、モジュールの指定されたマージン内に収まり、ソーク中にケース温度が上昇してもその範囲内にとどまる必要があります。 48 時間のソーク期間中に上昇傾向にあるリンクは、実稼働環境で失敗するリンクです。

次に、障害ドメインごとに - 1 つのラック、1 つのレール、1 つのリーフ ペア、または一度に 1 つのスケーラブル ユニットを展開し -、リンク状態の変化、FEC 修正数と修正不能数、モジュール温度、光パワー、PFC 一時停止アクティビティ、ECN マーキング、キュー占有率、ジョブ レベルの通信時間を監視します。-。リンクがまだ稼働している場合でも、劣化している可能性があります。修正された-エラーと温度傾向の上昇は、最も早い警告です。

3 つの設計シナリオ

既存の 400G イーサネット ファブリックを拡張します。認定済みの QSFP-DD 400G スイッチと構造化されたケーブル配線がすでに設置されています。新しいノードは 400G を公開します。サーバー側のリンクを 400G に保ち、上記のアップリンク計算を実行してブロック率をテストし、スパイン ポートの効率が得られる場合にのみ 800G を導入します。損失予算が許す限り、認定された光ファイバーとファイバーを再利用し、購入前にすべての混合速度ブレークアウト構成を検証します。-この決定は、GPU 数ではなく、基数の切り替えによって決まります。

800G- ネイティブ クラスタの構築。サーバーはネイティブ 800G を公開します。サーバー ベンダーの検証済みトポロジに従い、対応するネイティブ ケージを備えたスイッチを選択し、入口温度での全実装熱容量を検証し、測定されたルート長から相互接続を選択し、コミット前に各ブレークアウトと FEC の組み合わせを検証します。-ここで、800G はエンドポイント自体によって正当化されます。

2 つのフォーム ファクターを使用して生活します。サーバーは OSFP です。イーサネット スイッチング資産の一部は QSFP-DD です。認定されたクロス-フォームファクター- DAC または AOC アセンブリ、両端の異なるケージとの光相互運用性、承認されたアダプタ、電力と熱への影響、予備在庫、サポート所有権を比較します。モジュールの形状を標準化するために純粋に片側を交換する場合、多くの場合、文書化された混合環境を運用するよりもコストが高くなります。

やり直しを引き起こす 7 つの間違い

  • まずはGPU数から。NIC 数、レール マッピング、ポート レート、またはオーバーサブスクリプションについては説明しません。サーバーインターフェースから計算します。
  • すべてのジョブで 800G の方が高速であると仮定します。エンドポイント、トポロジ、トラフィック パターンで使用できる場合にのみ役立ちます。実際に実行しているコレクティブをベンチマークします。
  • QSFP-DD をプロトコルとして扱います。檻です。ケージ、プロトコル、電気モード、光学系、FEC を個別に検証します。
  • ストレージと管理ファブリックを無視します。高速コンピューティング ファブリックでは、遅いチェックポイント配信や到達不能な BMC を補うことはできません。
  • 光ラベルをケーブル仕様として読み取る。DR8 および FR4 では、コネクタ、ファイバ数、ブレークアウト設計は指定されていません。正確な部品番号と配線図を使用してください。
  • 1 つのポートをテストしています。-実際のテストは全人口の気流と吸気温度です。
  • メソッドを使用せずにパフォーマンスのパーセンテージを引用する。トポロジとテスト方法を公開するか、番号を削除します。

防御できる TCO モデルの構築

資本コストには、NIC または DPU、リーフおよびスパイン スイッチ、トランシーバー、DAC、AEC および AOC、ファイバー トランクとパッチング、ラックとケーブルの管理、テスト機器とスペアが含まれます。運用コストには、モジュールとスイッチの電源、冷却、監視、ファームウェアの認定、トレーニング、交換作業、ベンダー サポートが含まれます。リスクコスト - 通常省略されるもの - には、互換性の障害、展開の遅延、熱ディレーティング、リンクの不安定性、再配線、トレーニング ジョブの中断、復旧時間の延長が含まれます。-

下位互換性により真の意味でコストが削減されますが、その削減効果は、必要な速度とモードで再利用できる特定の機器から計算する必要があります。フォームファクタの互換性だけでは、現在の ASIC、PCB、ケージ、冷却システム、ファームウェア、または電力バジェットが次世代で動作できることを保証するものではありません。将来の移行速度の向上は、コネクタの問題ではなく、プラットフォームの問題として扱います。

よくある質問

QSFP-DD は AI トレーニング クラスタに適していますか?

はい、選択したスイッチまたはエンドポイントにネイティブである場合、全ポート実装時の熱要件を満たし、必要なポート モードと光インターフェイスをサポートします。公称データ速度だけでは、それを選択する理由にはなりません。

800G ネットワークを必要とする GPU はいくつありますか?

GPU のしきい値はありません。サーバーごとのネットワーク ポート、ポート速度、レール マッピング、トポロジ、オーバーサブスクリプション ターゲット、およびアプリケーション トラフィックから計算します。- 上記のステップ 2 の方法。

QSFP-DD は OSFP よりも優れていますか?

どちらが一般的に優れているというわけではありません。 QSFP-DD は、ネイティブ QSFP- ファミリとの互換性を備え、設置面積が小さくなります。 OSFP の仕様は、より高い電力クラスと統合されたヒートシンク オプションを定義しており、いくつかの高性能 AI プラットフォームにネイティブです。-エンドポイントが決定します。

OSFP ポートは QSFP モジュールを使用できますか?

一部の OSFP 実装は、承認されたアダプターを通じて QSFP モジュールをサポートしますが、互換性、電源、ポート モード、ベンダー サポートはすべて、特定のプラットフォームについて検証する必要があります。

QSFP-DD はイーサネットと InfiniBand の両方に使用できますか?

フォームファクタはプロトコルを決定しません。ホスト ポート、NIC、スイッチ、ファームウェア、ケーブル、トランシーバーはすべて、意図した動作モードをサポートしている必要があります。

どの 800G トランシーバーを使用すればよいですか?

測定距離、エンドポイント ケージ、必要なブレークアウト、ファイバー タイプ、コネクタ、レーン レート、FEC モード、電力クラス、ベンダー認定から開始します。光インターフェイス名だけでは十分ではありません。

QSFP-DD 下位互換性により、1.6T への簡単なアップグレードが保証されますか?

いいえ。ASIC、PCB、ケージ、冷却、または電力バジェットが新しいレーン レートをサポートできない場合でも、ホスト ポートはモジュールを機械的に受け入れる可能性があります。プラットフォーム レベルで確認します。

注文書に署名する前に

すべてのリンク タイプの両端にあるエンドポイント ケージを確認します。ノードごとのコンピューティング ファブリック ポートの数と速度。{0}レールマッピングとターゲットのオーバーサブスクリプション率。冗長性を含むリーフおよびスパインのポート数。 4 つのファブリックすべての要件。動作モードと、RoCE の完全な輻輳制御設計。-測定されたケーブルルートとその結果の相互接続の選択。コネクタ、極性、損失バジェット。 FEC およびブレークアウト モード。全実装温度制限に対するモジュール電力。-ファームウェアとCMISの互換性。ベンダー認定ステータス。 BER、パフォーマンス、輻輳、障害、およびソーク テストのラボ結果。

QSFP-DD は、スケーラブルな 400G または 800G AI ファブリックをサポートします。これはまだデザインの 1 つのコンポーネントにすぎません。エンドポイントとトラフィック モデルから開始し、トポロジを計算し、測定された距離から物理リンクを選択し、トレーニング ジョブを実行する前に組み立てられたシステムを検証します。

方法論と範囲

このガイドでは 3 種類のソースを参照していますが、上の本文ではそれらを意図的に区別して記載しています。規格およびMSA文書- IEEE 802.3df、QSFP-DD および OSFP MSA ハードウェア仕様、および OIF CMIS 実装規約 - は、フォーム ファクター、シグナリング、および管理動作を定義します。ベンダーのドキュメント- NVIDIA DGX システム ガイド、DGX SuperPOD リファレンス アーキテクチャ、ConnectX-8 ポート構成ノート、および Cumulus Linux RoCE ドキュメント - は、普遍的な動作としてではなく、ベンダー固有の例として引用されています。他のプラットフォームは異なります。エンジニアリングガイドライン- 順序付けのアドバイス、短いリンクの優先順位、検証しきい値 - は、導入の実践から導き出された運用上の推奨事項であり、仕様として提示されるのではなく、そのようにラベル付けされています。

 

お問い合わせを送る