400G NIC と 800G NIC: どちらを選択すべきですか?

400G NIC と 800G NIC のどちらを選択するかは、チェックアウト ページの比較ではなく、ファブリックの決定です。-より高速なアダプターは、サーバー、スイッチ、光学系、ケーブル配線がエンドツーエンドでその速度を実現できる場合にのみ効果を発揮します。このガイドでは、導入と調達の観点からトレードオフを検討しているため、アダプタ、スイッチ、トランシーバ、DAC、AOC、AEC、またはファイバに予算を割り当てる前に決定できます。-

簡単に言えば、400G NIC は、今日のほとんどの AI、HPC、ストレージ、クラウド ワークロードにとって、成熟したコスト効率の高いデフォルトであり、NDR InfiniBand および PCIe Gen5 ホストにきれいにマッピングされます。- 800G NIC は、より高密度の GPU、より重い東西トラフィック、そして XDR InfiniBand、800G イーサネット、そして最終的には 1.6T に向けたロードマップを備えた次世代 AI ファブリックを構築するときに、その価値を最大限に発揮します。{{5}

400G 対 800G NIC

サーバー、スイッチ、光プラントがすでに 400G イーサネットまたは NDR InfiniBand で標準化されている場合、またはワークロードがすべての GPU- から - GPU パスに飽和しない場合は、400G NIC を選択してください。また、ポートのピーク速度よりも可用性、予算、認定までの時間が重要な場合には、これがより安全な通話になります。

大規模なトレーニング、高密度 GPU サーバー、または次世代アクセラレータのボトルネックになる場合は、800G NIC を選択してください。-これにより、一定量の帯域幅に必要なリンクと光モジュールの数がおよそ半分になり、次のアップグレードに備えてファブリックが準備されます。

800G ポートは、システムの残りの部分がそれに給電できる場合にのみ購入する価値があります。ホストが十分な PCIe レーンをアダプターに公開できない場合、800G NIC はパフォーマンスのアップグレードではなく、高価で十分に使用されていないポートになります。

400G NICとは何ですか?

400G NIC は、ポートあたり最大 400 ギガビット/秒で移動するネットワーク アダプターです。 AI および HPC 環境では、GPU- クラスタ ネットワーキング、分散トレーニング、ストレージ アクセス、MPI トラフィック、RoCE ファブリック、NDR InfiniBand リンクを処理します。ほとんどの通信事業者にとって、400G はすでに 100G や 200G からの大幅なジャンプであり、サーバー層やスイッチ層の再設計を強いることなく、明らかなボトルネックを取り除くことができます。

現在 400G NIC が適している場所

400G アダプタは、現行世代の GPU、HPC および科学技術コンピューティング ファブリック、高性能ストレージ ネットワーク、RoCEv2 イーサネットおよび InfiniBand ファブリック、一般的なクラウド サーバー フリート、および混合世代ルームでの 100G/200G- から - へのアップグレードにおける AI トレーニング クラスタ全体で動作するデフォルトです。-このような設定では、400G が妥協することはほとんどありません。クラスター サイズ、GPU 数、予算が 800G の複雑さの増加に見合わない場合、これは単に適切な速度クラスです。

400G が依然として意味をなす理由

NIC の選択はシステム バランスの問題です。-ホストが 800G アダプタに電力を供給できない場合、ワークロードがコンピューティング-またはストレージ-に制限されている場合、またはスパインが依然として 400G である場合、800G NIC を追加すると、アプリケーションのパフォーマンスは変わらずにコストが増加します。 -オーバーサブスクリプションが低く、クリーンなトポロジ、RDMA、高品質の光学系、調整された輻輳制御を備えた、適切に構築された 400G ファブリックは、要求の厳しい AI および HPC ジョブを快適に実行します。

800G NICとは何ですか?

800G NIC は、ポートごとに最大 800 ギガビット/秒を実現します。これは、通信需要が従来のサーバー ネットワーキングを上回っている次世代 AI データセンター、大規模 GPU クラスタ、ハイパースケール ファブリックをターゲットとしています。{3} 800G 世代が標準化されました。IEEE 802.3df 標準、2024 年に承認は、800 ギガビット イーサネットを定義し、1x800G、2x400G、8x100G などのサブレートをサポートしています。これにより、混合速度の移行が実用的になります。-

その価値は、ヘッドライン レートが 2 倍になったことだけではありません。{{0}G により、アーキテクトは帯域幅密度を高め、リンクとモジュールの数を削減し、より積極的な全対全トラフィックによる大規模なトレーニング ファブリックをサポートできるようになります。--

AI クラスターが 800G に移行する理由

大規模な-モデルのトレーニングでは、GPU-から-、サーバー-から-への膨大なトラフィックが発生します。勾配交換、すべての-削減、{7}}専門家のルーティング、チェックポイント設定、ストレージ-の重いパイプラインの混合は、すべてファブリックに打撃を与えます。アクセラレータが高速化するにつれて、ネットワークもそのペースに追いつく必要があり、そうでないと高価な GPU が同期を待機してアイドル状態になることがあります。. 800G NIC は、ノードごと、アクセラレータごと、またはネットワーク レールごとの帯域幅を増やすことでそれに答えます。

800G は単なるアダプターではなくファブリックの決定です

800G に移行すると、スイッチの選択、光学系、到達距離の計画、熱設計、エアフロー、ラック レイアウトが再構築されます。光と銅線の選択は特に厳しくなります。800G ポートでは OSFP または QSFP-DD モジュールが使用される場合があり、スイッチ-側と NIC- 側のモジュールでは、同じレートであっても熱設計や機械設計が異なる場合があります。プラントでストラクチャードファイバーを使用している場合は、モジュールとコネクタのタイプを早めに確認してください。私たちのQSFP-DD フォーム ファクタの概要OSFP と比較してどこに適合するかをカバーします。 800G を単一の明細項目のスワップではなく、ファブリック レベルのプログラムとして扱います。{2}

400G NIC と 800G NIC

400G NIC を選択する場合

成熟したハードウェア、予測可能な導入、管理されたコストを備えた高性能ネットワークを目標とする場合は、400G NIC を選択してください。{1}

既存の 400G インフラストラクチャ上に構築しています

スイッチ、ケーブル、光学系、およびサーバー プラットフォームがすでに 400G で標準化されている場合、400G NIC を使用し続けることで一連の互換性チェックが不要になり、現在のエコシステムの大部分を再利用できます。これは、パフォーマンスの向上が大きく、エコシステムが 800G よりもはるかに成熟している 100G または 200G からアップグレードする場合に特に当てはまります。

AI ワークロードがファブリックを飽和させない

すべての AI ジョブにサーバーあたり 800G が必要なわけではありません。多くは、コンピューティング-、ストレージ-、メモリ-に依存しているか、ネットワーク帯域幅ではなくソフトウェアの効率によって制限されています。プロファイリングの結果、ネットワークが主要なボトルネックではないことが示された場合、通常は 400G NIC の方が優れた収益をもたらします。

コスト効率の高い HPC が必要です-

多くの HPC ワークロードは、生の帯域幅ではなく、レイテンシ、メッセージ パッシング動作、ファブリックの輻輳の影響を受けやすくなります。{0}よく調整された 400G ファブリックは、統合が不十分な 800G ファブリックよりも優れていることがよくあります。-有益な質問は、どの NIC が高速であるかということではなく、どのネットワーク設計が 1 ドルあたり最高のアプリケーション パフォーマンスを提供するかということです。

より迅速でリスクの低い調達が必要です-

400G アダプター、光ファイバー、ケーブルは、より多くのサーバーおよびスイッチ プラットフォームで調達および認定が容易になります。チームの検証時間が限られている場合は、400G が最もリスクの低い選択肢であり、それでもほとんどのボトルネックを解消できます。{3}

800G NIC を選択する場合

アプリケーション、GPU プラットフォーム、ファブリックが実際に追加の帯域幅を使用できる場合は、800G NIC を選択してください。

あなたは次世代の AI トレーニング ファブリックを設計しています-

大規模なトレーニング クラスタでは、{0}}全対-および東西-の大量の通信が発生します。モデルのサイズ、GPU 数、並列処理が増加するにつれて、ネットワークが制限となります。ここでは、800G NIC によりノードあたりの帯域幅が増加し、ファブリックが GPU をスロットリングするリスクが軽減されます。{6}

より高い帯域幅密度が必要です

800G では、一定量の帯域幅を提供するために必要なポート、リンク、モジュールの数が削減されます。これは、ラック スペース、フロント パネルのポート数、ケーブル管理、スイッチの基数がすべて制限されている高密度クラスタでは重要です。-スイッチ ファブリックとケーブル配線計画がそれに合わせて設計されている場合、リンクの数を減らし、より高速にすることで構築を簡素化できます。

次世代 GPU プラットフォームを計画している-

ロードマップに次世代 GPU サーバー、ラック電力密度の向上、液体冷却、大規模クラスタが含まれている場合、800G がより強力な戦略的要求となります。{0}現在 400G を購入するのはまだ合理的ですが、ファブリックは 800G 以上への移行パスを考慮して設計する必要があります。

長期にわたるアップグレードの中断を軽減したい-

段階的な 800G 戦略により、将来の移行の苦痛が軽減されます。まず 800G- 対応スイッチを導入し、ブレークアウトまたは混合速度設計を通じて既存の 400G NIC に接続してから、後でサーバーを 800G にアップグレードします。-これにより、現在の投資を保護しながら、次世代のファブリックを準備できます。

800G NIC を選択できない場合

多くの場合、これはより有益な質問であり、後悔した購入のほとんどを除外します。次のいずれかに該当する場合は、800G の使用を控えてください。

• ホストは、アダプターへの完全な PCIe Gen6 クラス x16 パスを公開できません。ポートは空き状態で動作し、サーバー バスが提供できない帯域幅に対して料金を支払うことになります。
• スパインがオーバーサブスクライブされているか、まだ 400G です。 NIC が高速化しても、ファブリックの制約は解決されません。ボトルネックを 1 ホップ離れたところに移動するだけです。
• ワークロードは帯域幅-の制限ではなく、レイテンシ-または MPI- の制限を受けています。同期や小さなメッセージの動作によってゲートされたジョブの場合、追加のスループットはほとんど効果がありません。-
• 800G の光学系、ケーブル配線、冷却をタイムラインで調達して検証することはできません。負荷がかかるとフラップする不適格なモジュールは、動作したままの低速リンクよりも悪いです。
• 現在、プレミアムを正当化する具体的な成長ロードマップはありません。

これらのうち 2 つ以上が当てはまる場合、このビルドでは 400G がほぼ確実に正しい答えとなり、800G は次回の更新用に確保されます。

クラウド データセンター向けの 400G NIC と 800G NIC

クラウド ファブリックがどこでも同じ速度で動作することはほとんどありません。これらはトラフィック クラスごとにセグメント化されており、NIC の選択はデータセンター全体ではなくセグメントに従います。

• フロントエンド / ノース-のトラフィック:通常、フローあたりの帯域幅が控えめで接続数が優先されるユーザー向け層や API 層には、400G で十分です。-
• ストレージと東西トラフィック:-答えは、アーキテクチャがどの程度細分化されているかによって異なります。. 400G はほとんどの一般的なプールをカバーします。 800G は、大規模な分散ストレージによって持続的な東西負荷が発生する場合に役立ちます。-
• AI推論:多くの推論クラウドには 400G で十分ですが、800G は、トークンが多数のノード間を移動する、専門家のルーティングや細分化されたサービスが高密度に混在する場合に適しています。--
• マルチテナント ファブリック:-ここでは、オーバーサブスクリプション率とテナント分離形状のパフォーマンスがピークの NIC レートをはるかに上回っています。強力な分離を備えたバランスの取れた 400G ファブリックは、高速ではあるが混雑したファブリックよりも優れていることがよくあります。

クラウドの東西方向への成長は構造化ファイバーに集中するため、NIC と並行してトランクのケーブル配線を計画してください。私たちのMPO/MTP トランクケーブル接続のガイド高密度の実行をカバーします。-経験則として、ほとんどのフロントエンド層と一般的なクラウド層には 400G を使用し、高密度 AI サービスや大規模な East West プールが優勢なセグメントには 800G を予約します。-

ポート速度以外の主要な選択要素

より高速な NIC は、プラットフォーム全体でサポートされていない限り、ワークロードの高速化を保証しません。 800G ポートが機能するかアイドル状態になるかは、5 つの要素によって決まります。

PCIe の生成とホスト帯域幅

NIC は PCIe 経由でホストに到達し、そのリンクはハードシーリングとなります。 400 Gb/s ポートには、1 方向あたり約 50 GB/s が必要ですが、PCIe Gen5 x16 スロットは、1 方向あたり約 63 GB/s で使用可能です。 800 Gb/s ポートには、Gen5 x16 スロットを超えて、方向ごとに約 100 GB/s が必要です。これが、800G アダプターが一般に期待する理由です。PCI-SIG の PCIe 6.0 仕様(64 GT/秒、x16 で双方向最大 256 GB/秒) または珍しい x32 設計。 800G にコミットする前に、次のことを確認してください。

• PCIe世代
• レーン数とスロット配線
• NUMA の配置と GPU{0}}から NIC へのパス-
• アダプターのサーバー-ベンダーの検証
• BIOS とファームウェアのサポート

GPU サーバーでは、CPU および GPU に対する NIC の配置によって、データがどの程度きれいに移動するかが決まります。 Gen5 x8 スロットに差し込まれた Gen6- クラスの NIC は、この分野で最も一般的な自らが引き起こすボトルネックです。

スイッチ ファブリックとオーバーサブスクリプション

NIC の速度はファブリックと一致する必要があります。. 800リーフ スパインがオーバーサブスクライブされている場合、またはアップリンクが細い場合、G アダプタは何も行いません。-リーフとスパインのポート速度、オーバーサブスクリプション率、ネットワーク レールの数、東西パターン、障害ドメインの設計、必要な二分帯域幅を確認します。-トレーニングの場合、通常、オーバーサブスクリプション率が低い方が、より高速な NIC よりもパフォーマンスに優れています。

RoCE、InfiniBand、およびウルトライーサネット

AI および HPC ファブリックは RDMA を利用して CPU オーバーヘッドを削減し、プロトコルは NIC、スイッチ、輻輳制御、および操作を形成します。現在、NDR InfiniBand はポートあたり 400 Gb/s で動作し、XDR InfiniBand はポートあたり 800 Gb/s に達します、400G および 800G NIC 層と直接並びます。イーサネット側では、

ウルトラ イーサネット コンソーシアムの 1.0 仕様AI と HPC のスケールアウトを真の目的として、NIC、スイッチ、光学系、ケーブル配線にまたがるイーサネット スタックを介した RDMA-- を定義します。-

チームがそのエコシステムを理解している場合は、緊密に統合された低遅延の HPC または AI ファブリックとして InfiniBand を選択してください。{0}より幅広いベンダーの選択肢とクラウド統合を実現するには、イーサネットまたは RoCE を選択してください。次世代の高性能イーサネットのための標準化されたオープン パスが必要な場合は、ウルトラ イーサネットを検討してください。-

光学系、フォームファクター、およびケーブル配線

400G および 800G では、速度と同じくらい物理的な互換性が重要です。 2 つのモジュールは同じ速度を共有できますが、フォーム ファクタ、熱設計、およびホスト要件が異なります。 OSFP と QSFP112 と QSFP-DD、フラット-トップとフィン付き-トップ OSFP、スイッチ-側と NIC- 側のモジュール要件、DAC、AEC、AOC、または光リーチ、ブレークアウト サポート、ベンダー コーディングとファームウェアを確認します。スイッチ内で動作する 800G OSFP が NIC に正しく装着され、冷却されると想定しないでください。多くのスイッチおよび NIC モジュールは、異なる熱設計および機械設計を使用しています。

電力、エアフロー、熱の検証

800G コンポーネントはより多くの電力を消費し、より高温になります。 NIC、光学系、スイッチ ポート、エアフロー パスを、アイドル時ではなく持続的な負荷の下で検証します。 NIC と光-モジュールの電力、気流の方向と冷却ヘッドルーム、最大吸気温度、ケーブル密度と気流の遮断、空冷と液体-の仮定を確認します。熱的不安定性は、リンクのフラップやエラー率の上昇として現れます。これは、本番環境で追跡するのに時間がかかり、コストがかかる断続的な障害の一種です。

避けるべきよくある間違い

速いという理由だけで 800G を購入する

800G の方が自動的に優れているわけではありません。ワークロード、サーバー、またはファブリックが帯域幅を使用できない場合、追加のコストがアプリケーションのパフォーマンスに反映されません。ポートを実際に存在するボトルネックに合わせます。

PCIe帯域幅の無視

NIC は、ホスト バスが許可する速度でのみデータを移動できます。ハードウェアが到着した後ではなく、スピード クラスを選択する前に、PCIe の世代、レーン数、サーバー トポロジを確認してください。

間違った光モジュールの選択

このような速度では、モジュールのフォームファクターと熱設計が重要になります。間違った OSFP バリアントは、特定のケージに適合しない可能性があります。または、適合してもトラフィックが継続すると過熱して、ファブリックの問題と思われるエラーが発生する可能性があります。

ケーブル到達距離を忘れる

DAC、AEC、AOC、マルチモード光、シングルモード光はそれぞれ異なる距離範囲に対応し、ファイバーのグレードが異なると伝送距離も異なります。-私たちのOM1 から OM5 までの到達制限の内訳各グレードのトップの位置を示します。間違った相互接続を選択すると、遅延、コスト、またはやり直しが追加されます。

NIC、スイッチ、および光学部品を個別に購入したものとして扱う

アダプター、スイッチ、光学部品、およびケーブル配線を 1 つの検証済み部品表として注文します。デプロイ後に不一致が発見されるということは、ポートがリンクしているもののフラップしていること、またはハードウェアがビルド中に戻される必要があることを意味します。これは、認定中に不一致を見つけるよりもはるかに中断が大きくなります。{1}}

最終的な推奨事項

今日の AI、HPC、ストレージ、クラウド ファブリックに適合する、実証済みの費用対効果の高いアダプタとして 400G NIC を選択してください。{1}これは、ほとんどの既存の GPU クラスタと混合世代ルームにとって実用的な選択肢です。-帯域幅密度、大規模な GPU 通信、アップグレードの準備が初期費用を上回り、パス全体が 800G NIC 用に構築されている場合は、800G NIC を選択してください。{6}}

決断は決してスピードだけでは決まりません。重要なのは、サーバー、スイッチ、光学部品、ケーブル配線、電源、冷却がその速度をアプリケーションのパフォーマンスに変えることができるかどうかです。予算を守るための基準はシンプルです。注文する前に、NIC、スイッチ、光ファイバー、およびケーブル配線を 1 つのシステムとして検証します。