AI 推論ネットワークの InfiniBand と RoCE の比較

選ぶインフィニバンド予測可能なテール レイテンシによって推論ワークロードが存続するか消滅するかを判断し、選択するRoCE（RDMA over Converged Ethernet）イーサネット ファブリック上で RDMA{0}} クラスのパフォーマンスが必要な場合は、既存のチームと拡張、共有、運用できます。どちらの選択肢もどこでも勝てるわけではありません。適切な呼び出しは、推論パターン、p99 および p999 レイテンシの目標、GPU の規模、予算、および実際にチームにどれだけロスレス イーサネット チューニングの専門知識があるかによって異なります。-

推論チームが期待する以上にネットワークが重要である理由

長年にわたり、推論は GPU ストーリーの簡単な半分として扱われてきました。モデルは単一ノードにロードされ、リクエストは独立して処理され、東西トラフィックはほとんどありません。-その写真は今では時代遅れです。現代の推論はますます分散されており、いくつかのパターンがファブリックに実際の圧力をかけています。

• テンソル並列性単一のレイヤを GPU に分割するため、各トークン ステップでそれらの間のすべての-reduce またはすべての-gather オペレーションがトリガーされます。これは、待機中に GPU がブロックする頻繁でレイテンシの影響を受けやすい、GPU 間のトラフィックです。-
• パイプラインの並列処理あるステージから次のステージへのアクティベーションは、多くの場合ノード間で行われ、すべてのフォワード パスにノード間の依存関係が追加されます。{0}}
• 細分化されたプレフィルとデコードコンピューティングの負荷が高いプレフィル フェーズとレイテンシに敏感なデコード フェーズを分離し、その間に KV キャッシュを移動します。{0}{1}これらの転送は大規模でバースト的であるため、遅延は最初のトークンまでの時間の遅延や-最初のトークンまでの時間の遅延として直接現れます。-
• 取得-拡張世代（RAG）ベクトル サービスと検索サービスに東西トラフィックを追加します。-通常、集合オペレーションよりも遅延は重要ではありませんが、特にクエリ量が多い場合にはファブリックに負荷がかかります。-
• マルチテナントサービス-多くのモデルとユーザーを同じファブリック上に置くと、マイクロバーストとノイズの多い近隣効果が主要なリスクになります。{0}

ネットワークがボトルネックになると、最初のトークンまでの時間が長くなり、データ待機中に GPU が停止し、バースト時にスループットが低下し、p95 と p99 が不安定になるなどの症状が発生し、コストが高くなります。{0}{1}{2}そして、ここにベンチマークがつまずく部分があります。平均レイテンシーによってすべてが隠されてしまいます。生産推論は平均値ではなく末尾で判断されます。

InfiniBand と RoCE: AI 推論の概要表

インフィニバンドとは何ですか?

InfiniBand は、低遅延、高スループット、ロスレス通信を目的として最初から設計された専用ネットワーク ファブリックです。{0}これはイーサネットのより高速なフレーバーではありません。独自のホスト チャネル アダプター、スイッチ、サブネット マネージャー、ケーブル配線エコシステム、輻輳制御モデルが付属しています。-その定義値は決定論的な動作です。多くの GPU は厳しいタイミング要件で通信でき、集合的なトラフィックが多い場合でもファブリックは一貫して動作し続けます。

最新の AI{0}} 指向の InfiniBand プラットフォームは、大規模な GPU クラスタを直接対象とした機能でその基盤を拡張します。たとえば、NVIDIA の Quantum InfiniBand 製品ラインでは、次の機能が追加されます。{0}ネットワーク コンピューティングおよびテレメトリ-ベースの輻輳制御における適応ルーティングこれにより、ファブリックがトラフィックをインテリジェントに分散し、あるテナントの負荷を別のテナントの負荷から分離することができます。推論上、ワークロードがジッターを許容できない場合、または複数の GPU ノードが迅速かつ一貫してデータを交換する必要がある場合に、InfiniBand がその役割を果たします。

トレードオフは、コスト、エコシステムの集中、運用の専門化です。{0}専用の InfiniBand ファブリックとは、専用のスイッチ、アダプター、ケーブル、または光モジュール、および InfiniBand ファブリックの管理に慣れているエンジニアを意味します。すでに大規模なイーサネット資産を運用している組織の場合、別のファブリックを追加すると、調達の複雑さ、スペアパーツの計画、モニタリングのオーバーヘッドが増加します。{3}}

RoCE (RDMA over Converged Ethernet) とは何ですか?

RoCE は、低い CPU オーバーヘッドでメモリ間データを直接移動する RDMA、{0}}- をイーサネット ネットワークにもたらします。最新のデータセンターで使用されているバージョンである RoCEv2 は、レイヤー 3 IP ネットワーク全体でルーティング可能であり、インフィニバンド貿易協会。このルーティング機能により、RoCE は使い慣れた NIC、スイッチ、光学系、モニタリング ツールを再利用しながら、イーサネット リーフスパイン設計に自然に適合できます。{1}

問題は、RDMA トランスポートがほぼロスレスのネットワークを前提としているということです。{0}パケットをドロップすると、トランスポートは再送信動作に戻り、テール レイテンシが破壊されます。したがって、RoCE は、その下のイーサネットがロスレス ファブリックのように動作する必要があります。これは、特に次の 2 つのメカニズムの慎重な構成に依存します。優先フロー制御 (IEEE 802.1Qbb)、ドロップを防ぐために単一のトラフィック クラスを一時停止します。明示的輻輳通知 (ECN)、輻輳を早期に通知するため、バッファがオーバーフローする前に送信者の速度が低下します。キュー管理、バッファ割り当て、QoS マッピングを考慮すると、高性能 RoCE が通常のイーサネットではないことがわかります。-

RoCE がうまく機能すると、さまざまな運用推論サービスに十分なレイテンシーとスループットを提供します。また、多くの推論ワークロードは、RoCE に有利に働く分散トレーニングほど同期が厳しくありません。下手をすると、パケット損失、先頭行のブロック、輻輳の拡散、不安定な末尾が発生し、これらはすべてサービス品質の低下に直結します。

InfiniBand と RoCE レイテンシー: p99 推論にはどちらが優れていますか?

どちらのファブリックも、高帯域幅、低遅延のネットワークを提供できます。{0}{1}{1}そこに到達する方法が異なります。 InfiniBand は構造上決定論的であるため、混合負荷下でもジッターは低く抑えられます。 RoCE は多くのワークロードに対応できますが、結果はイーサネット ファブリックとそれがどの程度適切に調整されているかによって異なります。

導入の観点から見ると、運用環境における実際の問題は、ピーク帯域幅であることはほとんどありません。混合したバースト的なマルチテナント トラフィックではジッターが発生します。-クリーンな iperf{3}} スタイルのスループット テストに合格した RoCE ファブリックでも、マイクロバーストや競合が発生した瞬間に p99 の目標を達成できない可能性があります。{3}ラボのベンチマークと本番環境の SLA との間のギャップに、最も驚きが存在します。

InfiniBand は、次の場合に優位性を持つ傾向があります。

• このサービスには、厳密な p99 または p999 遅延目標があります。
• 推論は、テンソルまたはパイプライン並列処理を使用して複数の GPU ノードにまたがるか、分離されたプリフィルとデコードを使用します。
• GPU 使用率はネットワーク遅延の影響を非常に受けやすいため、ストールはコストが高くなります。
• クラスタは、柔軟性よりも予測可能性が優先される、少数の優先度の高いワークロードを実行します。{0}

通常、次の場合には RoCE で十分です。

• リクエストはほとんど独立しているか、結合が緩いです。
• 作業は 1 つのノードまたは少数のノード内で実行されます。
• バッチ スループットは、極めて低いテール レイテンシよりも重要です。{0}
• チームはすでにイーサネットを運用しており、コストまたはベンダーの柔軟性が優先事項です。
• クラスターは、複数のテナントまたは混合ワークロードをサポートします。

RoCE と InfiniBand のコスト: 実際に TCO を左右するのは何ですか?

RoCE は安価なオプションと言われることが多いですが、スイッチの価格は全体像のほんの一部です。現実的な比較では、ネットワーク アダプタまたは HCA、スイッチ、光モジュール、DAC、AOC、およびファイバ ケーブル配線、ラック トポロジ、電源と冷却、ネットワーク オペレーティング システム、モニタリングとテレメトリ、エンジニアリング時間、スペアパーツ、ベンダー サポート、400G または 800G へのパスなど、スタック全体を検討します。

InfiniBand には専用のファブリックと特殊なコンポーネントが必要なため、通常、初期費用が高くなります。決定的な動作が最優先される環境では、ロスレス イーサネット ファブリックに必要なチューニングやトラブルシューティングの労力を軽減できます。 RoCE は、適切なデータセンター ブリッジング サポートを備えた既存のイーサネット資産を再利用できる場合にハードウェア コストを削減しますが、ロスレス ファブリックの設計、検証、監視、トラブルシューティングに労力を移します。 -低コストの RoCE 設計は、遅延が不安定で消火活動が繰り返されると、すぐに高価になってしまいます。

速度が上昇するにつれて、コストとリスクが物理層に集中します。 400G と 800G では、光学系が請求モードと障害モードの両方を支配します。ほとんどの高速ポートは-に着陸しますQSFP-DD または同等のフォーム ファクタ、右に一致シングルモードまたはマルチモード光学系実際の到達距離に合わせて調整することは、長距離モジュールを必要としないファブリックへの過剰な支出を回避する最も簡単な方法の 1 つです。{0}}

率直に言って、チームにロスレス イーサネットの専門知識が不足している場合、RoCE は安価な選択肢ではありません。{0}}ハードウェアの節約は、ファブリックの安定性を維持するためのエンジニアリング コストによってすぐに消えてしまいます。

スケーラビリティと運用

スケーラビリティはポート数以上のものです。これには、ファブリックの展開、監視、拡張、および何か障害が発生した場合の回復がいかに容易であるかが含まれます。

InfiniBand は、クラスタが最初から専用の高性能ファブリックとして設計されている場合に強力です。{0}大規模な場合でも一貫した動作を実現しますが、サブネット マネージャーやユニファイド ファブリック管理などの InfiniBand 固有のツールと、InfiniBand の概念に精通したスタッフが必要です。-そのため、GPU ワークロードを中心に構築された集中型 AI クラスターに自然に適合します。

RoCE は、リーフスパイン トポロジ、IP ルーティング、ECMP、一般的なモニタリング手法などのイーサネット データセンター設計に組み込まれます。{0}まさにこれが、クラウド-スタイルとマルチテナントの GPU インフラストラクチャに魅力的な理由です。-要求される規律は一貫性です。 PFC、ECN、QoS、バッファ管理、および輻輳制御は、パス全体にわたって一貫して設計する必要があります。ファブリックの一角での小さな構成ミスが一度に多くのワークロードを分散させ、低下させる可能性があるためです。物理層も適切に拡張する必要があります。高密度-MPO および MTP トランクおよびブレークアウト ケーブル配線すべての拡張を配線パズルに変えるのではなく、成長するリーフスパイン ファブリックを管理しやすくします。{0}

ミラーイメージの点は述べておく価値があります。推論がほとんど単一ノード内に留まり、ファブリックがほとんど実行されない場合、InfiniBand を正当化するのは困難です。

各推論ワークロードにどのネットワークを使用するか

RoCE が十分に優れている場合と、それが危険になる場合

RoCE は、特にチームがデータセンター ブリッジング イーサネットに精通している場合、独立したリクエストや疎結合のリクエスト、スループット指向のバッチ作業、分離を調整できるマルチテナント クラスタに十分に適しています。{0}{1}{1}それは、特定の認識可能な方法で危険になります。

• PFC の嵐。一時停止フレームは上流に伝播し、元の輻輳とは関係のないトラフィックをフリーズします。
• 行頭のブロック。--大まかな優先度マッピングにより、1 つの混雑したクラスがキューを共有している他のクラスを停止させることができます。
• ECNのミスチューニング。マークするのが遅すぎるとドロップが発生します。マークを積極的にしすぎると、スループットが不必要に抑制されてしまいます。
• マイクロバースト輻輳。-秒未満のバーストはバッファをオーバーフローしますが、1 秒の解像度でそのサンプルをモニタリングすることはできません。-
• 一貫性のない構成。リーフとスパイン全体で設定が一致しないと、輻輳が局所的にとどまらずに拡大します。

これらはいずれも RoCE を回避する理由にはなりません。これらの理由から、ロスレス ファブリックをエンドツーエンドで一貫して設計し、スケールする前にきめ細かいマイクロバースト対応テレメトリに投資する必要があります。--

InfiniBand に価値があるとき、そして買いすぎているとき

InfiniBand は、厳密な p99 および p999 ターゲット、密結合されたマルチノード サービング、SLA ペナルティが高いミッション クリティカルなワークロード、特にファブリックを中心に設計された専用 GPU クラスタ上で価値があります。-推論がノード内に留まる場合、作業がスループット指向のバッチである場合、同じファブリックでストレージ、管理、マルチテナントのクラウド トラフィックも運ぶ必要がある場合、または単純に InfiniBand を適切に実行するための運用能力が不足している場合は、過剰購入になる可能性があります。-

スイッチの見積もりには表示されないコストは実際のものです。エコシステムの集中、イーサネット ネットワークと並行して 2 番目のファブリックを実行するオーバーヘッド、スペア、光学系、モニタリングの個別の計画などです。

選択する前に InfiniBand と RoCE をテストする方法

プロトコルの評判や仕様書に基づいて決定しないでください。本番環境に似たベンチマークを決定します。実際のシーケンス:

• SLA をテールで定義します。p50、p95、p99、および p999 には、平均だけでなく、最初のトークンまでの時間--およびトークン間のレイテンシ-を設定します。
• 現実的なトラフィックを再現します。単一のクリーンなストリームではなく、バースト性の高い混合モデル サイズとマルチテナントの同時実行を使用します。{0}
• 負荷が輻輳する。本当に競合するまでファブリックをプッシュし、その後 GPU 使用率を測定します。ネットワーク上で GPU が停止している場合は、ファブリックがボトルネックになっています。
• 適切なカウンターに注意してください。一時停止フレーム、ECN マーク、パケット ドロップ、再送信、ポート エラー カウンタ、および 400G および 800G での FEC エラーを追跡します。
• 物理層を検証します。ファイバーが清潔で正しく取り付けられていることが重要です。慎重なファイバーの取り付け高速リンクで発生しやすい断続的で診断が難しいエラーを防ぎます。{0}{1}{2}{2}

RoCE が安定したカウンターを使用して、現実的で競合するマルチテナント負荷の下で p99 ターゲットを維持する場合、これは強力で費用対効果の高い選択肢となります。-クリーンな単一ストリームのテストにのみ合格した場合は、SLA を決定するテストがまだ行われていないことになります。-

避けるべきよくある間違い

• すべての推論がライト ネットワーキングであると仮定します。一部の推論は単純で独立しています。一部は分散されており、レイテンシの影響を受けやすく、帯域幅を大量に消費します。{{0}すべてを簡単なものとして扱うと、インフラストラクチャが不十分に構築されてしまいます。
• 平均レイテンシのみを比較します。演出推測は尻尾次第。 p95、p99、および p999 は常に現実的なトラフィックの下で評価してください。
• RoCE をプラグ{0}}アンドプレイ イーサネットとして扱います。-高性能 RoCE には、意図的なロスレス ファブリック設計、輻輳制御、継続的オブザーバビリティが必要です。-
• InfiniBand を選択するのは、その方が速いという理由だけです。最高のパフォーマンスのオプションが常に最高のビジネス オプションであるとは限りません。ワークロードが確定的な動作を必要としない場合、RoCE はより優れた価値を提供する可能性があります。
• 物理層は無視します。400G および 800G では、ケーブル、光学部品、コネクタ、およびファイバーの清浄度により断続的なエラーが発生し、発見が難しく、修正に費用がかかります。

結論

AI 推論の場合、InfiniBand と RoCE はどちらも有効であり、異なる優先順位を提供します。リアルタイム、SLA に敏感な、または密結合推論のために、最も安定した低遅延ネットワークが必要な場合は、InfiniBand を選択してください。{{1}バッチ推論、マルチテナント GPU サービス、RAG ワークロード、柔軟なインフラストラクチャ用に、スケーラブルでイーサネット-ベースのコスト効率の高い-ファブリックが必要な場合は、RoCE を選択してください。-

決定は、プロトコルではなく、ワークロード、レイテンシの目標、クラスターの規模、運用能力、アップグレードのロードマップから始める必要があります。クラスターが高負荷時に厳密な p99 を保持する必要がある場合は、InfiniBand を真剣に検討する価値があります。イーサネット データセンター全体で推論を経済的に拡張することが目標の場合、通常は RoCE がより現実的な方法です。いずれの場合も、コミットする前に本番環境などの負荷でベンチマークを行ってください。{4}