100G QSFP28 スパイン-リーフ設計: ポートの間違いを回避

100G スパイン-リーフ ファブリックは、最新のデータセンターで 25G サーバー、100G アップリンク、ストレージ クラスタ、東西-西-の高負荷ワークロードを接続するための最も信頼性の高い方法の 1 つです。 QSFP28 の魅力はその柔軟性です。1 つのポートでネイティブ 100G リンクを伝送したり、4 つの 25G サーバー接続に分岐したりできるため、1 つのスイッチでアクセス エッジとファブリック コアの両方にサービスを提供できます。

高速切り替えは簡単です。 100G 設計は、各ポートがどのように割り当てられるか、通常の状態と障害状態でのオーバーサブスクリプション率がどのようになるか、実際のケーブル配線にどの光学系が適合するか、それらの光学系が追加する熱の量、フォークリフト アップグレードなしでファブリックを 400G に向けて拡張できるかどうかなど、注文前に行われた決定によって生死が決まります。

このガイドは、ネットワーク チームとインフラストラクチャ チーム向けのベンダー中立的な計画リファレンスです。{0}以下の数値は、現在の IEEE 802.3 イーサネット仕様と関連する光マルチソース契約に従っていますが、すべてのスイッチとトランシーバーには独自のデータシートがあるため、購入するハードウェアの正確な数値を確認してください。{3}}

このガイドの例の読み方。特に明記されていない限り、各 1 つの 25G NIC、リーフごとに 48 個のホスト ポート、100G リーフ-から-スパインへのアップリンク、すべてのリーフがすべてのスパインに接続するフルメッシュ、光学系で必要な前方誤り訂正が有効になっているシングルホーム サーバーを前提としています。{0}}デュアルホーミング、より高速な NIC、または異なるポート数では、後続のすべての番号が変わります。

100G スパイン-リーフ ネットワークとは何ですか?

スパイン-リーフは、リーフ スイッチとスパイン スイッチから構築された 2 層データセンター アーキテクチャです。-リーフ スイッチは各ラックの上部に設置され、サーバーに面したポートとスパインへのアップリンクを提供します。{3}スパイン スイッチは高速バックボーンを形成します。-すべてのリーフがすべてのスパインに接続されるため、ラック間のトラフィックは等しい長さのパスに沿ってリーフからスパイン、さらにリーフへと移動します。-

このデザインが人気がある理由は次のとおりです。

• 任意の 2 つのラック間の予測可能な等しい経路長
• 東西トラフィックの多い-に対するネイティブ サポート
• すべてのアップリンクはスパニング ツリーによってブロックされるのではなく、ECMP を通じてアクティブになります
• シンプルな水平スケーリング - ポートのリーフを追加し、容量のスパインを追加します

100G ファブリックでは、リーフ-から-のスパイン リンクは 100G で実行され、サーバー-側のポートはワークロードに応じて 10G、25G、50G、または 100G で実行されます。現在、25G アクセスと 100G アップリンクは、企業で最も一般的な組み合わせです。

物理設計と論理設計

「ネットワーク設計」では、混同しやすい 2 つの層をカバーします。このガイドは、ハードウェアを購入する際に約束するものであるため、物理層と容量層の - ポート、光ファイバー、オーバーサブスクリプション、ケーブル配線 - に焦点を当てています。ただし、論理層はファブリックがトラフィックを転送する方法を決定し、いくつかの物理的な選択肢を形成します。

物理的な側面では、スイッチとポートの選択、NIC の速度、オーバーサブスクリプション、光学系、ケーブル配線、電源、冷却が考慮されます。論理側では、アップリンク間で ECMP 負荷分散を行います。-ルーティングされたアンダーレイ上のマルチテナント レイヤ 2 およびレイヤ 3 用の BGP EVPN コントロール プレーンを備えた VXLAN などのオーバーレイ。-アクセス エッジでの MLAG または MC-LAG および LACP によるデュアル-ホーミング。ドメインのサイジングの失敗-。 RDMA ファブリックの場合は、以下で説明するほぼロスレスのネットワークを設計する必要もあります。-論理モデルは、アップリンク数、ECMP 幅に必要なスパインの数、およびリーフが MLAG ペアとして展開されるかどうかに影響するため、早めに決定してください。

ステップ 1 - サーバーの速度とワークロードを定義する

光学系ではなく、ワークロードから始めます。一般的な仮想化クラスター、ストレージ ファブリック、AI トレーニング ポッドには非常に異なるニーズがあり、トラフィックに応じた適切な設計が必要です。

100G アップリンクを備えた 25G サーバー

ほとんどのエンタープライズおよびプライベート クラウド環境では、100G のリーフ-から-スパインへのアップリンクによる 25G アクセスが最適です。NIC、ケーブル、スイッチのコストをリーズナブルに保ちながら、10G を大幅に超えることができます。一般的なビルドでは、一般的なコンピューティング用に 25G ダウンリンク、100G アップリンク、および 2:1 ～ 3:1 の比率を組み合わせ、ストレージとレイテンシに敏感な階層用に低いオーバーサブスクリプションが予約されています。-仮想化、プライベート クラウド、Web 層、および大部分のエンタープライズ データ センターに適合します。

ストレージ、AI、HPC 用のネイティブ 100G

一部のワークロードでは、サーバーへのネイティブ 100G が必要です。たとえば、分散ストレージおよび NVMe-oF ストレージ、AI および機械学習-トレーニング、HPC、大規模分析、-低遅延 RDMA などです。-ここで、オーバーサブスクリプションは低くする必要があります-、多くの場合、ブロックされないか、それに近い--。これは、ボリュームだけでなくトラフィック パターンが問題であるためです。

AI、HPC、RDMA ワークロードは、高密度で同期された、全東-西-西-トラフィックを生成します。多くのノードが同時に多くのノードに送信するため、仮想化ファブリックを節約する統計的平滑化は適用されなくなりました。 RDMA over Converged Ethernet (RoCE) では、ほぼロスレスのファブリックが期待されるため、2 番目の制約が追加されます。これは、実際には、優先フロー制御 (PFC) と明示的輻輳通知 (ECN) がエンドツーエンドで調整されることを意味します。輻輳下でフレームをドロップするファブリックは RoCE パフォーマンスの低下を監視するため、これらのクラスターは通常、慎重なバッファーと輻輳構成を使用して 1:1 で構築されます。

ステップ 2 - 100G ファブリックのリーフ スイッチ ポートとスパイン スイッチ ポートを計算する方法

ポート計画はスパインではなくリーフから始まります。サーバーから外部に向けて作業します。

1. ラックごとのサーバー側のポートを数えます。{0}
2. それぞれがネイティブ 25G、ネイティブ 100G、またはブレークアウト レーンのいずれであるかを決定します。
3. QSFP28 ポートをスパイン アップリンク用に予約します。
4. 拡張、冗長性、テスト、交換のためにスペア ポートを追加します。
5. ブレイクアウトが割り当てられる前ではなく、割り当てられた後にオーバーサブスクリプションを再計算します。

サーバーに接続されているポートを数える-

ラックごとに、サーバー数、NIC 速度、サーバーあたりの NIC 数、シングル{0}}またはデュアル-ホーム、必要なスペアを特定します。それぞれ 1 つの 25G NIC を備えた 48 台のサーバーのラックには、48 個のホスト ポートが必要です。これらのサーバーをリーフ ペアにデュアル ホームし、ペア全体のアクセス ポート数が 2 倍になります。

アップリンク ポートを予約し、二重カウントを監視します。-

ホスト ポートの後に、スパイン用の QSFP28 ポートを予約します。ここに最も一般的な間違いが隠れています。同じ QSFP28 ポートが 4x25G ブレークアウトに使用されている場合、それらはアップリンクとして使用できなくなります。唯一の最大の計画ミスは、100G アップリンクの数え間違いではなく、ブレークアウトによって残ったアップリンク ポートを過大評価することです。オーバーサブスクリプションの計算の前にブレークアウトを割り当てます。そうでない場合、計算した比率は架空のものになります。

実際に動作した例が役に立ちます。 48 個の SFP28 ホスト ポートと 8 個の QSFP28 ポートを備えた共通の 1U リーフを考えます。

1,200G のアクセス トラフィックを伝送する 6 つのアップリンクにより、リーフは 2:1 で動作し、2 つの QSFP28 ポートは予備のままになります。他のサイズを決定する前に、すべてのポートにスプレッドシート上で単一の明示的な役割を与えます。

余力を残しておいてください

初日にすべてのポートを使用しないでください。新しいサーバー、追加のスパイン、一時的なテスト リンク、失敗したポート スワップ、モニタリング タップ、移行のためのヘッドルームを確保します。-少量の未使用容量は、再設計するよりもはるかに安価です。

ステップ 3 - N-1 を含むオーバーサブスクリプションを計算する

オーバーサブスクリプションでは、リーフ上のサーバー側の帯域幅の合計とスパインへのアップリンク帯域幅の合計を比較します。{0}

オーバーサブスクリプション率=合計ダウンリンク帯域幅 / 合計アップリンク帯域幅

上のリーフの場合、48 x 25G=1、200G ダウン、6 x 100G=600G アップ、1,200 / 600=2:1 となります。これは、理論上のアクセス帯域幅がアップリンク帯域幅の 2 倍であることを意味します - は、サーバーがすべて同時にライン レートで送信することはほとんどない一般的なコンピューティングには通常問題ありませんが、ストレージ、AI、HPC、RDMA にとっては実際の制約となります。

N-1ケースを必ず確認してください

ファブリックは、通常の動作では正常に見えても、障害が発生すると機能不全に陥る可能性があります。 4 つのスパインに均等に分散された 8 つの 100G アップリンクを持つリーフを考えます。- スパインごとに 2 つ、合計 800G なので、1,200G のアクセスは 1.5:1 になります。 1 つのスパインが失われると、リーフは 2 つのアップリンクを 600G に低下させ、停止期間中の比率は 2:1 に押し上げられます。目標が「失敗しても 2:1 より悪くない」場合は、1.5:1 付近から開始する必要があります。 1 つのスパインまたはアップリンクを失った後の通常の比率と N-1 比率の両方を計算します。 2番目の番号はメンテナンス中に噛む番号です。

ワークロードごとの計画範囲

普遍的な比率はないため、以下を標準ではなく計画範囲として扱い、可能な場合は測定されたトラフィックに対して検証してください。

アップグレードの際は、比率を決定する前に、現在のアップリンク使用率、ピークと東西パターン、ストレージ フロー、バックアップ ウィンドウを確認してください。{0}

ステップ 4 - QSFP28 光学部品とケーブルを選択します

QSFP28 100G インターフェースは IEEE 802.3 - によって標準化されています。802.3bm 修正シングルモード LR4 PHY とともに 100GBASE- SR4 を追加しました。-距離、ファイバーの種類、コネクタ、電源、スイッチの互換性によって光学部品を選択し、デフォルトで最長の到達距離を設定しないでください。必要のない到達距離は、通常、必要のないコストと電力を意味します。適切なマージンを持ってモジュールを実行に合わせてください。

短いサーバーリンク用のDACおよびAOC

ラック内および隣接する-ラック接続には、QSFP28 直接接続銅線（DAC）とアクティブ光ケーブル（AOC）が実用的です。-パッシブ DAC は、最小のコストと電力で最短ホップ - 数メートル - に適していますが、AOC は銅のバルクが問題になる場合に到達範囲を拡張し、軽量で柔軟性が高くなります。 25G アクセスの場合、スイッチがブレークアウトをサポートしている場合、QSFP28-to-4x SFP28 ブレークアウト DAC または AOC が一般的です。

100GBASE-SR4 (短いマルチモード アップリンク用)

SR4 は 100G オーバーをキャリーします8本のパラレルマルチモードファイバーMPO/MTP コネクタを使用するため、列内で{0}}短いリーフからスパインまでを実行する場合に費用対効果の高い選択肢になります。-到達距離はファイバー グレードによって異なります - OM3 では約 70 m、OM では 100 m4 - なので、期待できる到達距離を知っておくと有益です。OM3、OM4、および OM5 マルチモード ファイバーあなたのフロアで。計画上の主な制約は並列ケーブル配線です。MPO のパッチと極性を事前に検討する必要があります。

シングルモードの CWDM4 または FR は約 2 km まで走行します-

列間、部屋間、ホール間リンクには、CWDM4 や FR などのシングルモード光学系が適しています。-の100G CWDM4 MSAデュプレックス LC コネクタと FEC を備えたシングル モード ファイバの 1 ペアで 2 km の到達距離を定義します。- CWDM4 および FR 光学系は、並列 MPO の代わりに二重ファイバーを使用するため、SR4 - よりもきれいにシングルモード プラントに組み込まれることが多く、これらの距離では、次のいずれかを選択できます。OS1 および OS2 シングルモード ファイバー-損失予算が重要になり始めます。 DR などの短いシングルモード バリアントは、必要な範囲で約 500 m をカバーします。-

100GBASE-キャンパスおよび DCI 用の LR4

LR4 は長距離オプションで、100G を伝送します-二重シングルモード ファイバーで最大約 10 km-キャンパス、{0}}建物間-、またはデータ-センター-の相互接続リンク。距離が本当に必要な場合にのみ使用してください。短い-データセンター-ホップ上の長距離到達光学系は、ファブリックを改善することなく、コスト、電力、熱を追加するだけです。

QSFP28 100G 光学系の比較

表は、各オプションがどこに当てはまるかをまとめたものです。リーチを典型的な計画数値として扱い、各モジュールのデータシートで正確な数値、ファイバー グレード、および FEC 要件を確認してください。

使用例: 小、中、大の生地

これらは簡略化された計画モデルであり、青写真ではありません。スパイン数は通常、アップリンクを均等に分割して ECMP 幅を設定するために選択されます。スパイン数は 2 つが冗長性を確保するための実用的な最小値で、4 つは N-1 粒度が細かくなり、負荷分散が向上します。8 つは大規模なファブリックに適しています。リーフ数は、必要なサーバー ポートに応じて調整されます。

小さな生地

• 8つのリーフスイッチ
• 2つのスパインスイッチ
• リーフあたり 48 x 25G サーバー ポート
• リーフあたり 4 x 100G アップリンク
• 384 個のシングルホーム 25G サーバー ポート-

リーフあたり: ダウン 1,200G、アップ 400G、つまり 3:1。一般的なコンピューティングには機能しますが、大規模なストレージや AI には厳しいです。比率を低くする必要がある場合は、アップリンクを追加するか、リーフごとのアクセスをトリミングします。

中生地

• 16 個のリーフ スイッチ
• 4つのスパインスイッチ
• リーフあたり 48 x 25G サーバー ポート
• リーフあたり 6 x 100G アップリンク
• 768 個のシングルホーム 25G サーバー ポート-

リーフあたり: ダウン 1,200G、アップ 600G、つまり 2:1。仮想化とエンタープライズ ワークロードの安定したバランスと、4 つのスパインは 2 つよりも ECMP を分散します。

大きな生地

• 32 個のリーフ スイッチ
• 8つの脊椎スイッチ
• リーフあたり 48 x 25G サーバー ポート
• リーフあたり 8 x 100G アップリンク
• 1,536 個のシングルホーム 25G サーバー ポート-

リーフあたり: ダウン 1,200G、アップ 800G、つまり 1.5:1。アップリンクのヘッドルームは増えますが、管理すべき光、ファイバー、コスト、電力、ケーブル配線も増えます。この規模では、ドキュメントは設計の一部です。ラベル付け、ポート マップ、極性、予備の光学部品、エアフロー、モニタリングはすべて、設置前に計画する必要があります。

QSFP28 ブレークアウト計画 (100G から 4x25G)

ブレークアウトは、QSFP28 設計の中で最も便利ですが、最も誤解されている部分です。スイッチ、ケーブル、構成が許可する場合、1 つの QSFP28 ポートが 4 つの 25G SFP28 リンクに分割され、1 つの 100G ポートから 4 つの 25G サーバーが接続されます。高い 25G 密度が必要な場合、豊富な QSFP28 ポートがある場合、サーバー接続あたりのコストを削減したい場合、または QSFP28 から 4x SFP28 DAC、AOC、またはMTP/MPO ブレークアウト ケーブル距離に応じて。

問題は、ブレークアウトが QSFP28 ポートを消費することです。 32- ポートの QSFP28 スイッチが 16 ポートを 4x25G ブレークアウト専用にすると、それらの 16 ポートは 64 台のサーバーをサポートしますが、アップリンク、ストレージ、インターコネクト、およびスペア用に残るのは 16 個の QSFP28 ポートのみです。経験則では、最初にブレークアウト ポートを数えてから、アップリンク用に残っているポートを数えます。

コミットする前に、いくつかのことを確認し、各実行をトランクまたはブレイクアウトアセンブリ:

• どのポートがブレイクアウトをサポートしていますか?また、ポート グループの制限はありますか?{0}}
• ブレークアウトを有効にすると隣接ポートが無効になりますか?
• スイッチのオペレーティング システムは必要なモードをサポートしていますか?
• 実行ごとにDAC、AOC、またはブレークアウト光学系を使用しますか?
• 4 つのレーンすべてが今必要ですか、それとも後で必要ですか?
• ブレークアウトは将来のネイティブ 100G サーバーへの移行にどのような影響を及ぼしますか?

電源、冷却、ケーブル管理

100G ファブリックは、帯域幅を超える帯域幅を生成します -。熱、エアフロー負荷、ケーブル密度が生成されます。電力の割り当てには、スイッチ シャーシとファン、QSFP28 光モジュール（および使用されている場合は DAC または AOC）、冗長電源、ラック レベルの容量、および拡張マージンを含める必要があります。{4}冷却では、ホット{6}}およびコールド-のアイルのレイアウト、一貫した前面-から-背面または背面-から-前面へのエアフロー、ブランキング パネル、ケーブルの障害物、周囲温度、モジュール温度の監視を考慮する必要があります。光学部品が詰め込まれたスパインは実際の熱負荷であるためです。

ケーブル接続は迅速に拡張できます。16 個のリーフと 4 つのスパインは、すでに 64 個のリーフ-と-のスパイン リンクになっており、それぞれにラベルを付け、配線し、テストし、文書化する必要があります。フルメッシュ ファブリックは、事前に終端処理されているため、構築と保守がはるかに簡単です。-MPO/MTP トランクのケーブル接続フィールド終端ファイバの場合よりも優れています。-チームはまた、コネクタと極性の規則を事前に解決する必要があります。のMTP と MPO の実質的な違い注文する前に確認する価値があります。ずさんな文書作成の場合、初日には費用はかかりませんが、最初の停止時には多額の費用がかかります。

400G アップグレードに向けた設計

現実的なアップグレード パスを使用してファブリックを設計します。初日にどこでも 400G が必要というわけではありませんが、後で移動に苦痛を与えるような選択は避けるべきです。スパイン アップリンクの負荷がすでに高くなっているとき、100G スパインの追加が面倒になったとき、ECMP パス数がプラットフォームの制限に近づいたとき、または AI、ストレージ、東西の成長が加速しているときは、400G への対応について検討し始めてください。-

通常の戦略は、最初にスパインをアップグレードすることです。リーフは 100G アップリンクを維持しながら、次のようなポートを使用して、より大容量のスパイン - - を構築します。QSFP-DD- はヘッドルームを追加し、多くの場合、400G ポートが既存のリーフに向かって 4x100G に分岐します。より広範な軌道は業界によって設定されています。イーサネット アライアンスのロードマップ現在では、主に AI によって駆動され、400G、800G、そしてそれ以降でも動作します。スイッチを評価するときは、段階的アップグレードに必要な速度、光学系、ブレークアウト モード、およびソフトウェア機能がプラットフォームでサポートされていることを確認してください。

100G スパイン-リーフ デザインが正しい選択ではない場合

この設計は普遍的なものではなく、場合によっては別の設計が必要になります。 1 つまたは 2 つのラックに少数のサーバーを配置する場合、完全なスパイン-リーフの構築が正当化されることはほとんどありません。この場合、1 組の冗長スイッチの方がシンプルで安価です。非常に大規模な AI トレーニング クラスターは、100G アクセスおよび 100G スパイン ファブリックが適切に処理できる範囲を超えて、最初から 400G または 800G ファブリック -、さらには専用の InfiniBand ネットワーク - に到達する可能性があります。また、ほぼすべてのトラフィックがラック間の東西ではなく、ゲートウェイに向かって南北-方向である場合、スパイン リーフの東西-利点-はあまり重要ではないため、トポロジは想定されるものではなく、成長と運用上の理由から正当化される必要があります。アーキテクチャをトラフィックと規模に合わせてください。その逆ではありません。

100G スパイン-リーフ設計のよくある間違い

• QSFP28 ポートを 2 回カウントします。ポートは 4x25G ブレイクアウトまたは 100G アップリンクのいずれかであり、両方であることはありません。すべてのポートに 1 つの役割を与えます。
• 最大到達距離に基づいて光学系を選択します。リーチが長いとコストとパワーが増加します。光学系を実際のファイバーの距離とタイプに合わせます。
• N-1は無視します。通常の手術中と脊椎を失った後の比率を確認してください。
• 光パワーと熱を忘れてください。QSFP28 モジュールでいっぱいのスパインは真の熱負荷となるため、電力と冷却の計算に光学部品を含めます。
• ケーブル配線を後付けとして扱う。配線、ラベル付け、極性、およびドキュメントは、設置ではなく設計に属します。
• 現在のサーバー速度のみを考慮した設計。25G アクセスが 100G に移行する場合は、ネイティブ 100G または 400G スパイン用の余地を残してください。

結論

優れた 100G スパイン-リーフ設計とは、ハードウェアが到着する前に行われた決定の合計です。つまり、ワークロードの定義、ポートの正確なカウント、通常条件と障害条件の両方でのオーバーサブスクリプションの計算、距離による光学部品の選択、ブレークアウトの慎重な計画、電力と冷却の予算、400G 用の余地の確保などです。ほとんどのエンタープライズ データ センターでは、100G QSFP28 アップリンクを使用した 25G アクセスがパフォーマンス、コスト、スケールの優れたバランスを保っていますが、ストレージ、AI、および HPC では単純にオーバーサブスクリプションの低減と厳格な検証が求められています。信頼性の高いアプローチは変わりません。サーバーの外側から設計し、通常および N-1 条件で計算を証明し、展開前にすべてのリンクを文書化します。