NVIDIA DGX H200
AI インフラストラクチャの金字塔。
エンタープライズ AI 向けの、世界で実証された選択
NVIDIA DGX™ H200 でビジネス イノベーションと最適化を広げましょう。DGX プラットフォームの一部であり、NVIDIA DGX SuperPOD™ や DGX BasePOD™ の基盤となっている DGX H200 は、NVIDIA H200 Tensor コア GPU の画期的なパフォーマンスにより高速化された、AI 対応の高性能製品です。
完全無欠な AI プラットフォーム
AI センター オブ エクセレンスの第一歩
AI センター オブ エクセレンス を DGX H200 で構築しましょう。DGX H200 は、NVIDIA Base Command™ や NVIDIA AI Enterprise ソフトウェア スイートが含まれた、完全統合型のハードウェア/ソフトウェア ソリューションです。また、NVIDIA DGXperts から専門家のアドバイスを受けることもできます。
AI スケーリングの障壁を打ち破る
DGX H200 アーキテクチャでは、32 petaFLOPS の AI パフォーマンス、前世代と比較して2 倍の速度になったネットワーク、高速のスケーラビリティを利用できます。このソリューションは、生成 AI、自然言語処理、ディープラーニングによるレコメンデーション モデルなどの大規模なワークロードに対応できるように強化されています。
リーダーシップクラスのインフラを思いのままに
DGX H200 のパワーを、オンプレミス、コロケーション、マネージド サービス プロバイダーからのレンタルなど、さまざまな方法で体験しましょう。また、DGX 対応のライフサイクル管理により、組織は予測性の高い財務モデルを入手して、最先端のデプロイを維持できます。
NVIDIA DGX H200 を見る
- 8x NVIDIA H200 GPU、合計 GPU メモリ 1,128GB
18x NVIDIA® NVLinks® 接続/GPU、GPU 間の双方向帯域幅 900GB/秒 - 4x NVIDIA NVSwitch™
GPU 間の双方向帯域幅 7.2TB/秒、前世代の 1.5 倍 - 10x NVIDIA ConnectX®-7、400Gb/秒のネットワーク インターフェイス
ピーク時の双方向ネットワーク帯域幅 1TB/秒 - デュアル Intel Xeon Platinum 8480C プロセッサ、合計 112 個のコア、2TB システム メモリ
AI への依存度が非常に高い仕事を可能にするパワフルな CPU - 30TB NVMe SSD
最高のパフォーマンスのための高速ストレージ
NVIDIA H200 Tensor コア GPU
AI と HPC のワークロードを強化する。
生成 AI と HPC のための GPU
NVIDIA H200 Tensor コア GPU は、市場を一変させるパフォーマンスとメモリ機能で生成 AI と HPC ワークロードを強化します。HBM3e を搭載した初の GPU である H200 の大容量かつ高速のメモリは、HPC ワークロードのための科学コンピューティングを推進しながら、生成 AI と大規模言語モデル (LLM) の高速化を促進します。
ハイライト
新たなレベルのパフォーマンスを体験
LLama2 70B 推論
1.9倍の高速化
GPT3-175B 推論
1.6倍の高速化
高性能コンピューティング
110倍の高速化
利点
大容量で高速なメモリによる高いパフォーマンス
NVIDIA Hopper アーキテクチャをベースとする NVIDIA H200 は、毎秒 4.8 テラバイト (TB/s) で 141 ギガバイト (GB) の HBM3e メモリを提供する初の GPU です。これは、NVIDIA H100 Tensor コア GPU の約 2 倍の容量で、メモリ帯域幅は 1.4 倍です。H200 の大容量かつ高速なメモリは、生成 AI と LLM を加速し、エネルギー効率を向上させ、総所有コストを低減し、HPC ワークロードのための科学コンピューティングを前進させます。
高性能な LLM 推論でインサイトを引き出す
進化し続ける AI の世界では、企業はさまざまな推論のニーズに対応するために LLM を利用しています。AI 推論アクセラレータは、大規模なユーザー ベース向けにデプロイする場合、最小の TCO で最高のスループットを実現する必要があります。
H200 は、Llama2 のような LLM を扱う場合、H100 GPU と比較して推論速度を最大 2 倍向上します。
ハイパフォーマンス コンピューティングをスーパーチャージ
メモリ帯域幅は、より高速なデータ転送を実現することで、ボトルネックとなる複雑な処理を削減するため、ハイパフォーマンス コンピューティング アプリケーションにとって極めて重要です。シミュレーション、科学研究、人工知能のようなメモリを大量に使用する HPC アプリケーションでは、 H200 の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPU と比較して 110 倍の早さで結果を得ることができます。
エネルギーと TCO の削減
H200 の導入により、エネルギー効率と TCO が新たなレベルに到達します。この最先端のテクノロジは、すべて H100 Tensor コア GPU と同じ電力プロファイル内で、かつてないパフォーマンスを提供します。AI ファクトリーとスーパーコンピューティング システムは、高速なだけでなく、環境にも優しく、AI と科学のコミュニティを推進する経済的優位性を提供します。