NVIDIA英伟达H200人工智能服务器可大幅強化人工智慧和高效能運算工作負載。
NVIDIA H200 Tensor 核心 GPU 具備顛覆以往的效能和記憶體功能，可大幅強化生成式人工智慧和高效能運算工作負載。H200 是*款搭載 HBM3e 的 GPU，更大更快的記憶體可加速生成式人工智慧和大型語言模型 (LLM)，同時強化高效能運算工作負載的科學運算。
NVIDIA英伟达H200人工智能服务器GPU算力租赁配置：
项目 | 标准配置 |
框架 | 8U 机架式服务器 |
处理器 | 2颗第4代/第5代至强系列* 64 核/3.9GHz/320MB缓存 |
内存 | *容量 4TB |
GPU | NVIDIA HGX H200 GPU模组 |
系统硬盘 | M.2 NVMe PCIe接口 2TB SSD |
数据硬盘 | 2*10TB 企业级 SATA 硬盘 RAID 10 阵列配置 |
InfiniBand 网络 | ConnectX-7 400Gb/s |
Ethernet 网卡 | OCP 网卡/双电口/10G |
PICE 插槽 | 9 个 PCIe 5.0 扩展插槽 |
电源 | 6*3000W，2*2700W，AC220 输入 |
风扇 | 10 个 54V 风扇模组 |
操作系统 | Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
工作温度 | +5°~+35° |
其他接口 | 机箱后部：1 个 RJ45 管理接口，2 个 USB 3.0，1 个 VGA 机箱前部：2 个 USB 3.0，1 个 VGA |
整机净重 | 120KG（以实际配置为准） |
高效能、*效率
NVIDIA H200 採用 NVIDIA Hopper 架構，是*款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 記憶體的 GPU，容量幾乎是 NVIDIA H100 Tensor 核心 GPU 的兩倍，記憶體頻寬則提升 1.4 倍。H200 更大、更快的記憶體能加速生成式人工智慧和 LLM，同時提升高效能運算工作負載的科學運算，而且能源效率更高、總體擁有成本更低。
透過高效能 LLM 推論取得洞察
在人工智慧不斷演進的狀況下，企業仰賴 LLM 來因應各種推論需求。為龐大的使用者大規模部署人工智慧推論加速器時，必須運用*低的整體擁有成本達到*的吞吐量。
與 H100 GPU 相比，H200 在處理類似 Llama2 的 LLM 時，可將推論速度大幅提升到* 2 倍。
大幅強化高效能運算
就高效能運算方面的用途而言，記憶體頻寬相當重要。因為這能加快資料傳輸速度，並減少複雜的處理瓶頸。對於需耗費大量記憶體的高效能運算應用程式，如模擬作業、科學研究和人工智慧，H200 的記憶體頻寬較高，可保障資料存取和操作時的效率，因此取得結果的速度與 CPU 相比提升達 110 倍。
降低能源使用量與整體擁有成本
隨著 H200 的推出，能源效率和整體擁有成本將達到全新境界。這項*技術可提供無與倫比的效能，並且與 H100 Tensor 核心 GPU 使用相同的功耗設定。人工智慧工廠和級運算系統不僅速度更快也更環保，所具備的經濟優勢可推動人工智慧和科學界持續進步。
NVIDIA H200 Tensor 核心 GPU规格：
尺寸規格 | H200 SXM¹ |
FP64 | 34 TFLOPS |
FP64 Tensor 核心 | 67 TFLOPS |
FP32 | 67 TFLOPS |
TF32 Tensor 核心 | 989 TFLOPS² |
BFLOAT16 Tensor 核心 | 1,979 TFLOPS² |
FP16 Tensor 核心 | 1,979 TFLOPS² |
FP8 Tensor 核心 | 3,958 TFLOPS² |
INT8 Tensor 核心 | 3,958 TFLOPS² |
GPU 記憶體 | 141GB |
GPU 記憶體頻寬 | 每秒 4.8 TB |
解碼器 | 7 NVDEC |
*熱設計功耗 (TDP) | 高達 700W (配置) |
多執行個體 GPU | *多 7 個 MIGS，每個 16.5GB |
尺寸規格 | SXM |
互連技術 | NVLink：每秒 900 GB |
伺服器選項 | 搭載 4 或 8 個 GPU 的 NVIDIA HGX H100 合作夥伴與 NVIDIA 認證系統™ |
NVIDIA AI Enterprise | 包含 |
