NVIDIA英伟达H200人工智能服务器GPU算力租赁

发布时间:2024-04-25

NVIDIA英伟达H200人工智能服务器可大幅強化人工智慧和高效能運算工作負載。

NVIDIA H200 Tensor 核心 GPU 具備顛覆以往的效能和記憶體功能,可大幅強化生成式人工智慧和高效能運算工作負載。H200 是*款搭載 HBM3e 的 GPU,更大更快的記憶體可加速生成式人工智慧和大型語言模型 (LLM),同時強化高效能運算工作負載的科學運算。

 

NVIDIA英伟达H200人工智能服务器GPU算力租赁配置:

项目

标准配置

框架

8U 机架式服务器

处理器

2颗第4代/第5代至强系列* 64 核/3.9GHz/320MB缓存

内存

*容量   4TB

GPU

 NVIDIA HGX H200   GPU模组

系统硬盘

M.2   NVMe PCIe接口  2TB   SSD

数据硬盘

2*10TB   企业级 SATA 硬盘

RAID   10 阵列配置

InfiniBand   网络

ConnectX-7   400Gb/s

Ethernet   网卡

OCP 网卡/双电口/10G

PICE   插槽

9 个   PCIe 5.0 扩展插槽

电源

6*3000W,2*2700W,AC220   输入

风扇

10 个   54V 风扇模组

操作系统

Windows   Server/RedHat Enterprise Linux/SUSE Linux Enterprise

Server/CentOS/Ubuntu/Vmware   EXSi

工作温度

+5°~+35°

其他接口

机箱后部:1 个 RJ45 管理接口,2 个 USB 3.0,1 个 VGA

机箱前部:2   个 USB 3.0,1 个 VGA

整机净重

120KG(以实际配置为准)

 NVIDIA英伟达H200人工智能服务器

高效能、*效率

NVIDIA H200 採用 NVIDIA Hopper 架構,是*款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 記憶體的 GPU,容量幾乎是 NVIDIA H100 Tensor 核心 GPU 的兩倍,記憶體頻寬則提升 1.4 倍。H200 更大、更快的記憶體能加速生成式人工智慧和 LLM,同時提升高效能運算工作負載的科學運算,而且能源效率更高、總體擁有成本更低。

透過高效能 LLM 推論取得洞察

在人工智慧不斷演進的狀況下,企業仰賴 LLM 來因應各種推論需求。為龐大的使用者大規模部署人工智慧推論加速器時,必須運用*低的整體擁有成本達到*的吞吐量。

與 H100 GPU 相比,H200 在處理類似 Llama2 的 LLM 時,可將推論速度大幅提升到* 2 倍。

大幅強化高效能運算

就高效能運算方面的用途而言,記憶體頻寬相當重要。因為這能加快資料傳輸速度,並減少複雜的處理瓶頸。對於需耗費大量記憶體的高效能運算應用程式,如模擬作業、科學研究和人工智慧,H200 的記憶體頻寬較高,可保障資料存取和操作時的效率,因此取得結果的速度與 CPU 相比提升達 110 倍。

降低能源使用量與整體擁有成本

隨著 H200 的推出,能源效率和整體擁有成本將達到全新境界。這項*技術可提供無與倫比的效能,並且與 H100 Tensor 核心 GPU 使用相同的功耗設定。人工智慧工廠和級運算系統不僅速度更快也更環保,所具備的經濟優勢可推動人工智慧和科學界持續進步。

 

NVIDIA H200 Tensor 核心 GPU规格:

尺寸規格

H200 SXM¹

FP64

34 TFLOPS

FP64 Tensor 核心

67 TFLOPS

FP32

67 TFLOPS

TF32 Tensor 核心

989 TFLOPS²

BFLOAT16 Tensor 核心

1,979 TFLOPS²

FP16 Tensor 核心

1,979 TFLOPS²

FP8 Tensor 核心

3,958 TFLOPS²

INT8 Tensor 核心

3,958 TFLOPS²

GPU 記憶體

141GB

GPU 記憶體頻寬

每秒 4.8 TB

解碼器

7 NVDEC
  7 JPEG

*熱設計功耗 (TDP)

高達 700W (配置)

多執行個體 GPU

*多 7 個 MIGS,每個 16.5GB

尺寸規格

SXM

互連技術

NVLink:每秒 900 GB
  PCIe Gen5:每秒 128 GB

伺服器選項

搭載 4 或 8 個 GPU 的 NVIDIA HGX H100 合作夥伴與 NVIDIA 認證系統™

NVIDIA AI Enterprise

包含

 


 

上一篇:S8PS-15024CD欧姆龙
下一篇:S8VS-03024欧姆龙