拆一台 GPU 服务器：从供电、散热到 NVSwitch 托盘

对很多运维同学来说，GPU 服务器只是一个"会发烫的黑盒子"。但要排障、扩容、与厂商博弈保修，你得知道盒子里面长什么样。本文以最经典的 8 卡 HGX H100 机型为解剖对象，顺带对照新一代 GB200 机架的变化。

先算一笔功耗账

一台典型的 8 卡 HGX H100 服务器：8 颗 SXM5 GPU，单卡 TDP 700W，合计 5600W；基板上 4 颗 NVSwitch 交换芯片，每颗功耗在百瓦上下；双路 Xeon 各 350W；再加上 32 条 DDR5 内存、8 块 NVMe、风扇墙，整机满载约 6.5 至 7kW。供电侧通常配 6 个 3000W 钛金电源，3+3 冗余。

部件	数量与规格	功耗估算
GPU（SXM5）	8 颗，单卡 700W	约 5600W
NVSwitch 交换芯片	4 颗，位于 GPU 基板	约 400W
CPU	双路 Xeon Platinum，各 350W	约 700W
内存与存储	32 条 DDR5 加 8 块 NVMe	约 300W
风扇墙与其他	10 把重型 PWM 风扇	约 300W
整机满载	——	约 6.5 至 7kW

供电设计有个容易被忽视的坑：瞬态功耗。GPU 在计算与等待同步之间快速切换，整机功耗可能在毫秒级摆动数千瓦，对机房 PDU 与 UPS 提出远超传统服务器的要求。这也是大规模 GPU 集群频繁触发电网告警的原因之一。

散热与互联：气流的尽头是液冷

风冷版 8 卡 H100 机型多为 5U 到 8U 机箱，靠从前往后的强制风道加风扇墙压住 7kW 热负荷，进风温度与风扇转速管理直接决定 GPU 是否降频。但工程界已经形成共识：H100 满血运行时液冷冷板是更优解，冷板直接贴合 GPU 与 NVSwitch，机房侧水温一般控制在 25 至 45 摄氏度之间，温水冷还能提高自然冷却时长。

互联是 GPU 服务器区别于普通服务器的核心。8 颗 GPU 通过第四代 NVLink 全互联，再经 4 颗 NVSwitch 实现 any-to-any 高带宽通信，聚合带宽 900GB/s——这是单机 8 卡能当一张"大卡"用的物理基础。网卡配置通常为 8 张 400G ConnectX-7，与 GPU 一一对应，为 Rail-optimized 布线做准备。

管理平面：BMC 是你最好的朋友

每台机器都有独立于主系统的 BMC（IPMI 或 Redfish 接口），可以不看操作系统就读取 GPU 温度、功耗、风扇转速、电源状态。成熟的 GPU 运维体系应该做到三件事：第一，所有健康指标从 BMC 与 DCGM 双通道采集，交叉验证；第二，电源、风扇、NVSwitch 的告警分级处置，NVSwitch 故障意味着整机 GPU 域降级，必须尽快替换；第三，固件版本（BMC、GPU VBIOS、交换机）纳入统一管理，避免"某台机器固件特别老"这类隐蔽问题。

对照新一代平台：GB200 NVL72 把"服务器"的概念扩展成了整机架——18 个计算托盘加 9 个 NVLink 交换机托盘，GPU 与 NVSwitch 全部上冷板，电源与铜排集中在机架中部。维护单元从"一台机器"变成"一个托盘"，热插拔与漏液检测成了机架级能力。

写在最后

给运维团队三条落地建议：第一，新机型到货先做功耗与温度画像，记录满载下的功耗曲线与关键点温度，作为后续异常检测的基线；第二，把 NVSwitch 与 HBM 的告警当成最高优先级，它们的故障影响面远大于单卡；第三，与供应商明确托盘级或整机级的备件 SLA，万卡规模下"寄修"节奏根本跟不上故障速度。看懂硬件，才有资格谈自动化运维。