拆一台 GPU 服务器：从供电、散热到 NVSwitch 托盘
对很多运维同学来说，GPU 服务器只是一个"会发烫的黑盒子"。但要排障、扩容、与厂商博弈保修，你得知道盒子里面长什么样。本文以最经典的 8 卡 HGX H100 机型为解剖对象，顺带对照新一代 GB200 机架的变化。
先算一笔功耗账
一台典型的 8 卡 HGX H100 服务器：8 颗 SXM5 GPU，单卡 TDP 700W，合计 5600W；基板上 4 颗 NVSwitch 交换芯片，每颗功耗在百瓦上下；双路 Xeon 各 350W；再加上 32 条 DDR5 内存、8 块 NVMe、风扇墙，整机满载约 6.5 至 7kW。供电侧通常配 6 个 3000W 钛金电源，3+3 冗余。
| 部件 | 数量与规格 | 功耗估算 |
|---|---|---|
| GPU（SXM5） | 8 颗，单卡 700W | 约 5600W |
| NVSwitch 交换芯片 | 4 颗，位于 GPU 基板 | 约 400W |
| CPU | 双路 Xeon Platinum，各 350W | 约 700W |
| 内存与存储 | 32 条 DDR5 加 8 块 NVMe | 约 300W |
| 风扇墙与其他 | 10 把重型 PWM 风扇 | 约 300W |
| 整机满载 | —— | 约 6.5 至 7kW |
供电设计有个容易被忽视的坑：瞬态功耗。GPU 在计算与等待同步之间快速切换，整机功耗可能在毫秒级摆动数千瓦，对机房 PDU 与 UPS 提出远超传统服务器的要求。这也是大规模 GPU 集群频繁触发电网告警的原因之一。
散热与互联：气流的尽头是液冷
风冷版 8 卡 H100 机型多为 5U 到 8U 机箱，靠从前往后的强制风道加风扇墙压住 7kW 热负荷，进风温度与风扇转速管理直接决定 GPU 是否降频。但工程界已经形成共识：H100 满血运行时液冷冷板是更优解，冷板直接贴合 GPU 与 NVSwitch，机房侧水温一般控制在 25 至 45 摄氏度之间，温水冷还能提高自然冷却时长。
互联是 GPU 服务器区别于普通服务器的核心。8 颗 GPU 通过第四代 NVLink 全互联，再经 4 颗 NVSwitch 实现 any-to-any 高带宽通信，聚合带宽 900GB/s——这是单机 8 卡能当一张"大卡"用的物理基础。网卡配置通常为 8 张 400G ConnectX-7，与 GPU 一一对应，为 Rail-optimized 布线做准备。
管理平面：BMC 是你最好的朋友
每台机器都有独立于主系统的 BMC（IPMI 或 Redfish 接口），可以不看操作系统就读取 GPU 温度、功耗、风扇转速、电源状态。成熟的 GPU 运维体系应该做到三件事：第一，所有健康指标从 BMC 与 DCGM 双通道采集，交叉验证；第二，电源、风扇、NVSwitch 的告警分级处置，NVSwitch 故障意味着整机 GPU 域降级，必须尽快替换；第三，固件版本（BMC、GPU VBIOS、交换机）纳入统一管理，避免"某台机器固件特别老"这类隐蔽问题。
对照新一代平台：GB200 NVL72 把"服务器"的概念扩展成了整机架——18 个计算托盘加 9 个 NVLink 交换机托盘，GPU 与 NVSwitch 全部上冷板，电源与铜排集中在机架中部。维护单元从"一台机器"变成"一个托盘"，热插拔与漏液检测成了机架级能力。
写在最后
给运维团队三条落地建议：第一，新机型到货先做功耗与温度画像，记录满载下的功耗曲线与关键点温度，作为后续异常检测的基线；第二，把 NVSwitch 与 HBM 的告警当成最高优先级，它们的故障影响面远大于单卡；第三，与供应商明确托盘级或整机级的备件 SLA，万卡规模下"寄修"节奏根本跟不上故障速度。看懂硬件，才有资格谈自动化运维。