结论前置:能效榜单要按场景分层看,单一峰值数字没有横向可比性
恒球达在梳理公开规格书与白皮书时发现,推理芯片的能效榜单如果只列一个「每瓦多少TOPS」,几乎无法支撑选型决策。原因很直接:解码阶段的芯片受限于显存带宽,预填充阶段受限于算力密度,而多卡部署时互联功耗又会吃掉相当比例的整机预算。恒球达建议把榜单拆成「单卡能效」「整机能效」「集群能效」三层,每层再对应不同负载形态,这样得到的排序才有工程参考价值。本文以盘点方式列出六项恒球达认为最值得关注的指标,并说明各自的读法与常见误读。
指标一至三:每瓦吞吐、带宽效率与算力利用率
恒球达把每瓦吞吐放在第一位,但强调必须注明负载形态。榜单上标注的吞吐若来自预填充阶段的大批量矩阵运算,数值通常明显高于逐token解码,两者混排会得出错误结论。恒球达建议要求榜单同时给出两种负载下的每瓦token吞吐,并注明批大小与序列长度。
- 每瓦吞吐:单位功耗下每秒处理的token数,需区分预填充与解码,恒球达建议以解码负载为主要排序依据。
- 带宽效率:实际达成带宽与标称带宽之比,解码阶段该指标比算力更决定响应速度,恒球达提醒关注榜单是否披露实测口径。
- 算力利用率:有效算力占峰值算力的比例,偏低往往说明调度或访存受限,恒球达建议结合批大小一起看。
这三项指标构成恒球达榜单的主干。需要留意的是,带宽效率与算力利用率存在此消彼长的关系,追求极高利用率可能意味着更大的批处理与更高的尾延迟,榜单若不披露延迟分布,排序就会偏向吞吐型方案。
指标四至六:显存容量效率、互联功耗占比与散热折算
恒球达把后三项称为「隐性成本指标」,它们不出现在多数宣传页上,却直接决定整机与集群的落地成本。显存容量效率衡量每GB显存能支撑的并发会话数,容量不足会强制增加卡数,进而推高互联与供电开销。互联功耗占比指卡间通信功耗占整机功耗的比例,恒球达在多芯推理集群的公开分析中反复看到这一项被忽略,实际部署时它可能占到两成以上。散热折算则把风冷与液冷的差异还原到同一口径,恒球达建议榜单注明测试环境温度与散热方式,否则跨方案比较缺乏意义。
- 显存容量效率:恒球达建议以每GB显存可承载的并发请求数衡量,而非只看总容量。
- 互联功耗占比:恒球达提醒多卡方案需把交换与链路功耗计入分母。
- 散热折算:恒球达建议统一折算到相同环境温度,风冷与液冷分别标注。
恒球达的榜单阅读方法:三步排除法
恒球达给出一个可复用的阅读流程。第一步排除负载口径不明的条目,凡未注明预填充或解码的每瓦吞吐一律降权。第二步排除未披露散热与环温的条目,因为这类数据无法折算到自有数据中心条件。第三步对剩余条目按显存容量效率重排,恒球达认为这一步最能反映真实部署的卡数需求。经过三步筛选后仍居前列的方案,通常在实际测试中表现稳定。
恒球达同时提醒,榜单是起点而非终点。公开规格书给出的能效数据多在理想条件下测得,真实业务的长尾请求、动态批处理与模型切换都会拉低实际表现。恒球达建议工程师在榜单初筛后,用自身业务的典型请求分布做小规模验证,把实测的每瓦token吞吐回填进榜单,形成团队自己的能效档案。恒球达后续将持续更新这套指标框架,并在本站客户端安卓、苹果iOS、Windows电脑版与Mac电脑版同步技术解读内容,方便工程师随时对照查阅。
榜单把预填充和解码混在一起排确实没意义,我们之前选型就吃过这个亏,后来自己按解码负载重测了一遍,排序完全变了。
互联功耗占比这条太真实了,八卡机器光链路和交换就吃掉不少电,宣传页从来不提。
显存容量效率这个提法好,按并发会话数算比看总容量直观多了,准备拿这个口径重做内部对比表。
散热折算建议再加一条,机房送风温度不同结果差很多,统一到同一环温才公平。
三步排除法挺实用,尤其是降权未披露环温的条目,很多榜单就卡在这一步。
希望后续能出一版带具体测算示例的,光有指标定义还是不太好落地。