结论前置：推理芯片的瓶颈正在从算力转向数据搬运

在多数公开的推理负载测试中，芯片的算力峰值往往不是决定吞吐的第一因素，显存带宽与容量才是。恒球达在整理多家厂商公开规格书后发现，同一代际的推理加速卡，标称算力差距可能达到三成以上，但实际批处理吞吐的差距常常小于算力差距，原因就在于数据搬运效率被显存子系统限制。这一判断对选型有直接意义：先看带宽与容量是否匹配目标模型，再看算力标称值。

需要说明的是，本文涉及的对比方法均为公开信息层面的结构性分析，不涉及任何未公开的流片结果或良率数据。恒球达行业资讯栏目坚持只使用可核验的规格书、白皮书与公开财报口径。

带宽、容量与能效：三个互相牵制的变量

推理阶段的核心动作是权重读取与激活值读写，模型参数规模决定了单次前向至少需要搬运的数据量。恒球达在参数库中按模型规模分层整理后发现，当模型参数超出显存容量时，系统被迫进行分片或换出，带宽优势会被访问延迟抵消。因此容量是门槛，带宽是上限，二者不可单独评估。

  • 容量门槛：权重常驻显存是维持低延迟的前提，容量不足会引入额外的主机互连开销。
  • 带宽上限：批处理规模提升时，带宽决定单位时间可完成的token或帧数上限。
  • 能效约束：带宽提升通常伴随功耗上升，端侧场景下每瓦带宽比绝对带宽更具参考价值。

恒球达建议读者在比对参数时，统一按“每瓦带宽”和“每GB容量功耗”两个派生指标换算，避免被单一峰值数字误导。这类换算不依赖内部数据，仅需公开规格书即可完成。

云端与端侧的分岔：架构选择没有统一答案

云端推理倾向高带宽外存方案，以HBM类堆叠内存为代表，追求单位机架吞吐；端侧推理则倾向把权重压缩与近存计算结合，用更小的容量换取更低的静态功耗。恒球达在梳理公开架构资料时注意到，两条路线近年出现交汇：云端开始引入更激进的量化与稀疏化，端侧则通过封装技术提升内存带宽密度。

以公开资料中常被引用的两家设计方为例，云栖智算在其推理加速卡规格书中强调带宽与容量的配比，芯岭微电子则在端侧方案白皮书里把每瓦带宽列为首要指标。恒球达并不评价孰优孰劣，只提示读者：选型应先明确部署位置与批量特征，再回到参数表。业内分析师陆承宇在公开访谈中也提过类似观点，认为推理芯片的评测口径必须与业务批处理模式绑定。

可核验的数据解读方法

恒球达在产业数据模块中提供了一套公开信息比对框架，核心是把厂商规格书中的标称值统一到相同测试条件下再比较。具体做法包括核对内存类型与位宽、确认算力标称对应的数据精度、区分稠密与稀疏口径。这三项若不一致，任何横向对比都缺乏意义。

  • 核对内存类型与位宽，推算理论带宽上限，与标称带宽交叉验证。
  • 确认算力对应的精度口径，INT8与FP8不可直接相加比较。
  • 区分稠密与稀疏标称，稀疏算力需注明结构化稀疏比例。

恒球达提醒，公开规格书通常不披露实际负载下的带宽利用率，因此理论推算只能作为上限参考。读者可通过本站客户端（安卓、苹果iOS、Windows电脑版、Mac电脑版）查阅参数库中的口径说明，所有条目均标注信息来源类型。恒球达会持续更新公开动态，但不会对未公开数据进行推测。