多芯片推理架构优化性能：分区策略与带宽权衡

过去两年推理芯片设计创新爆发。新方案层出不穷，但许多公司难以对比，因可靠基准稀缺。厂商宣称 TOPS 或 TOPS/Watt 却不详述模型、批大小、工况，流行的 ResNet-50 基准对大多数真实工作负载过于简单。

衡量推理芯片性能真正关键的是 高 MAC 利用率、低功耗 和紧凑硅面积。理解这些指标后，下一步是探索单一设计部署多芯片的收益与陷阱。

为何多芯片可带来线性增益

当芯片为并行设计，扩展至两颗、四颗或更多，理论上吞吐量可成比例增长——如将单车道高速公路扩为多车道。关键在于选对芯片、正确分区神经网络，避免流量瓶颈。

神经网络按层组织，每层消耗前一层输出激活值。ResNet-50（50 层）或 YOLOv3（100+ 层）等深层模型中，早期层产生最大激活值，随网络深入逐渐收缩。

跨多芯片分割模型时，需同时考察激活值大小和每层 乘累加（MAC） 操作数。目标是均衡负载：每芯片处理可比 MAC 数和相似数据量。若一芯片处理大部分工作而另一闲置，整体吞吐受限于较慢单元。

此外，模型切分点决定芯片间必须传输的数据量。选择激活值大小最小的切分点，可降低芯片间带宽需求和延迟，防止通信链路成为性能瓶颈。

YOLOv3 在 200 万像素图像上采用 Winograd 卷积算法，累积 MAC 操作数和激活输出大小如下图。双芯片配置通常在 50% MAC 处切分，芯片间传递 ~1-2 MB 激活值。四芯片设置切分点约在 25%、50%、75%，最早切分常需 4-8 MB 数据传输。

点击查看大图

YOLOv3/Winograd/2M 像素图像的激活输出大小（蓝柱）和累积 MAC 操作（红线），展示多芯片工作负载分布（图片：Flex Logix）

现代性能工具可同时建模单芯片和多芯片配置。它们考虑逐层 MAC 计数、激活大小、数据传输带宽影响。精准建模至关重要，因芯片间带宽不足会抵消理论加速。

四芯片流水线带宽需求增加，因早期层（激活值最大）必须在所有单元间共享。更高带宽支持更多芯片，但也增加每个芯片必须承担的开销，即使单独部署亦然。

部署多推理芯片可解锁显著性能提升，前提是神经网络智能分区、所选芯片架构支持高 MAC 利用率和高效数据移动。优先关注吞吐量而非 TOPS 或 ResNet-50 等标题基准，设计网络匹配芯片强项。正确策略下，可将单车道推理管线转化为高容量、低延迟系统。

—— Geoff Tate，Flex Logix CEO

嵌入式