MLCommons 发布 MLPerf Inference 2024 基准测试：边缘、数据中心、移动与笔记本结果

策划 MLPerf 基准测试套件的独立组织 MLCommons 宣布最新一轮 MLPerf Inference 得分。新结果按四大设备类别——数据中心、边缘、移动、笔记本——整齐划分，方便买方、厂商和研究人员跨真实工作负载比较性能。

设备类别细分

按设备类别分离得分反映了各市场独特的外形规格和性能概况。MLCommons 执行总监 David Kanter 告诉 EE Times：“谈论笔记本时，它可能运行 Windows；谈论智能手机时，可能运行 iOS 或 Android。”通过隔离移动和笔记本结果，基准测试为各用例最相关加速器能力提供更清晰洞察。

最先进模型

不同于上一轮主要聚焦视觉任务，当前基准测试纳入五个现代、生产级模型：

• DLRM——大规模推荐引擎
• 3D-UNet——用于 MRI 扫描肿瘤检测的医学成像模型
• RNN-T——语音转文本引擎
• BERT——自然语言处理 Transformer
• MobileNetEdge、SSD-MobileNetv2、Deeplabv3 和 Mobile BERT——上述模型的移动端优化变体

这些选择由包含推荐、医学成像、语音领域行业专家的顾问委员会驱动，确保基准反映当今生产中最苛刻工作负载。

数据中心性能

不出所料，Nvidia GPU 主导数据中心类别。事实上，85% 总提交基于 Nvidia 硬件，该公司在参与的每个类别中均横扫。基准显示性能差距扩大：在基础计算机视觉模型上，Nvidia A100 吞吐量约为 Intel Cooper Lake CPU 的 30 倍，推荐系统工作负载上快 237 倍。Nvidia 产品管理高级总监 Paresh Kharya 强调，单个 DGX-A100 可匹配 1000 节点 CPU 集群在推荐任务上的性能，为规模化提供巨大价值。

此类别中唯一非 CPU、非 GPU 参赛者是 Mipsology 的 Zebra 加速器，运行于 Xilinx Alveo U250 FPGA。Zebra 在服务器模式下实现 4096 ResNet 查询/秒，对比 Nvidia T4 的 5563；离线模式 5011 样本/秒，对比 T4 的 6112。

研发类别中，台湾公司 Neuchips 的 RecAccel——基于 FPGA 的 DLRM 加速器——性能与 Intel Cooper Lake CPU 持平或略低，未达 Nvidia 水平。这些早期原型展示新兴 AI 硬件广度，即使尚未商业化。

边缘层级结果

边缘系统主要由 Nvidia A100、T4、AGX Xavier 和 Xavier NX 芯片驱动。Centaur Technology 参考设计（专有 x86 处理器加独立 AI 协处理器）在单流 ResNet 延迟上击败 Nvidia Tesla T4，但在吞吐量上落后。英国咨询公司 dividiti 展示从树莓派到 Nvidia AGX Xavier 的广泛得分，凸显操作系统选择和片上加速器使用如何影响结果。

研发池新参赛者包括俄罗斯 IVA Technologies 和韩国初创 Mobilint。虽未实现突破性性能，但其入选表明原型加速器软件成熟度已达可与商业方案基准测试水平。

移动与笔记本基准测试

移动类别有三个可比提交：联发科 Dimensity 820（小米 Redmi 10X 5G）、高通 Snapdragon 865+（测试于 Asus ROG Phone 3）、三星 Exynos 990（用于 Galaxy Note 20 Ultra）。三星在图像分类和 NLP 领先，联发科在目标检测优异，三星在图像分割再胜。结果说明无单一 SoC 横扫所有任务，凸显工作负载特定优化重要性。

笔记本类别仅含单一 Intel 参考设计，采用即将推出的 Xe-LP GPU。虽有限数据难以详细比较，但 Xe-LP 在图像分割 (DeeplabV3) 上比最佳移动 SoC 高 2.5 倍吞吐量，目标检测 (SSD-MobileNetv2) 上好 1.15 倍。

展望未来

Kanri 强调 MLCommons 对基准生态系统多样性的承诺。组织鼓励非 Nvidia、非 Intel 和小公司参与，设有开放组允许测试任何网络或模型。“我们也在为下一轮增加功耗测量维度，”Kanter 说，邀请社区协助开发必要工具。

如需完整详细 MLPerf Inference 结果列表，点击此处。

来源：EE Times

边缘结果由 Nvidia GPU 主导，含 Jetson Xavier NX