高通准备边缘 AI 产品

在 Cloud AI 100 AI 加速器最初发布后将近 18 个月，高通公司已经发布了该芯片将可用的解决方案外形因素的一些进一步细节，以及这些卡的一些性能数据。这家移动芯片巨头透露，Cloud AI 100 最终芯片正在生产中，将于 2021 年上半年发货。

Cloud AI 100 于近 18 个月前于 2019 年 4 月推出。 虽然高通凭借其 Snapdragon 产品线在智能手机处理器市场占据主导地位，但高通公司的服务器产品此前并未起飞——其基于 Arm 的 Centriq 产品线于 2018 年停产仅一年后发射。因此，这家移动芯片制造商将 Cloud AI 100 视为进入边缘服务器市场的一种方式。

Qualcomm 的 Cloud AI 100 面向近边缘应用，包括企业数据中心和 5G 基础设施（图片：Qualcomm）

外形因素

虽然 Cloud AI 100 芯片的许多细节仍处于保密状态，但我们现在知道它最初将在三种类型的卡上可用。它们是双 M.2 边缘 (DM.2e) 外形规格，可在 15 瓦时提供超过 50 TOPS、双 M.2 (DM.2) 卡（配置为 25 瓦时可提供 200 TOPS）和 PCIe 卡它在 75 瓦时约为 400 TOPS。 （Qualcomm 指出，这些是“原始”TOPS 数字、理论最大值，并不代表在实际应用中可能实现的计算量。

高通似乎已将其在低功耗处理器设计方面的技能从移动领域转移到边缘 AI 加速器市场。虽然 Cloud AI 100 的设计并非基于 Snapdragon 处理器中的 AI 加速块，但每瓦特的性能数据似乎令人印象深刻。高通在其媒体简报会上展示的幻灯片包含一张图表，其中显示 Cloud AI 100 的 PCIe 卡版本在仅使用一小部分功率的情况下胜过许多业界最流行的解决方案。据 Qualcomm 称，这些是与其他供应商公开指出的数字相比的衡量性能数字。

点击查看大图

根据 Qualcomm 的数据，Resnet-50 每秒用于流行 AI 推理硬件的 AI 推理与功耗的对比。在电源效率方面，高通的显卡似乎表现得特别好。除 Nvidia A100 外，图中所有点的批次大小均为 8。 （图片：高通）

“在高通，我们在人工智能研发方面有着悠久的历史，”高通产品管理高级总监 John Kehrli 说。 “我们实际上是在移动端的第五代解决方案中，我们有超过 11 年的非常活跃的研发。因此，我们正在利用这些知识、行业专业知识，但这是一个不同的 AI 核心，它与移动设备不同，但我们正在利用该领域。”

Cloud AI 100 是一款推理加速器，拥有多达 16 个支持 INT8、INT16、FP16 和 FP32 的 AI 处理器内核。它建立在 7nm FinFET 工艺技术之上。有高达 144 MB 的片上 SRAM – 128 MB 在内核之间共享，每个内核有额外的 1 MB。该卡支持高达 32 GB 的卡级 DRAM，内存带宽为 4x 64 LPDDR4x，运行频率高达 2.1 GHz。

边缘应用

Cloud AI 100 可用于计算机视觉、语音、自动驾驶、语言翻译和推荐系统。今天，高通公司将其 Cloud AI 100 芯片定位于四个关键市场的 AI 推理。它们是云之外的数据中心、ADAS、5G 边缘盒和 5G 基础设施。

位于云边缘的数据中心中的 AI 推理为一切提供支持，从用于提供广告和个性化新闻源的推荐引擎到更多特定于应用程序的计算密集型 AI 计算。

高通所谓的“5G 边缘盒”更像是内部部署的嵌入式独立设备。这些可以作为智慧城市基础设施的一部分部署在电线杆上或企业中，用于驱动智慧城市、公共安全和交通管理应用。

Cloud AI 100 的衍生产品用于为 Qualcomm Snapdragon Ride 平台中的自动驾驶人工智能处理提供动力（Kehrli 表示，该衍生产品共享通用架构和软件工具链）。

Cloud AI 100 在 5G 基础设施中的应用将是加速波束成形等复杂算法，这些算法现在使用 AI 来高效管理 5G 基站。

参考设计

高通还宣布了其新的 Cloud AI 100 开发套件。这包括由 Cloud AI 100 驱动的 5G 边缘盒的参考设计，以及作为主机处理器的 Snapdragon 865 应用程序和视频处理器（提供支持多达 24 个全高清视频解码流的完整视频管道，并为客户留有余量）应用程序开发）。该参考设计还使用了基于骁龙 X55 5G 调制解调器的预认证 5G 模块。

“这对我们来说真的是一个全新的机会，我们对此感到非常兴奋，”Kehrli 说。 “[开发套件] 的目标是让对此领域感兴趣的客户快速轻松地开箱即用地运行演示应用程序——它甚至带有预编译的 ResNet-50 作为演示。”

Kehrli 说，像这样的 5G 边缘盒可能会为购物中心的安全视频流或制造工厂的安全应用程序进行内部分析。

日程

Kehrli 表示，首批采用 Cloud AI 100 的客户很可能位于智能城市、零售和制造业的边缘。

“我预计我们的第一个商业部署将更多地在边缘端而不是在数据中心端，在那里有一个更长的周期才能将其投入生产，”他说。 “这并不是说我们在那里没有很大的吸引力和机会，但我预计 5G 边缘部署会更快，而且我们预先认证的 5G 模块之类的东西会让这变得更容易。我们与之合作的许多客户都不是您的传统移动客户。因此，为他们提供已经过预认证的解决方案，他们可以快速推向市场。因此，该领域的 [应用程序] 会出现得更快。”

Qualcomm Cloud AI 100 的最终芯片已投产，目前正在向多个客户提供样品，并将于 2021 年上半年发货。边缘开发套件将于下个月提供样品，但仅限特定客户。

>> 本文最初发表于我们的姊妹网站 EE Times。