软件工具将 GPU 代码迁移到 FPGA 以用于 AI 应用

AI 软件初创公司 Mipsology 正在与 Xilinx 合作，使 FPGA 能够仅使用一个附加命令来取代 AI 加速器应用中的 GPU。 Mipsology 的“零努力”软件 Zebra 将 GPU 代码转换为在 FPGA 上的 Mipsology 人工智能计算引擎上运行，无需任何代码更改或重新培训。

Xilinx 今天宣布，它正在为 Zebra 提供最新版本的用于数据中心的 Alveo U50 卡。 Zebra 已经支持其他 Xilinx 开发板的推理加速，包括 Alveo U200 和 Alveo U250。

Xilinx 最新版本的 Alveo U50 数据中心加速器卡现在配备 Mipsology 的 Zebra 软件，用于将 GPU AI 代码转换为在 FPGA 上运行（图片：Xilinx）

“Zebra 为我们的 Alveo 卡带来的加速水平让 CPU 和 GPU 加速器相形见绌，”赛灵思营销副总裁 Ramine Roane 说。 “与 Zebra 相结合，Alveo U50 可满足 AI 工作负载的灵活性和性能需求，并为任何部署提供高吞吐量和低延迟的性能优势。”

即插即用

历史上，FPGA 被认为对于非专业人士来说是出了名的难以编程，但 Mipsology 希望将 FPGA 变成一种即插即用的解决方案，与 CPU 或 GPU 一样易于使用。这个想法是为了让从其他类型的加速切换到 FPGA 变得尽可能容易。

Mipsology 首席执行官 Ludovic Larzul 表示：“了解 [Mipsology] 的最佳方式是，我们在 FPGA 之上开发软件以使其透明，就像 Nvidia 使用 Cuda CuDNN 使 GPU 对 AI 用户完全透明一样。” , 在接受 EE Times 采访时 .

至关重要的是，这可以由非专家完成，无需深厚的 AI 专业知识或 FPGA 技能，因为无需模型重新训练即可过渡。

“易用性非常重要，因为当你查看人们的 AI 项目时，他们通常无法接触到设计神经网络的 AI 团队，”Larzul 说。 “通常情况下，如果有人安装了机器人系统或视频监控系统……他们会有其他一些团队或其他方开发神经网络并对其进行培训。一旦他们获得了 [经过训练的模型]，他们就不想改变它，因为他们没有专业知识。”

Zebra 的堆栈。该技术适用于数据中心、边缘和嵌入式应用（图片：Mipsology）

对比葡萄

Xilinx 已经拥有旨在使数据科学家和软件开发人员（即 Vitis）都能使用 FPGA 的综合解决方案，为什么还要支持第三方软件？

“一句话概括就是：我们做得更好，”拉祖尔说。 “另一句话是：我们的作品。”

Mipsology 不使用 Vitis 的任何部分或以任何方式与之链接，也不使用 XDNN，Xilinx 的神经网络加速器引擎。 Mipsology 在 Zebra 中有自己的计算引擎，它支持客户现有的卷积神经网络 (CNN) 模型，这与 Larzul 所说的 XDNN 不同，XDNN 支持大量演示，但不太适合自定义神经网络。他说，这使得使用 XDNN 启动和运行自定义网络变得“痛苦”。虽然 XDNN 可以在没有 GPU 威胁的应用中竞争，但 Zebra 的目的是使 FPGA 能够根据性能、成本和易用性与 GPU 正面竞争。

Zebra 堆栈的详细信息。目的是通过尽可能多地隐藏硬件，使 FPGA 从 GPU 或 CPU 更简单地切换到 AI 加速（图片：Mipsology）

Larzul 表示，大多数客户改变 GPU 解决方案的动机是成本。

“他们希望降低硬件成本，但又不想重新设计神经网络，”他说。 “存在非经常性成本 [已避免]，因为我们能够透明地更换 GPU，并且无需重新训练或修改神经网络。”

根据 Larzul 的说法，FPGA 还提供可靠性，部分原因是它们在硅空间上不那么激进，并且通常比包括 GPU 在内的其他加速器类型运行得更冷。这在长期维护成本很高的数据中心尤为重要。

“总拥有成本不仅仅是董事会的价格，”拉祖尔说。 “还有确保系统正常运行的代价。”

Zebra 还旨在使 FPGA 在性能上具有竞争力。 Larzul 说，虽然 FPGA 通常比其他加速器提供的 TOPS（每秒万亿次操作）更少，但由于 Zebra 精心设计的计算引擎，它们能够更有效地使用这些 TOPS。

“这是大多数加速 AI 的 ASIC 初创公司都忘记的事情——他们正在制作一块非常大的硅片，试图装入更多的 TOPS，但他们没有考虑过如何将网络映射到其上以提高效率，”他说，并指出 Zebra 基于 FPGA 的引擎每秒能够处理比 GPU 多 6 倍的 TOPS 数量的图像。

这是如何实现的？虽然 Larzul 没有提供确切的细节，但他确实说他们不依赖于修剪，因为准确度降低太大，如果不重新训练就无法接受。出于同样的原因，他们不使用极端量化（低于 8 位）。

Zebra 的引擎加速了 CNN，CNN 主要用于当今的图像和视频处理应用程序，但 Zebra 也可以应用于使用类似数学概念的 BERT（谷歌的自然语言处理模型）。 Zebra 的未来迭代可能会覆盖其他类型的神经网络，包括 LSTM（长短期记忆）和 RNN（循环神经网络），但由于 RNN 在数学上更加多样化，因此这很难实现。

EVE 团队

Mipsology成立于2015年，在法国有大约30人从事研发工作，在加州有一个主要负责业务开发的小团队。该公司已获得总计 700 万美元的资金，其中 200 万美元是 2019 年法国政府创新竞赛的奖项。

Mipsology 的核心团队来自 EVE——一家 ASIC 仿真器公司，Synopsys 于 2012 年为其 ZeBu（零错误）硬件辅助验证产品收购，当时是 Cadence 的 Palladium 验证平台的竞争对手。据 Larzul 称，几乎所有主要的 ASIC 公司都使用 EVE 技术在设计周期中验证 ASIC；该技术依赖于连接在一起的数千个 FPGA 来重现 ASIC 行为。

Mipsology 有 12 项正在申请的专利，与 Xilinx 密切合作，并与第三方加速卡兼容，如西部数据小型 (SFF U.2) 卡和研华卡如 Vega-4001。

>> 本文最初发表于我们的姊妹网站 EE Times。