Quadric混合数据流与冯·诺依曼架构芯片加速AI与视觉工作负载

一种新型混合数据流与冯·诺依曼架构可加速神经网络、机器学习、计算机视觉、DSP和基础线性代数子程序等工作负载。

硅谷初创公司Quadric设计出一种加速器，在机器人、工厂自动化、医学成像等边缘设备上同时提升AI推理和传统计算机视觉算法性能。硬件独特混合设计统一数据流与冯·诺依曼原理，高效执行神经网络、机器学习、DSP和线性代数例程。

“从一开始我们就认识到，边缘设备需要的不只是AI，”CEO Veerbhan Kheterpal对EE Times表示，“开发者需要单一系统同时运行经典高性能计算算法和AI。”

Kheterpal强调，该架构非离散加速器集合，而是单一数据并行指令集，可加速包括AI推理在内的多样工作负载。

“最新研究显示，用快速傅里叶变换（FFT）替换整个层可大幅加速Transformer，”首席产品官Daniel Firu说。Quadric有望加速此类工作负载，引用Google论文：Transformer编码器自注意力子层替换为FFT，在BERT基准上达92%准确率，GPU训练快7倍、TPU快2倍。

Quadric开发套件，含Q16处理器和4GB外部内存的M.2卡（来源：Quadric）

葡萄园机器人起家

创始人Veerbhan Kheterpal、Daniel Firu、Nigel Drego先前创立比特币挖矿公司21，后被Coinbase收购。Quadric早期专注纳帕谷葡萄园巡检农业机器人，检测灌溉漏水和害虫。但无人机方案高昂成本推动团队探索定制加速器。

“无人机系统成本5-1万美元，但拖拉机平台配大型GPU和多摄像头超5万美元。这一洞察引导我们设计所需加速器芯片，”Kheterpal解释。

2017年种子轮后，汽车Tier-1 Denso领投1300万美元A轮，Quadric至今融资1800万美元。

图灵完备设计

Quadric指令驱动架构融合数据流与冯·诺依曼概念，以单一灵活方案替代异构边缘系统。图灵完备Vortex核心提供加速同时保持可编程性。可扩展阵列兼容7nm或5nm工艺，适配从数百毫瓦至20W功耗预算的边缘设备。

Q16芯片拥有16×16 Vortex核心阵列。每核心可执行矩阵乘法和AI运算，含多功能ALU支持逻辑、归约、移位等。软件暴露广泛算法谱系——从LSTM激活函数到自定义控制流——跨阵列用if-then-else语句利用细粒度稀疏性。

每核心享单周期邻核访问和4Kb片上内存，片上内存提供低延迟确定性数据访问。

核心以“单指令多解码”模式执行：每周期广播相同指令，但动态运行时数据让各核心不同解码，在同构阵列中实现异构功能。

专用广播总线高效将常量（如神经网络权重）同步流入所有核心。静态软件控制加载/存储单元实现确定性内核运行时，同步双边加载和三边存储减少执行时间。

Daniel Firu（来源：Quadric）

“从一侧加载另一侧存储，让我们在硬件层面执行数据重映射和图像旋转，”Firu说。

片上静态内存而非缓存，为大型数据结构提供充足空间。Q16的8GB内存可容纳多个HD帧缓冲或整个神经网络权重集。

软件栈

Quadric在流片前构建软件栈，让开发者可在模拟器或FPGA上原型验证。栈通过基于LLVM的编译器和C++ API抽象架构。Source Mode支持数据并行算法并以C++控制架构特性，可随AI模型复杂化表达自定义操作。

Quadric软件栈（来源：Quadric）

即将推出的Graph Mode将为TensorFlow或ONNX模型提供无代码接口，由基于TVM的DNN编译器自动生成代码。

“多数平台限制自家AI编译器，但我们提供完整图灵完备核心可执行任意操作，”Kheterpal解释，“这种灵活性让开发者部署自定义算法或不支持算子无限制。”

芯片路线图

Q16在16nm硅上实现16×16阵列共256个Vortex核心，达4 INT8 DNN TOPS。224×224图像上ResNet-50跑200次推理/秒，平均功耗2W。

Quadric路线图含第二代架构和Q32芯片——1000核心阵列——目标7nm制造。Q32还可能集成Arm或RISC-V核心作为主机处理器。

搭载Q16处理器和4GB外部内存的M.2开发套件现已上市。

>> 本文最初发表于我们的姊妹网站EE Times。

相关内容：

• 硬件加速器服务AI应用
• DSP何时胜过硬件加速器
• 用恰当RISC-V自定义指令加速应用指南
• 推理芯片性能建立在优化内存子系统设计上
• 新AI加速模块增强边缘性能
• 边缘AI挑战存储技术

订阅Embedded周报，获取更多嵌入式内容。