亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Industrial Internet of Things >> 嵌入式

模拟存内计算:能效边缘AI推理新范式

机器学习与深度学习已融入日常技术。从自然语言助手到实时目标检测,AI驱动日益增长的消费与工业设备。然而多数应用依赖云端推理引擎——此架构引发隐私、功耗、延迟与成本担忧。

在边缘本地部署AI可消除这些问题。主要障碍是传统数字神经网络加速器的内存驱动功耗。当权重与激活从DRAM或SRAM取出,数据移动本身消耗能量比算术运算高两到三个数量级。模拟存内计算通过在非易失性存储阵列内直接执行乘累加(MAC)运算攻克此瓶颈。

云端AI:痛点

边缘设备将原始数据转发远程服务器时,多问题浮现:

  1. 隐私与安全——个人或机密信息在数据中心传输存储。
  2. 不必要的能耗——每比特经无线电发送、云端存储、重新检索均消耗能量。
  3. 小批量推理延迟——响应超100ms,用户可感知。
  4. 数据经济低效——传感器生成海量流;上传一切既不经济不可持续。

为克服挑战,先在高性能平台(云、GPU农场等)训练模型。所得权重映射至轻量推理引擎在本地计算。

神经网络的MAC密集本质

即使轻量模型亦以MAC为主。例MobileNet-v1配224×224输入含420万参数,单次推理需5.69亿MAC。乘法与累加在稠密矩阵-向量乘积中执行。

数字计算为何挣扎

传统加速器中,权重与激活存DRAM/SRAM,须取入算术逻辑单元(ALU)。图3展示内存瓶颈:移动数据能量(50-100pJ/次)远超每MAC 250fJ。即使激进数据复用,冯·诺依曼架构仍给能效设硬上限。

模拟存内计算:能效边缘AI推理新范式
图3:机器学习计算内存瓶颈。(来源:Y.-H. Chen, J. Emer, V. Sze, "Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for Convolutional Neural Networks," ISCA, 2016.)

模拟存内计算破局

将计算嵌入存储阵列本身,消除权重搬运需求。剩余数据传输仅限输入信号——典型为传感器输出。亚阈值工作的Flash单元耗亚纳安电流,主动功耗可忽略。待机时非易失性单元零功耗保持数据。

Silicon Storage Technology(Microchip旗下)的memBrain™平台体现此路径。基于SuperFlash®(ESF3)存储技术,每个位单元可编程为精确阈值电压(Vt),建立代表权重的电导。施加输入电压时,单元电流等于输入与存储权重乘积。

多电平存储架构

图4展示ESF3位单元剖面。单元含五端——控制栅(CG)、字线(WL)、擦除栅(EG)、源极线(SL)、位线(BL)。高压EG编程浮栅,其他端低压偏置读写单元。

模拟存内计算:能效边缘AI推理新范式
图4:SuperFlash ESF3单元。(来源:Microchip Technology)

精细编程调节浮栅Vt产生特定I-V曲线。图5演示2-bit例:四个离散Vt电平在固定CG电压下产生四个分离电流响应。

模拟存内计算:能效边缘AI推理新范式
图5:ESF3单元Vt电平编程。(来源:Microchip Technology)

存储阵列中的MAC

每个单元电导gm体现训练权重。电流Iout = gm · Vin实现乘法步骤。并联多单元,列电流自然求和,得累加操作。图6可视化2×2阵列执行两次MAC与一次累加。

模拟存内计算:能效边缘AI推理新范式
图6:ESF3阵列乘累加运算(2×2)。(来源:Microchip Technology)

更大规模下,权重矩阵可映射至单一存储阵列。图7展示全连接层矩阵内存布局。

模拟存内计算:能效边缘AI推理新范式
图7:推理权重矩阵存储阵列。(来源:Microchip Technology)

推理流程直观:传感器数据数字化、DAC转模拟电压、馈入阵列、列电流经ADC数字化供后续激活与池化阶段。

模块化与扩展性

memBrain瓦片设计为可堆叠。图8展示3×4配置,多瓦片共享公共模数互连。数据经共享总线跨瓦片移动,支持构建深层网络而无需单一巨型芯片。

模拟存内计算:能效边缘AI推理新范式
图8:memBrain™模块化设计。(来源:Microchip Technology)

软件开发包(SDK)

配套SDK框架无关。无论TensorFlow、PyTorch或其他库训练,SDK处理模型量化、映射、部署至memBrain硬件。图9勾勒训练到推理工作流。

模拟存内计算:能效边缘AI推理新范式
图9:memBrain™ SDK流程。(来源:Microchip Technology)

核心优势

  1. 超低功耗——存内计算消除数据移动,Flash单元亚阈值工作,零待机功耗。架构亦利用稀疏性,零权重或输入使单元闲置。
  2. 紧凑占板——1.5晶体管分栅单元存4-bit值,而6晶体管SRAM同数据需24晶体管。芯片面积大幅缩减。
  3. 降低开发成本——利用成熟Flash工艺、避免超密集几何,掩膜套件成本与周期显著低于面向边缘AI的ASIC。

边缘AI预示变革性应用,但功耗与成本仍为限制因素。模拟存内计算,凭借验证済多电平Flash技术,提供将智能推理带至传感器端的务实、低成本路径。

嵌入式

  1. 断电如何威胁电源供应——以及如何保护它们
  2. 小型制造车间如何低成本拥抱数字化解决方案
  3. 工业边缘计算:如何驱动制造性能
  4. 联网技术破解供应链四大顽疾:数据重复、可读性、可预测性、可视性
  5. 边缘计算如何变革企业 IT:平衡视角
  6. 云计算如何赋能IT团队:从运维救火到战略创新
  7. 边缘计算解密:交通、公用事业与制造业的实战用例
  8. 边缘计算:五大潜在陷阱及应对之道
  9. 利用 IIoT 数据驱动精益制造盈利能力
  10. 边缘计算:驱动工业4.0前行的催化剂
  11. 拥抱边缘计算的六大核心理由
  12. 边缘计算与5G:重塑企业数据中心,驱动数字化转型