亿迅智能制造网
工业4.0先进制造技术信息网站!
首页 | 制造技术 | 制造设备 | 工业物联网 | 工业材料 | 设备保养维修 | 工业编程 |
home  MfgRobots >> 亿迅智能制造网 >  >> Industrial Internet of Things >> 嵌入式

赋能边缘AI的存储技术:挑战与机遇

边缘AI重塑存储思维

边缘AI正重塑我们对存储的认知。随着AI工作负载从云迁移至更贴近用户的设备,存储系统必须在保持成本效益和可靠性前提下,提供大容量、高带宽、低延迟、能效。

不存在单一“边缘AI”规范。术语广泛涵盖中央云外任何AI启用电子设备——从企业数据中心到自动驾驶汽车、智慧城市基础设施、IoT端点。

典型边缘场景含:自动驾驶汽车计算机视觉、制造闸口AI推理检测产品缺陷、电线杆5G边缘盒监控交通、手机应用Snapchat滤镜或语音助手。

存储角色跨应用一致:存储神经网络权重、模型代码、输入数据、中间激活值。挑战在于平衡容量、带宽、功耗、成本,同时满足各部署独特约束。

边缘数据中心

边缘数据中心服务医疗影像、高频金融、自动驾驶控制等延迟敏感领域。这些站点使用与传统服务器相同存储家族——高性能DRAM、大容量RDIMM、非易失性选项如NVDIMM。

“低延迟DRAM对训练开发AI模型至关重要,”Smart Modular Technologies解决方案架构师Pekon Gupta指出。“大数据集需高容量RDIMM或LRDIMM,而NVDIMM加速写密集型工作负载如缓存和检查点。”

赋能边缘AI的存储技术:挑战与机遇
Pekon Gupta

电信运营商遵循类似路径,为边缘服务器添加存储和计算。Gupta强调Intel Optane——连接DRAM和Flash的3D XPoint非易失性存储——为受益持久大容量存储的AI工作负载提供引人注目选择。

“Optane DIMM和NVDIMM用途不同:Optane擅长内存数据库和大型持久AI数据集,NVDIMM提供低延迟分层和缓存,”Gupta解释。

Intel Kristie Mann报告Optane已驱动电商推荐引擎、视频个性化、实时金融分析。配备双路Intel Xeon Scalable处理器和Optane持久内存的服务器可提供高达6 TB可用内存,为全DRAM配置提供高性价比替代。

赋能边缘AI的存储技术:挑战与机遇
Intel的Kristie Mann

赋能边缘AI的存储技术:挑战与机遇
Intel Optane 200系列模块。Intel称Optane已用于驱动当今AI应用。(来源:Intel)

GPU加速

高性能边缘数据中心,GPU驱动AI计算。存储选择含专为高带宽GPU设计的GDDR、及将多个存储芯片直接堆叠在GPU封装上的HBM(高带宽存储)。

HBM2E每通道达3.6 Gbps,每堆栈带宽460 GB/s——双堆栈逼近1 TB/s。此性能结合低功耗使HBM成Nvidia数据中心GPU首选存储。

GDDR6单通道18 Gbps、带宽72 GB/s。四颗GDDR6芯片产出近300 GB/s,成边缘推理工作负载最佳平衡点。Rambus IP核心产品营销高级总监Frank Ferro指出LPDDR虽对端点推理具成本效益,但无法满足现代AI模型带宽需求,推动设计师转向GDDR6。

赋能边缘AI的存储技术:挑战与机遇
Frank Ferro,Rambus

其他加速器——如Achronix Speedster7t FPGA——也利用GDDR带宽,证明HBM和GDDR在边缘AI均有角色。

远边缘

最远边缘——手机、可穿戴、传感器节点——AI以推理为主。Syntiant语音控制芯片、Gyrfalcon相机效应加速器等器件采用模拟计算技术,将矩阵乘法直接嵌入存储单元。

Mythic旗舰IP利用闪存晶体管作可变电阻执行8位乘累加运算,实现卓越密度和能效。其噪声消除校准使模拟变异下仍能可靠8位推理。

赋能边缘AI的存储技术:挑战与机遇
Mythic用闪存晶体管阵列制造密集乘累加引擎(来源:Mythic)

面向超低功耗推理的ASIC结合分布式SRAM、块SRAM、片外DRAM。Flex Logix Geoff Tate解释InferX X1在单路x32 LPDDR4 DRAM和10 MB SRAM下于933 MHz达7.5 TOPS,在速度、面积、成本间取得平衡。

随存储经济演进,LPDDR因带宽、简洁性、最小硅面积将继续主导边缘推理选择。

新兴存储

成熟技术外,多种非易失性存储为AI提供新能力。

MRAM

磁阻RAM(MRAM)用磁取向存储位,允许低电压操作并具可控随机行为。此随机性可用于二值神经网络(BNN),后者耐高比特错误率同时保持精度。Spin Memory的Andy Walker指出MRAM可大幅降低功耗同时为不要求极高精度边缘AI任务保持性能。

赋能边缘AI的存储技术:挑战与机遇
Andy Walker,Spin Memory

MRAM非易失性也为统一存储架构敞开大门,替代嵌入式Flash和SRAM,减少芯片面积和静态功耗。

神经形态ReRAM

电阻RAM(ReRAM)引入突触可塑性,使神经形态系统能就地学习。Politecnico Milano与Weebit Nano合作演示ReRAM无监督学习潜力,允许边缘设备适应变化环境无需从头重训练。

总之,存储技术快速演进满足边缘AI需求。成熟存储——GDDR、HBM、Optane——持续主导数据中心边缘,LPDDR和片上SRAM占据远边缘。新兴非易失性存储如MRAM、ReRAM有望提供前所未有能效和自适应能力,塑造下一代AI启用设备。

—— 本文原发于姊妹站EE Times。

嵌入式

  1. 工厂维护大数据实战:跨越挑战,释放预测性价值
  2. 理解 ROM、PROM、EPROM 与 EEPROM:设计、编程与识别
  3. 微处理器:存储程序计算的演进
  4. 掌握IIoT资产管理:4大核心技巧与常见挑战
  5. 先进制造技术三大标杆案例
  6. 联网技术破解供应链四大顽疾:数据重复、可读性、可预测性、可视性
  7. 直线运动技术:自动化精密解决方案
  8. STMicroelectronics展示28nm FD-SOI MCU内嵌PCM赋能动力总成、ADAS与电动化
  9. 西门子收购Pixeom边缘技术,拓展数字化工厂解决方案
  10. 边缘超融合:VMware与Eurotech驱动高效工业IoT
  11. 边缘计算:跨行业落地图谱与技术互通的跨界红利
  12. 5G与边缘计算:2021年新兴网络安全挑战