磁神经形态计算将AI效率提升至人类水平
神经元的电学动力学与纳米磁体的开关动力学惊人地相似。磁隧道结设备表现出的随机开关行为,恰好对应神经元的S型开关特性,因此可用于存储突触权重。
普渡大学研究人员利用磁体这一独特特性,开发出一种方法,可帮助AI机器人在物体识别任务上达到人类般的能效。该方法将磁学与类脑网络融合,教导无人机、自动驾驶汽车和机器人更好地泛化识别多种物体。
全新算法架构
脉冲神经网络(SNN)是实现智能神经形态系统的有力候选,其计算资源需求远低于传统神经网络。这类网络以稀疏脉冲事件的形式编码和传输数据。
研究团队采用尖峰时间依赖可塑性(STDP),开发出一种名为Stochastic-STDP的新型随机训练算法。这是一种深度残差卷积SNN,称为ReStoCNet,由二进制内核组成,专为内存高效的神经形态计算设计。
参考文献:Frontiers | doi:10.3389/fnins.2019.00189 | 普渡大学
利用磁体的内在随机行为,研究人员基于新算法随机切换磁化相位。在推理阶段,训练好的突触权重以确定性方式编码在纳米磁体的磁化相位中。
基于STDP的概率学习规则融合了赫布和反赫布学习机制,以逐层无监督方式训练ReStoCNet的二进制内核,实现分层输入特征提取。
图片来源:普渡大学
团队采用高能垒磁体,实现紧凑的随机基元,使同一器件既可作为稳定存储元件。他们在两个公开数据集上验证了ReStoCNet的效率,结果表明残差连接使深层卷积层能学习有价值的高层输入特征,并最小化无残差连接SNN的损失。
应用前景
新型网络能同时模拟神经元和突触,大幅降低执行类脑计算任务所需的能量和内存。此类类脑网络可解决图着色、旅行商等困难优化问题。文中提出的随机器件可作为“天然退火器”,帮助算法跳出局部极小值。
具体而言,具备内存高效概率学习和事件驱动计算的ReStoCNet,极适合基于CMOS和新兴随机器件技术(如相变存储器、电阻式随机存取存储器)实现神经形态硬件,提升电池供电设备的内存效率。
延伸阅读:光在新型量子模拟器中表现得像磁体
工业技术