AI 先驱警示：当前 AI 硬件聚焦方向错误

Facebook 首席 AI 科学家 Yann LeCun 在 NeurIPS 主题演讲中警示：专注奇异硬件是误入歧途。他回顾神经网络专用芯片演进、分享 Facebook 当前工作、并对深度学习硬件给出预测。

远古历史

LeCun 自 1980 年代以来为 AI 先驱人物，在贝尔实验室期间是最早开发专用神经网络处理器者之一。那些早期器件用电阻阵列执行矩阵乘法，为后续进步奠基。

90 年代末、2000 年代初神经网络失宠时，LeCun 是坚守领域的寥寥科学家之一。演讲中他反思那时期硬件教训。

Facebook 首席 AI 科学家 Yann LeCun

第一，工具至关重要。90 年代仅寥寥研究者——含 LeCun——拥有训练神经网络的软件。团队花费数年构建如今所谓深度学习框架，将高层代码转化为高效训练例程的灵活层。此突破为 TensorFlow、PyTorch 等现代框架奠基，模型从可自动微分的可微模块组装。

正确工具给 LeCun 团队“超能力”并实现可复现研究。他强调可靠结果必须可复现；否则社区保持怀疑。

硬件性能同等重要。LeCun 指出研究硬件能力塑造研究议程。“因可用硬件不足，想法常被放弃，”他说。“研究雄心与硬件现实错位会使有前景方向脱轨。”

LeCun 警示勿追逐无法融入现有计算生态系统的奇异制造方法。

他还强调当今加速器关键错位：多数针对矩阵乘法优化，而非卷积——现代图像/语音处理网络核心运算。“主流路径将随功率需求增长日益错位，”他警告。“若 95% 周期花在卷积，硬件根本次优。”

杀手级应用

展望未来，LeCun 看到卷积神经网络渗透日常设备——从玩具、吸尘器到医疗设备。但将在消费设备释放 AI 价值的单一“杀手级应用”是增强现实（AR）头显。

Facebook 正积极开发 AR 眼镜硬件。挑战在于交付低延迟、电池供电计算。“用户移动时，虚拟物体必须锚定世界而非头显，”LeCun 解释，强调实时追踪需求。

Facebook 设想 AR 眼镜响应语音命令和手势手部追踪。这些能力虽现存，但在功耗、性能、外形上不足。LeCun 概述数个实用技巧填补差距。

例如，当同一神经网络处理视频每帧——如目标检测——逐帧不准确可容忍，因帧间时序一致性可强制执行。这允许使用超低功耗、不完美硬件（可能偶发位翻转），通过降低供电电压实现。

神经网络发展

神经网络架构快速演进给硬件设计带来挑战。学习序列模式的动态网络（如许多 NLP 模型）需运行时图优化、难以批处理。LeCun 指出现有硬件多假设批大小 >1，迫使研究者处理超出模型最优设置的大批次。

他敦促硬件社区创建批大小 1 下在推理和训练（理想批大小常为 1）均表现良好的架构。

自监督学习

LeCun 警示学习范式将剧变。人类和动物通过观察学习——他称自监督学习——而非显式标签或强化信号。此方法现为基于 Transformer NLP 标准，训练模型预测输入数据掩码部分。

虽自监督学习高效，但推高内存需求。当前最大 Transformer 模型含高达 50 亿参数，无法装入单 GPU，需模型分区。

“自监督学习是未来，”LeCun 断言。“它要求海量内存和计算资源，硬件竞赛将随海量无标签数据训练越大模型而加剧。”

硬件趋势

LeCun 关注模拟计算、自旋电子学、光学系统等新兴硬件概念。他指出通信瓶颈——新硬件与主流系统间信号转换——是主要障碍。模拟设计依赖稀疏激活降低能耗，但维持稀疏性可行性未定。

他对脉冲神经网络和神经形态芯片等未来主义路径持怀疑。“算法须在造芯前证明自己，”他说。“在算法成熟前驱动硬件设计有风险。”

神经网络处理时间线

1980 年代末：电阻阵列做矩阵乘法。至 1980 年代末，阵列周围获放大器和转换器但仍相当原始。限制是数据多快送入芯片。
1991：首款面向卷积神经网络（CNN）芯片诞生。二进制数据上 320 GOPS，数字移位寄存器最小化卷积所需外部流量，加速运算。未超学术界使用。
1992：ANNA，模拟神经网络 ALU 芯片首秀。面向 6 位权重、3 位激活的 CNN，含 18 万晶体管、0.9 µm CMOS。用于手写文本光学字符识别。
1996：DIANA，ANNA 数字版发布。但神经网络 90 年代中期失宠，DIANA 最终改作基站信号处理。
2009-2010：研究者在 FPGA（Xilinx Virtex 6）演示硬件神经网络加速器。运行自动驾驶语义分割演示，~0.5 W 下 150 GOPS。Purdue 大学团队尝试基于此做 ASIC，但项目失败。（来源：Yann Le Cun/Facebook）