TinyML社区瞄准1mW边缘设备AI

TinyML小组首次聚会时，首个议程是个简单问题：TinyML到底是什么？

TinyML是致力于让机器学习(ML)在超低功耗设备上运行的工程师社区。首次聚会聚焦ML能否在微控制器实现、是否需要专用低功耗ML处理器。

高通AI研究员Evgeni Gousev将TinyML定义为功耗1mW或以下的ML技术。他称1mW为智能手机常开应用的"魔法数字"。

"云端ML主导话语权，但设备端ML日益复杂，"Gousev指出。"90%数据源自现实世界。如何融合所有摄像头、IMU等传感器并在本地运行ML？"

"TinyML将大有作为，急需构建完整生态——应用、软件、工具、算法、硬件、ASIC、设备、晶圆厂等，"Gousev补充。

Google工程师Nat Jefferies在首届TinyML聚会演讲（图片：TinyML）

TensorFlow Lite

Google工程师Daniel Situnayake介绍TensorFlow Lite，专为边缘设备（含微控制器）定制的轻量级TensorFlow版本。

"TensorFlow Lite服务手机多年，我们现在兴奋地将其带入更小设备，"他说。

在TensorFlow训练模型后，工程师将其转换为TensorFlow Lite，通过量化等优化压缩模型，舒适适配目标硬件。

他描述的一种省电策略是串联模型。

"想象分类器级联：微小低功耗模型先检测是否有声音，稍大模型判断是否人类语音，仅当条件满足时才唤醒深层网络，"Situnayake解释。"仅在必要时唤醒高能耗模型，实现显著节能。"

级联机器学习模型可助省电（图片：Google）

Google"TensorFlow Lite for microcontrollers"团队成员Nat Jefferies强调，具备复杂传感器却仍依赖长续航电池或能量收集的消费设备，对严格能量预算需求增长。

"TinyML——微控制器上的深度学习——是关键，"他说。"它让我们以最少CPU周期和传感器读数本地处理传感器数据，避免片外传输能耗。TinyML可将原始传感器数据提炼为几字节，仅传输压缩载荷。"

他引用最近Google挑战赛吸引令人印象深刻的250kB模型人员检测提交，验证此路径可行性。

"我们现在能将TensorFlow模型压缩到适配微控制器，这正是切入该领域的良机，"Jefferies总结。

Google微控制器TensorFlow Lite路线图含开源演示项目、与芯片厂商合作优化内核、降低内存使用运行更复杂模型、扩展平台支持——SparkFun Edge首块板卡，Arduino和Mbed支持在即。

专用设备

GreenWaves Technologies业务发展副总裁Martin Croome为专用低功耗ML处理器辩护。

"我们需要从算法和硬件视角更清晰聚焦超低功耗ML，"Croome说。

GreenWaves的RISC-V应用处理器GAP8，针对毫瓦级功耗和超低待机电流的边缘设备推理。芯片专为电池供电和能量收集设备设计。

GreenWaves超低功耗ML加速器含九个RISC-V核心（图片：GreenWaves Technologies）

为保持低功耗，GAP8利用并行性非为速度，而是实现更低时钟频率和电压。硬件加速器单周期执行16位数据5x5卷积。因CNN使用固定尺寸输入和权重，内存管理可编译期确定，进一步降低运行时开销。

专用化与灵活性平衡是挑战。"AI演进迅速。今日前沿明日可能过时，"Croome警告。"必须避免过度专用，保持敏捷适应未来创新。"

GAP8已试产一年；本月开始量产，Q3末计划大批量出货。

TinyML聚会每月最后周四在湾区举办，欢迎业界和学术界参与者。