Google AutoML 生成代码超越人类专家:NASNet 架构刷新 ImageNet 纪录
2017 年 5 月,Google Brain 团队发布 AutoML:一个控制器神经网络,能自动设计子模型架构并针对特定任务训练——即“AI 设计 AI”。
数据集与挑战
初期在 Penn Treebank、CIFAR-10 等小数据集验证后,团队挑战 COCO 目标检测与 ImageNet 图像分类两大大规模学术基准。直接应用 AutoML 需数月训练,故研究者做两项关键改进:
- 重新设计搜索空间,使其发现可灵活堆叠的最佳层结构;
- 在 CIFAR-10 上搜索架构,再迁移至 COCO 与 ImageNet。
两类最佳层(Normal Cell 与 Reduction Cell)融合生成新架构 NASNet。
卓越性能
NASNet 在 ImageNet 分类上达到 82.7% 准确率,大幅超越 Google Brain 此前的 Inception 系列,并比已发表/未发表最佳结果高 1.2%。可缩放生成不同算力模型:小版 NASNet 仅用一半计算量即达 74% 准确率,同规模移动端模型中领先 3% 以上。在各模型尺寸(百万级运算量/参数量)下均超越人工设计架构。迁移至 COCO 目标检测(Faster-RCNN + NASNet)获 43.1% mAP,比 SOTA 高约 4%。NASNet 推理代码已开源至 GitHub。
未来展望
NASNet 在 COCO/ImageNet 学到的特征可复用于多视觉任务;AutoML 降低机器学习门槛,助力非专家开发复杂 AI 机器/机器人;研究显示此级 AI 可助视障者复明;自动驾驶、增强现实等应用前景广阔。Google 将继续分析测试计算机生成架构,若成功将催生全新神经网络范式,影响深远。
工业技术