将边缘 AI 提升到一个新的水平
技术的进化阶段是一个熟悉的地方，人工智能，近年来的主要技术，也不例外。在 AI 中——新一代添加更多 MAC、多层量化、这个特性、那个特性——所有这些都是为了追求更高的 TOPS/Watt。
我们已经在这种环境中通过我们的 CEVA NeuPro 平台成功地将 AI-at-the-edge 解决方案引入各个市场。现在，用户想要更多，但有时仅靠进化是不够的。
起初，用户强调易用性，以帮助他们引入这种新的人工智能边缘技术。但随着他们在高级 AI 技术方面的专业知识的加深，他们希望获得所有可能的方法来在他们的产品中建立差异化，并将当前最先进的方法超出一个数量级。通过进化不可能快速到达那里。革命性的改进是必要的。他们想要的已经从易用性转变为在最大吞吐量和最小功率下的最大算法灵活性。
衡量
TOPS/W 是一个不错的营销数字，但它太粗糙，无法在实际应用中使用。例如，在视觉推理中，每秒每瓦特帧数 (FPS/W) 是一个更有意义的指标。在这种情况下，好分数的价值很容易理解。检测前方的行人或汽车或从后方通过的汽车需要快速响应。几乎没有时间刹车或转向，而且这两个动作都不是即时的。推理引擎必须能够以尽可能低的功率管理至少 100 FPS，因为这只是汽车周围众多传感器/人工智能系统中的一个。这需要更高的 fps/W 才能获得竞争力。
市场机会不容置疑。预计汽车和电信应用将成为这一增长的最大贡献者，而在汽车领域，智能成像继续保持强劲势头。顺便说一句，手机中的“多摄像头”趋势也是如此。事实上，此类相机中的成像管道已经开始用神经网络取代传统算法，用于去噪、图像稳定、超分辨率和其他新功能，所有这些都在非常有限的能量包络中以 60fps 的速度运行。
重大进展需要什么
围绕模拟 AI 和尖峰神经网络发生了一些有趣的事情，但产品制造商不想与他们确定可以扩展到今天的量产距离太远。这种限制仍然给算法留下了很大的潜力，但现在产品制造商希望以更大的灵活性访问所有这些算法，以在最低功耗下获得最大性能。
优化可能性的列表很长：广泛的量化选项、winograd 支持、稀疏优化以跳过零乘法、激活和权重的数据类型多样性在一系列位大小、与神经乘法并行的向量处理能力、数据压缩以减少权重和激活的加载时间、矩阵分解支持、在参考网络上提供高达 50:1 的加速，以及下一代 NN 架构，如转换器和 3D 卷积支持。
行动呼吁
现在在 AI 方面拥有更多经验的产品构建者知道他们想要构建什么以及如何构建它。他们需要的是一个提供他们已经理解的所有神经网络组件算法的平台，以便为其产品构建最佳解决方案。
这是一个理想的算法和优化列表，可提供高级边缘 AI 所需的真正突破性能力、吞吐量和低功耗。但为什么只是一个梦？高级产品制造商不再满足于人工智能的渐进式改进。他们现在希望平台能够与他们对可能性的极大理解保持一致。
要详细了解 CEVA 在边缘 AI 方面的工作，请单击此处。
Roni Sadeh 在处理器和加速器设计方面拥有 20 多年的经验，近年来专注于音频/语音/计算机视觉应用的 AI 相关软件和硬件解决方案，并设计了可扩展到数百个的下一代 AI 加速器顶。
Roni 拥有理工大学航空工程学士学位。
物联网技术