瑞萨电子和 Syntiant 提供联合语音控制视觉 AI 解决方案

瑞萨电子公司与边缘设备中低功耗智能语音和传感器处理提供商 Syntiant 公司联合开发了一种语音控制的多模态人工智能 (AI) 解决方案，以实现嵌入式视觉图像处理的低功耗非接触式操作基于人工智能的物联网 (IoT) 和边缘系统。

新解决方案结合了瑞萨 RZ/V 系列视觉 AI 微处理器单元 (MPU) 和低功耗多模式 Syntiant NDP120 神经决策处理器，可为自助结账机、安全摄像头、视频等应用提供先进的语音和图像处理能力会议系统，以及机器人清洁设备等智能设备。

该联合解决方案具有始终在线的功能，可从待机模式快速语音触发激活，以执行对象识别、面部识别和其他基于视觉的任务，这些任务是安全摄像头和其他系统中的关键功能。例如，当用户定义的语音提示驱动激活和系统操作时，视觉人工智能识别跟踪操作员的行为并在检测到可疑行为时控制操作或发出警告。

多模式架构使为基于视觉 AI 的系统创建非接触式用户体验变得更加容易。由于可以独立于视觉 AI 功能开发软件，因此使用专用的节能芯片进行语音识别可降低待机功耗，同时加快系统开发速度。

瑞萨 RZ/V 系列 MPU 集成了瑞萨的 DRP-AI（动态可重构处理器-AI）加速器，并将高精度 AI 推理与瑞萨声称的业界最佳功率效率相结合。这种卓越的功率性能消除了对散热器或冷却风扇等散热措施的需求，从而降低了物料清单 (BOM) 成本并使视觉 AI 集成到各种嵌入式应用中成为可能。 DRP-AI由AI-MAC和DRP（动态可重构处理器）组成，通过内部交换机优化数据流，可以高效处理卷积层和全组合层的运算。 DRP可以通过动态改变硬件配置，灵活、快速地处理图像预处理、AI模型池化层等复杂处理。提供的 DRP-AI 转换器自动将 AI 模型的每个进程分配给 AI-MAC 和 DRP，从而使用户可以在不了解硬件的情况下轻松使用 DRP-AI。 DRP-AI 转换器输出的多个可执行文件可以放置在外部存储器中。这使得在作为一个系统的多个 AI 模型之间动态切换成为可能。此外，DRP-AI 翻译器可以持续更新以支持新开发的 AI 模型，无需更改硬件。

Syntiant NDP120芯片集成了复杂的人工智能能力，可用于实现许多高精度、免提语音功能，包括说话人识别、关键字检测、多唤醒词和本地命令识别。封装了 Syntiant Core 2 神经网络推理引擎，NDP120 还可以同时运行多个应用程序，同时将功耗降至 1mW 电池功率。

在代表瑞萨电子发言时，Hiroto Nitta 说：“我们预计，作为提高易用性和安全性的一种方式，对使用多个输入信息流（包括图像和语音）的多模态系统的需求将会增加。”物联网和基础设施业务部高级副总裁兼 SoC 业务负责人 Nitta 补充说：“通过低功耗图像 AI 技术领导者瑞萨电子和语音 AI 技术领导者 Syntiant 之间的合作，我们将加速在嵌入式系统中采用低功耗、超小型智能语音 AI 技术，并为全球客户提供新的组合解决方案。”

Syntiant 首席执行官 Kurt Busch 表示：“基于语音的用户界面将使客户能够提供新的用户体验，将下一代创新理念从概念变为现实。我们已经在全球交付了超过 1500 万个深度学习 NDP，以在各种消费者和工业物联网应用中实现始终在线的语音。我们与瑞萨电子的合作提供了一种强大的、低功耗的语音和图像解决方案，肯定会在各种设备和用例中加速吸引全球客户群。”

新的语音控制多模式 AI 解决方案使用来自更广泛的瑞萨产品组合的多个相互兼容的设备，为客户提供一个提升的原型设计平台，以加快上市时间并降低风险。新解决方案是瑞萨电子“成功组合”的一部分，该组合具有引人注目的模拟、电源和嵌入式处理产品组合，可帮助客户加快设计速度并更快地进入市场。

新的多模态 AI 解决方案的参考设计现已上市，包括电路图和 BOM 列表。