AI 视觉处理器在 2W 下以 30fps 的速度支持 8K 视频

Ambarella 使用 CES 2021 作为发布平台，宣布了其第五代人工智能 (AI) 视觉处理器片上系统 (SoC)，据称该系统为能效设定了新标准。其 CV5 AI 视觉 CVflow 处理器采用先进的三星 5 纳米工艺制造，能够以低于 2 瓦的速度以每秒 30 帧的速度编码完整的 8K 视频，这对于汽车、消费类（包括无人机）和机器人相机中的智能相机系统具有重要意义。

新的 CV5 将 Ambarella 的 CVflow AI 引擎与双 Arm A76 CPU 相结合，为各种基于 AI 的算法提供所需的性能。图像信号处理器 (ISP) 支持多达 14 个摄像头的输入，可以同时处理图像以供人类观看和机器处理。在embedded.com 的简报中，Ambarella 营销和业务发展副总裁 Chris Day 说：“这是我们的第五代图像处理器，对视频和 AI 进行单独处理。这是第一款 5nm 芯片，可实现低功耗，这对许多应用至关重要，尤其是在运动相机中。”

他补充说：“我们与三星晶圆厂密切合作，拥有业内最好的 VLSI 设计团队之一。这意味着由于我们与三星的密切合作关系，我们可以尽早访问流程库。”

在汽车视频远程信息处理应用中，CV5 提供对来自前置高级驾驶员辅助系统 (ADAS)、驾驶员监控、驾驶室监控和侧视摄像头的多个视频流进行编码所需的性能。其CVflow AI引擎可同时运行车道偏离、前方碰撞警告等ADAS算法以及驾驶员昏昏欲睡检测等驾驶员监控算法。高分辨率视频捕捉与先进的人工智能处理相结合，使 ADAS 摄像头能够远距离、高精度地识别图像。

Day 表示，最初的兴趣在于汽车市场，因为该细分市场约占 Ambarella 业务的 20%。

CV5 SoC 的低功耗还使其适用于下一代高分辨率和高帧率动作、360° 和虚拟现实 (VR) 摄像机，以非常小的外形设计提供 8K 录制和播放。特别值得一提的是，它还具有适用于VR相机的片上图像稳定和拼接等功能。

在机器人和无人机应用中，CV5 的 CVflow AI 引擎可以加速同步定位和映射 (SLAM)、路径规划和障碍物检测，以及导航和自主操作的避让算法。对于基于无人机的航拍和电影摄影，CV5 可以同时执行飞行控制和导航功能，同时以每秒 60 帧的速度录制高达 8K 分辨率的视频。

Day 评论说，CV5 特别擅长无人机市场的两个领域：一个是改进摄像，另一个是添加计算机视觉和 AI 以进行物体检测等。

在所有不同的应用程序中，Day 表示 CV5 的主要优势是能够在所有市场上添加 8K 录制。他还表示，这是该公司首次在芯片上包含 PCIe 接口，从而开放连接选项。虽然最初的重点是汽车、运动相机、无人机和 VR 相机，但他预计今年晚些时候将推出用于安全和监控的 CV5 版本

新 SoC 与 Ambarella 的其他 CVflow SoC 系列共享通用 SDK 和计算机视觉 (CV) 工具，简化了具有多种价格和性能选择的相机的开发。一套完整的 CV 工具可帮助客户将自己的神经网络移植到 CV5 上，包括编译器、调试器和对行业标准机器学习框架（如 PyTorch、ONNX、Caffe 和 TensorFlow）的支持，以及卷积神经网络的广泛指南网络 (CNN) 性能优化。

CV5 SoC的主要特点包括：

• 支持 DNN 的 CVflow 架构
• 高达 1.6 GHz 的双核 Arm Cortex-A76，带有 NEON DSP 扩展和 FPU
• 高速 SLVS-EC、MIPI-CSI (C/D PHY) 接口，最多可连接 14 个摄像头
• 吞吐量高达 8KP60 的多通道 ISP
• 原生支持 RGGB、RCCB、RCCC、RGB-IR 和单色传感器格式
• 多重曝光高动态范围 (HDR) 处理
• 实时、硬件加速的鱼眼去扭曲和镜头畸变校正 (LDC)
• AVC 和 HEVC 编码具有高达 8KP60 的吞吐量和多流支持
• 丰富的接口包括 4-lane PCIe、CAN FD、千兆以太网、USB 3.1 主机和设备、三个 SD 卡控制器、MIPI DSI/CSI-2 和 HDMI 视频输出
• LPDDR4x / LPDDR5 / LPDDR5x 支持、64 位数据总线和高达 32 GB 的容量
• 安全功能，包括使用 TrustZone 和安全内存的安全启动、TRNG、OTP、DRAM 加扰和虚拟化
• 5 纳米制程技术
• 16×16 FBGA 封装，球间距为 0.5 毫米