原标题：使用瑞萨电子 RZ/V2 系列 MPU 加速视觉识别系统设计

　　随着边缘视觉识别在许多产品中变得越来越重要，机器学习 (ML) 和人工智能 (AI) 正在进入广泛的应用领域。开发人员面临的问题是，与功率受限的应用程序相比，支持 ML/AI 的视觉可能需要更多的计算能力来运行识别算法。如果需要昂贵的热管理解决方案，它还会增加成本。

　　ML/AI 在边缘的目标是找到平衡性能和功率的最佳架构方法，同时提供一个强大的软件生态系统来开发应用程序。

　　考虑到这些条件，本文以瑞萨电子RZ/V2 系列微处理器单元 (MPU) 的形式介绍了一种解决方案，该单元具有内置的 AI 硬件加速器。本文探讨了 MPU 而非微控制器 (MCU) 或高端图形处理单元 (GPU) 如何解决设计人员面临的几个问题。包括他们如何开始使用 RZ/V2 系列设计视觉识别系统的描述，以及一些“提示和技巧”以使过程顺利进行。

　　RZ/V2系列MPU介绍

　　RZ/V2 系列是一个解决方案，它为使用三核微处理器的开发人员解锁了许多功能。RZ/V2L 系列微处理器包含两个运行频率为 1.2 千兆赫 (GHz) 的Arm Cortex-A55 处理器和一个运行频率为 200 兆赫 (MHz) 的实时微控制器内核 (Arm® Cortex®-M33)。此外，该系列中的部件包含一个基于 Arm Mali-G31 多媒体处理器的 GPU，具有 NEON 单指令/多数据 (SIMD) 指令。将这三个处理内核与多媒体处理器相结合，为从事视觉识别系统工作的开发人员提供了一个全面的解决方案。

　　RZ/V2 系列目前有两个 MPU 类别，RZ/V2L 和 RZ/V2M 系列。RZ/V2L 具有简单的图像信号处理器 (ISP)、3D 图形引擎和高度通用的外围设备集。RZ/V2M 就其本身而言，增加了一个高性能 ISP，它支持每秒 30 帧 (fps) 的 4K 分辨率。本文重点介绍 RZ/V2L 系列，由R9A07G054L23GBG和R9A07G054L24GBG 组成。两者的主要区别在于 R9A07G054L23GBG 采用 15 mm 2 456-LFBGA 封装，而 R9A07G054L24GBG 采用 21 mm 2 551-LFBGA 封装。

　　RZ/V2L 系列的框图如图 1 所示。除了三个处理内核之外，MPU 还包括标准外设接口，如 DDR3/DDR4 内存、SPI、USB、以太网、I²C、CAN、SCI、GPIO、和一个模数转换器(ADC)。此外，这些部件还包括安全功能，例如安全启动、加密引擎和真随机数生成器 (TRNG)。然而，让 MPU 系列与众不同的是动态可重构处理器 (DRP) AI 加速器。

　　图 1：RZ/V2L MPU 系列支持各种外围接口、安全性和视频处理选项。视觉识别应用的关键特性是 DRP-AI 加速器。(图片来源：瑞萨电子公司)

　　DRP-AI 加速器秘方

　　DRP-AI 加速器是使 RZ/V2L 系列 MPU 能够以更少的能耗和更低的热分布快速执行视觉识别应用的秘诀。DRP-AI 包含两个组件：DRP 和 AI 乘法累加 (MAC)，它们可以通过使用内部交换机优化数据流来有效地处理卷积网络和所有组合层中的操作(图 2)。

　　DRP-AI 硬件专用于 AI 推理执行。DRP-AI 采用瑞萨电子开发的独特动态可重构技术，可提供灵活性、高速处理和电源效率。此外，免费软件工具 DRP-AI 转换器可让用户实施优化的 AI 模型，从而快速最大化性能。DRP-AI 翻译器输出的多个可执行文件可以放置在外部存储器中。然后，应用程序可以在运行时在多个 AI 模型之间动态切换。

　　DRP 可以通过动态更改硬件配置来快速处理图像预处理和 AI 模型池层等复杂活动。

　　图 2：DRP-AI 由 DRP 和 AI-MAC 组成，它们一起可以通过使用内部交换机优化数据流来有效地处理卷积网络和所有组合层中的操作。(图片来源：瑞萨电子公司)

　　DRP-AI 翻译器

　　DRP-AI Translator 工具从经过训练的 ONNX 模型生成 DRP-AI 优化的可执行文件，独立于任何 AI 框架。例如，如果开发人员输出 ONNX 模型，则可以使用 PyTorch、TensorFlow 或任何其他 AI 建模框架。模型经过训练后，将被输入 DRP-AI 转换器，生成 DRP 和 AI-MAC 可执行文件(图 3)。

　　图 3：使用任何 ONNX 兼容框架训练 AI 模型。然后将 ONNX 模型输入 DRP-AI 转换器，生成 DRP 和 AI-MAC 可执行文件。(图片来源：瑞萨电子公司)

　　DRP-AI 翻译器具有三个主要用途：

　　调度每个操作以处理 AI 模型。

　　隐藏调度中每个操作转换期间发生的内存访问时间等开销。

　　优化网络图结构。

　　Translator 自动将 AI 模型的每个进程分配给 AI-MAC 和 DRP，从而使用户无需成为硬件专家即可轻松使用 DRP-AI。相反，开发人员可以通过提供的驱动程序调用来运行高性能 AI 模型。此外，DRP-AI 翻译器可以持续更新以支持新开发的 AI 模型，而无需更改硬件。

　　系统用例和流程

　　使用 RZ/V2L MPU 训练和部署视觉识别应用程序的一般流程如图 4 所示。像往常一样，工程师可以获取他们的数据集并使用它来训练他们的视觉识别模型。无论他们是试图识别猫、购物车中的产品，还是装配线上出现故障的零件，训练过程都将使用熟悉的 AI 框架进行。模型训练完成后，将其转换为 ONNX 格式并输入 DRP-AI 翻译器，然后输出可在 DRP-AI 硬件上执行的目标代码。然后对来自摄像头、加速度计或其他传感器的数据进行采样并将其馈送到可执行文件中，从而提供运行推理的结果。

　　图 4：在 RZ/V2L MPU 上训练和运行视觉识别算法的过程。(图片来源：瑞萨电子公司)

　　工程师可以通过多种方式在其设计中利用 RZ/V2L MPU(图 5)。首先，RZ/V2L MPU 可用于独立设计，其中 RZ/V2L 是系统中唯一的处理器。凭借其三核和 AI 加速硬件，可能不需要额外的计算能力。

　　第二个用例是将 RZ/V2L 用作更广泛系统中的 AI 处理器。在此用例中，RZ/V2L 运行 AI 推理并将结果返回到另一个处理器或系统，然后该处理器或系统对该结果进行操作。选择的用例将取决于各种因素，例如成本、整体系统架构、性能和实时响应要求。

　　图 5：RZ/V2L MPU 的两个用例是在应用程序中独立使用它们，或者在更广泛的系统中用作 AI 处理器。(图片来源：瑞萨电子公司)

　　实际应用示例

　　有许多可以部署视觉识别技术的用例。一个有趣的例子是在超市。如今，在杂货店结账时，员工或购物者通常会扫描购物车中的每一件商品。一个有趣的用例是使用视觉识别检测穿过传送带的产品并自动为它们收费。

　　可以使用简单的 CMOS 相机和 Renesas 的RTK9754L23S01000BE评估板构建原型(图 6)。RZ/V2L 嵌入式开发板具有模块上系统 (SOM) 和载板，可让开发人员快速启动和运行。此外，该开发板还支持 Linux，以及 DRP-AI Translator 等各种工具。

　　图 6：RZ/V2L 嵌入式开发板具有 SOM 和载板，可让开发人员快速启动和运行。(图片来源：瑞萨电子公司)

　　图 7 显示了获取图像数据和生成 AI 结果所需的操作概览。在此应用示例中，传送带的图像是通过板载 ISP 使用 CMOS 传感器拍摄的。接下来，图像被保存到内存中并输入到 DRP-AI 引擎中。最后，DRP-AI 引擎运行推理并提供 AI 结果。例如，结果可能是找到了香蕉、苹果或其他水果。

　　结果通常伴随着 0 到 1 的置信水平。例如，0.90 的置信度意味着 AI 确信它检测到了一个苹果。另一方面，0.52 的置信度可能意味着 AI 认为它是一个苹果，但不确定。获取 AI 结果并在多个样本中对其进行平均以提高正确结果的机会并不罕见。

　　图 7：RZ/V2L 嵌入式开发板用于运行 AI 推理，识别传送带上的各种水果。该图演示了获取图像和生成 AI 结果所需的步骤。(图片来源：瑞萨电子公司)

　　最后，在此示例中，在检测到的对象周围绘制了一个框，并显示了已识别对象的名称以及置信度(图 8)。

　　图 8：RZ/V2L 在传送带上检测水果和蔬菜的应用中的示例输出。(图片来源：瑞萨电子公司)

　　开始使用 RZ/V2L 的提示和技巧

　　希望在 Renesas RZ/V2L MPU 上开始使用机器学习的开发人员会发现，他们有很多资源可以用来启动和运行。以下是开发人员应牢记的几个“提示和技巧”，它们可以简化和加速他们的开发：

　　从开发板和现有示例开始，了解部署和运行应用程序。

　　如果需要执行多个推理，将可执行模型保存到外部存储器，并使用 DRP-AI 功能在模型之间快速切换。

　　查看瑞萨电子 RZ/V 嵌入式 AI MPU 网站上的文档和视频。

　　下载DRP-AI 翻译器。

　　下载 RZ/V2L DRP-AI支持包。

　　遵循这些“提示和技巧”的开发人员将在开始时节省相当多的时间和痛苦。

　　结论

　　ML 和 AI 正在进入许多边缘应用程序，实时识别对象的能力变得越来越重要。对于设计师来说，困难在于找到在边缘执行 AI/ML 的正确架构。GPU 往往很耗电，而 MCU 可能没有足够的计算能力。

　　如图所示，配备 DRP-AI 的瑞萨电子 RZ/V MPU 系列具有多种优势，例如硬件加速 AI，以及大量工具链和原型设计支持。