原标题：如何快速设计和部署智能机器视觉系统

　　机器视觉的需求在一系列应用中不断增长，包括安全、交通和城市摄像头、零售分析、自动检查、过程控制和视觉引导机器人。机器视觉实施起来很复杂，需要集成多种技术和子系统，包括高性能硬件和先进的人工智能/机器学习 (AI/ML) 软件。它首先优化视频捕获技术和视觉 I/O 以满足应用程序需求，并扩展到多个图像处理管道以实现高效连接。它最终取决于使嵌入式视觉系统能够使用高性能硬件实时执行基于视觉的分析，例如现场可编程门阵列 (FPGA)、模块系统 (SOM)、片上系统 (SoC)、甚至是多处理器片上系统 (MPSoC)，以运行所需的 AI/ML 图像处理和识别软件。这可能是一个复杂、昂贵且耗时的过程，存在大量成本超支和进度延误的机会。

　　设计人员无需从头开始，而是转向精心策划的高性能开发平台，该平台可加快上市时间、控制成本并降低开发风险，同时支持高度的应用程序灵活性和性能。基于 SOM 的开发平台可以提供集成的硬件和软件环境，使开发人员能够专注于应用定制，并节省长达九个月的开发时间。除了开发环境之外，相同的 SOM 架构还可用于商业和工业环境的生产优化配置，从而提高应用程序的可靠性和质量，进一步降低风险并加快上市时间。

　　本文首先回顾与开发高性能机器视觉系统相关的挑战，然后介绍AMD Xilinx的Kria KV260 视觉 AI入门套件提供的综合开发环境，最后以基于Kira 26 平台设计用于插入带有特定解决方案外围设备的载卡。

　　它从数据类型优化开始

　　深度学习算法的需求在不断发展。并非每个应用程序都需要高精度计算。正在使用较低精度的数据类型，例如 INT8 或自定义数据格式。基于 GPU 的系统可能会面临尝试修改针对高精度数据优化的架构以有效适应低精度数据格式的挑战。Kria K26 SOM 是可重新配置的，使其能够支持从 FP32 到 INT8 等各种数据类型。可重构性还可以降低整体能耗。例如，与 FP32 操作相比，针对 INT8 优化的操作消耗的能量要少一个数量级(图 1)。

　　图 1：与 FP32 操作(32b Add)相比，INT8(8b Add)操作所需的能量少一个数量级。(图片来源：AMD 赛灵思)

　　最低功耗的最佳架构

　　根据典型的电源使用模式，基于多核 GPU 或 CPU 架构实现的设计可能非常耗电：

　　30% 用于核心

　　30% 用于内部存储器(L1、L2、L3)

　　40% 用于外部存储器(例如 DDR)

　　GPU 需要频繁访问低效的 DDR 内存以支持可编程性，这可能成为高带宽计算需求的瓶颈。Kria K26 SOM 中使用的 Zynq MPSoC 架构支持开发很少或根本不访问外部存储器的应用程序。例如，在典型的汽车应用中，GPU 和各种模块之间的通信需要对外部 DDR 存储器进行多次访问，而基于 Zynq MPSoC 的解决方案包含一个旨在避免大多数 DDR 访问的管道(图 2)。

　　图 2：在这个典型的汽车应用中，GPU 需要对 DDR 进行多次访问以在各种模块之间进行通信(左)，而 Zynq MPSoC(右)的流水线架构避免了大多数 DDR 访问。(图片来源：AMD 赛灵思)

　　修剪利用优势

　　可以使用支持数据优化和修剪的 AI 优化工具来增强 K26 SOM 上神经网络的性能。神经网络过度参数化是很常见的，这会导致高度冗余，可以使用数据修剪和模型压缩进行优化。使用 Xilinx 的 AI 优化器可以将模型复杂性降低 50 倍，对模型精度产生名义上的影响。例如，一个单次检测器 (SSD) 加上一个具有 117 个千兆操作 (Gops) 的 VGG 卷积神经网络 (CNN) 架构，使用 AI 优化器经过 11 次修剪迭代进行了细化。在优化之前，该模型在 Zynq UltraScale+ MPSoC 上以每秒 18 帧 (FPS) 的速度运行。经过 11 次迭代——第 12次模型运行——复杂度从 117 Gops 降低到 11.6 Gops (10X)，性能从 18 提高到 103 FPS (5X)，准确度从 61.55 平均目标检测精度 (mAP) 下降到 60.4 mAP(仅 1 % 降低)(图 3)。

　　图 3：经过相对较少的迭代，剪枝可以将模型复杂度 (Gop) 降低 10 倍，将性能 (FPS) 提高 5 倍，而准确度 (mAP) 仅降低 1%。(图片来源：AMD 赛灵思)

　　实际应用示例

　　基于 Uncanny Vision 的视觉分析软件开发了一种用于汽车车牌检测和识别的机器学习应用程序，也称为自动车牌识别 (ANPR)。ANPR 用于自动收费系统、高速公路监控、安全门禁和停车通道以及其他应用。此 ANPR 应用程序包括一个基于 AI 的管道，用于解码视频和预处理图像，然后进行 ML 检测和 OCR 字符识别(图 4)。

　　图 4：基于 AI 的 ANPR 应用程序的典型图像处理流程。(图片来源：AMD 赛灵思)

　　实施 ANPR 需要一个或多个经过解码或未压缩的 H.264 或 H.265 编码的实时流协议 (RTSP) 馈送。解码后的视频帧经过缩放、裁剪、色彩空间转换和归一化(预处理)，然后发送到 ML 检测算法。高性能 ANPR 实施需要多级 AI 管道。第一阶段检测并定位图像中的车辆，创建感兴趣区域 (ROI)。同时，其他算法优化图像质量以供 OCR 字符识别算法后续使用，并跨多个帧跟踪车辆的运动。进一步裁剪车辆ROI以生成经过OCR算法处理的车牌ROI，以确定车牌中的字符。与其他基于 GPU 或 CPU 的商业 SOM 相比，

　　智能视觉开发环境

　　交通和城市摄像头、零售分析、安全、工业自动化和机器人等智能视觉应用的设计人员可以转向kria-k26-som-ai-starter开发环境。该环境使用 Zynq® UltraScale+™ MPSoC 架构构建，并拥有不断增长的精选应用软件包库(图 5)。AI Starter SOM 包括一个四核 Arm Cortex-A53 处理器、超过 25 万个逻辑单元和一个 H.264/265 视频编解码器。SOM 还具有 4 GB 的 DDR4 内存、245 个 IO 和 1.4 tera-ops 的 AI 计算，以支持创建高性能视觉 AI 应用程序，与其他硬件方法相比，性能提高了 3 倍以上，延迟和功耗更低。预先构建的应用程序使初始设计能够在不到一个小时内运行。

　　图 5：Kria KV260 视觉 AI 入门套件是用于机器视觉应用的综合开发环境。(图片来源：AMD 赛灵思)

　　为了帮助使用 Kria K26 SOM 快速启动开发过程，AMD Xilinx 提供了 KV260 视觉 AI入门套件，其中包括电源适配器、以太网电缆、microSD 卡、USB 电缆、HDMI 电缆和摄像头模块(图 6)。如果不需要整个入门套件，开发人员只需购买可选的电源适配器即可开始使用 Kira K26 SOM。

　　图 6：KV260 视觉 AI 入门套件包括：(上排，从左到右)电源、以太网电缆、microSD 卡和(下排，从左到右)USB 电缆、HDMI 电缆、摄像头模块。(图片：AMD 赛灵思)

　　加速开发的另一个因素是全面的功能阵列，包括丰富的 1.8 V、3.3 V 单端和差分 I/O，带有四个 6 Gb/s 收发器和四个 12.5 Gb/s 收发器。这些特性支持开发具有更多每个 SOM 的图像传感器和多种传感器接口(例如 MIPI、LVDS、SLVS 和 SLVS-EC)的应用程序，而特定应用程序标准产品 (ASSP) 或 GPU 并不总是支持这些接口. 开发人员还可以使用嵌入式可编程逻辑实现 DisplayPort、HDMI、PCIe、USB2.0/3.0 和用户定义的标准。

　　最后，通过将 K26 SOM 的广泛硬件功能和软件环境与生产就绪的视觉应用程序相结合，AI 应用程序的开发得到了简化并且更易于访问。这些视觉应用程序无需 FPGA 硬件设计即可实现，使软件开发人员能够快速集成自定义 AI 模型和应用程序代码，甚至修改视觉管道。Xilinx 的 Vitis 统一软件开发平台和库支持常见的设计环境，例如 TensorFlow、Pytorch 和 Café 框架，以及多种编程语言，包括 C、C++、OpenCL™ 和 Python。还有一个嵌入式应用商店，用于使用 Xilinx 及其生态系统合作伙伴的 Kria SOM 的边缘应用程序。

　　生产优化的 Kira 26 SOM

　　开发过程完成后，即可使用 K26 SOM 的生产就绪版本，该版本旨在插入带有特定解决方案外设的载卡，可加快向制造的过渡(图 7)。基本的 K26 SOM 是一款商业级单元，其额定温度为 0°C 至 +85°C 结温，由内部温度传感器测量。还提供工业级版本的 K26 SOM，额定工作温度范围为 -40°C 至 +100°C。

　　工业市场要求在恶劣环境中具有较长的使用寿命。工业级 Kria SOM 设计可在 100°C 结和 80% 相对湿度条件下运行十年，并可承受高达 40 g 的冲击和 5 g 的均方根 (RMS) 振动。它还具有至少十年的生产可用性，以支持较长的产品生命周期。

　　图 7：针对工业和商业环境的生产优化 Kira 26 SOM 旨在插入带有特定解决方案外围设备的载卡。(图片：Digi-Key)

　　概括

　　机器视觉应用(如安全、交通和城市摄像头、零售分析、自动检查、过程控制和视觉引导机器人)的设计人员可以求助于 Kria K26 SOM AI Starter 来加快上市时间，帮助控制成本并降低发展风险。这个基于 SOM 的开发平台是一个集成的硬件和软件环境，使开发人员能够专注于应用程序定制并节省长达九个月的开发时间。相同的 SOM 架构可用于商业和工业环境的生产优化配置，进一步加快产品上市时间。工业版的最低生产可用性为 10 年，以支持较长的产品生命周期。