原标题：TI - 嵌入式边缘AI应用开发简化指南

《TI-嵌入式边缘AI应用开发简化指南》主要介绍了在没有嵌入式处理器供应商提供的合适工具和软件的支持下，如何设计高能效的边缘人工智能（AI）系统，并加快产品上市时间。以下是对该指南的详细解读：

一、面临的挑战

在嵌入式边缘AI应用开发中，主要面临以下挑战：

1. 选择恰当的深度学习模型。

2. 针对性能和精度目标对模型进行训练和优化。

3. 学习使用在嵌入式边缘处理器上部署模型的专用工具。

二、TI提供的解决方案

为了简化嵌入式边缘AI应用的开发流程，TI提供了以下工具、软件和服务：

1. Model Zoo：

• Model Zoo是TensorFlow、PyTorch和MXNet框架中常用的开源深度学习模型的大型集合。

• 这些模型在公共数据集上经过预训练和优化，可以在TI适用于边缘AI的处理器上高效运行。

• TI会定期使用开源社区中的新模型以及TI设计的模型对Model Zoo进行更新，提供性能和精度经过优化的广泛模型选择。

• Model Zoo囊括数百个模型，TI模型选择工具可以帮助开发者在不编写任何代码的情况下，通过查看和比较性能统计数据（如推理吞吐量、延迟、精度和双倍数据速率带宽），快速比较和找到适合AI任务的模型。

2. 训练与优化：

• 凭借TI的软件架构和开发环境，开发者可以随时随地训练模型。

• 从TI Model Zoo中选择模型时，借助训练脚本可以让开发者在自定义数据集上为特定任务快速传输和训练模型，而无需花费较长时间从头开始训练或使用手动工具。

• 训练脚本、框架扩展和量化感知培训工具可以帮助开发者优化自己的DNN模型。

3. 模型评估与部署：

• 在开发边缘AI应用之前，需要在实际硬件上评估模型性能。

• TI提供灵活的软件架构和开发环境，开发者可以在TensorFlow Lite、ONNX RunTime或TVM以及支持Neo AI DLR的SageMaker Neo运行环境引擎中选择习惯的业界标准Python或C++应用编程接口（API），只需编写几行代码，即可随时随地训练自己的模型，并将模型编译和部署到TI硬件上。

• 在这些业界通用运行环境引擎的后端，TI深度学习（TIDL）模型编译和运行环境工具可以让开发者针对TI的硬件编译模型，将编译后的图或子图部署到深度学习硬件加速器上，并在无需任何手动工具的情况下实现卓越的处理器推理性能。

• 在编译步骤中，训练后量化工具可以自动将浮点模型转换为定点模型。该工具可通过配置文件实现层级混合精度量化（8位和16位），从而能够足够灵活地调整模型编译，以获得出色的性能和精度。

1. 基准测试与性能评估：

• 同样位于GitHub上的TI边缘AI基准工具可以帮助开发者为TI Model Zoo中的模型无缝匹配DNN模型功能，并作为自定义模型的参考。

• 评估TI处理器模型性能的方式有两种：TDA4VM入门套件评估模块（EVM）或TI Edge AI Cloud。后者是一项免费在线服务，可支持远程访问TDA4VM EVM，以评估深度学习推理性能。

• 借助针对不同任务和运行时引擎组合的数个示例脚本，五分钟之内便可在TI硬件上编程、部署和运行加速推理，同时收集基准测试数据。

2. GStreamer框架：

• 为了协助快速构建高效率的边缘AI应用，TI采用了GStreamer框架。

• 借助在主机Arm内核上运行的GStreamer插件，开发者可以自动将计算密集型任务的端到端信号链加速部署到硬件加速器和数字信号处理内核上。

三、学习资源与支持

1. TI Edge AI Academy：

• 即使不是AI专家，亦可开发和部署AI模型或构建AI应用。

• TI Edge AI Academy有助于开发者在自学、课堂环境中通过测验学习AI基础知识，并深入了解AI系统和软件编程。

• 实验室提供了构建“Hello World”AI应用的分步代码，而带有摄像头捕获和显示功能的端到端高级应用使开发者能够按照自己的节奏顺利开发AI应用。

2. 开源项目与工具：

• EdgeAI TIDL Tools：该工具集由德州仪器（TI）开发，旨在加速深度神经网络（DNN）在TI嵌入式设备上的执行。它支持跨Cortex-A系列MPU、TI最新一代C7x DSP以及TI的DNN加速器（MMA）的异构执行。作为TI软件开发套件（SDK）的一部分，TIDL还提供额外的计算机视觉功能及优化库，包括OpenCV。适用于多种TI嵌入式设备，是TI边缘AI解决方案的核心部分，旨在简化DNN开发与部署的整个生命周期。

综上所述，《TI-嵌入式边缘AI应用开发简化指南》为开发者提供了从模型选择、训练优化到部署评估的全方位解决方案和支持。通过遵循该指南并利用TI提供的工具和资源，开发者可以更加高效地开发嵌入式边缘AI应用并应对未来的挑战。