原标题：基于 Intel OpenVino 与 Realsense Camera 的3D 物件夹取系统方案

　　在制造业、金属加工业、食品业产线上仍然有不少上下料工作需仰赖人工进行，但是面临高龄少子化时代的冲击，缺工情况日益严重，机器人进行自动化上下料需求逐渐浮现。但是以往的自动化上下料往往只解决了问题的一半，不少难以自动化进行上下料的情况是工件散乱堆放于容器内，如零组件、金属粗胚、食品包装等。相比人类，对机器人来说，从容器中取出随机排放的零件，再将其精确地放入机器中却是困难重重。

　　为改善这些应用缺陷，市场积极发展机器人随机取放( Random Bin Picking)技术，同时结合AI、3D视觉，可借此辨识物件包括位置、姿态与摆放顺序等资讯，透过AI自适应夹取路径与取放动作，由于工件不需事先整理及排列即可被辨识，因此能有效提升许多工厂的生产效率。

　　比如在金属加工产业中，研磨与抛光两个制程至今仍大量仰赖人工作业，像是水五金制品具有如孔洞、多重曲面的复杂外形，因此其较难以导入自动化。但目前于台湾水五金产业在研磨抛光制程的缺工越来越严重，这使得市场对于研磨抛光机器人的需求增强，在3D视觉与虚实整合系统辅助下，对于具有复杂研磨抛光路径需求的机器人来说，可降低其在路径生成的难度，并达到加工稳定。

　　另外包括纺织、制鞋、食品加工等轻工业的机器人应用也在成长中，渐渐往自动化、智慧化发展。例如制鞋业在涂胶制程与研磨抛光遭遇相同加工路径复杂之问题，现也透过3D视觉引导改善，或有厂商开发协助成衣业者改善打样流程的机器手臂。

　　方案介绍

　　这方案的组成有:

　　1. Intel Realsense D415 Camera: 撷取3D 物件影像资料并透过USB 将影像资料送到Edge AI System.

　　2. Edge AI System with Intel OpenVino toolkit: 透过影像分析与深度学习算法辨识物件位置、姿态的资讯(X,Y,Z,Rx,Ry,Rz)。另外也可以将辨识到的物件种类、状况等资讯传送到云端或本地端透过仪表板呈现物件资讯

　　3. Robot Arm: 执行获得的物件位置、姿态资讯(X,Y,Z,Rx,Ry,Rz)，夹取物件。与Edge AI System 透过TCP/IP 界面来沟通。

　　我们将Edge AI System 与 Robot Arm 间透过TCP/IP 协定来互相沟通，并定义command message。如此可加快AI 辨识方案的快速部属。

　　Robot Arm command Flow Chart

　　Command message type

　　► 场景应用图

　　► 产品实体图

　　► 展示版照片

　　► 方案方块图

　　► 坐标轴转换代码

　　► Intel RealSense Camera 撷取影像代码

　　► 提供方案说明

　　► 核心技术优势

　　1. Intel RealSense D415 camera a. 低成本的3D双目深度相机 b. 提供完整SDK 可以快速与系统整合 c. 可快速扫瞄，提供点云资讯 d. 可透过ROS整合开发自主创新功能 e. 智能化3D物件辨识 2. Intel OpenVino Toolkit a. 可最佳化训练好的模型 b. 支援业界、学界常用的训练框架 c. 可快速部属到intel 的硬体平台如CPU、GPU、VPU、FPGA d. 提供常用的预训练模型如SSD、YOLO 等 e. 提供C++ 与Python 的应用范例，缩短程式开发周期 3. 3D 物件夹取系统方案 a. 可自动夹取与放置物件 b. 客制化的物件辨识(可依客户需求再训练模型) c. 透过标准TCP/IP 界面传输物件夹取资讯

　　► 方案规格

　　1. 3D相机: Intel RealSense D415 Camera 2. 作业系统: UBuntu 16.04 3. Intel NUC Rugged Board with Core i3/i5 Processor 4. AI 推论套件: Intel OpenVino Toolkit 2020.03 5. 记忆体: 4GB 以上 6. 传输界面: USB 3.0 and TCP/IP 界面 7. 机器手臂: 6轴手臂、4轴手臂 with TCP/IP 界面 8. 加速卡: Intel® Movidius™ Myriad™ X Edge AI Module VEGA-320-01A1

　　>>>>>>>>>>https://www.wpgdadatong.com/cn/solution/detail?PID=7044