0 卖盘信息
BOM询价
您现在的位置: 首页 > 技术方案 >工业控制 > 基于FPGA技术的手势识别控制型多功能机械臂系统设计方案?

基于FPGA技术的手势识别控制型多功能机械臂系统设计方案?

来源:
2024-10-14
类别:工业控制
eye 12
文章创建人 拍明芯城

基于FPGA技术的手势识别控制型多功能机械臂系统设计方案

一、设计概述

随着信息技术的快速发展,人机交互技术逐渐由传统的键盘、鼠标等基于图形用户界面的方式,转变为以模拟和类似人类感知传输的信息类型。手势识别因其自然、直接、有效的交互特点,越来越受到研究人员的关注。传统的手势识别依赖于配置有传感器的手套,成本高且操作不便,不具有推广性。而基于机器视觉的手势识别技术,突破硬件局限,从模式识别算法层面革新人机交互方式,更适应未来人机交互的发展趋势。

image.png

机械臂作为现代工业领域自动化智能加工中最常见的执行终端,通过各个关节的协调运动与机械末端的配合,可进行多自由度模拟仿真。通过对舵机进行控制设计,使机械臂能够完成抓取分拣、连续动作,从而具有比人手更好的动作组合灵活性和指令完成准确性。

本系统基于机器视觉,聚焦手势识别,利用摄像头获取单目图像信息,实现手势分割、手势建模、手势形状特征提取,对多种不同手势图像进行识别。以舵机控制的机械臂模块作为响应终端,借助手势变化来控制机械臂执行多种功能。该系统不仅延长了人手的作用范围,还在工业自动化、物流行业等领域有着极好的应用前景。

二、系统组成及功能说明

本系统以Xilinx ZYNQ SoC作为主控制芯片,分为处理器模块、摄像头模块、显示器模块、舵机驱动模块、通讯传输模块。

  1. 处理器模块

本系统采用基于ZYNQ-7020芯片的PYNQ-Z2开发板进行系统开发。ZYNQ分为PS(Processing System)和PL(Programmable Logic)两部分。在PS上运行Linux操作系统,在Linux操作系统上运行Python,通过调用PYNQ中的库Overlay,对连接到PS端的接口进行解析,进而控制FPGA逻辑资源,加速系统数据处理。

对于本系统所设计的基于机器视觉的手势识别算法和“井字游戏”人机大战算法,直接利用硬件语言进行编写在逻辑上十分复杂,故采用Python进行编程实现,利用FPGA对图像处理部分进行硬件加速,不仅提高了图像处理速度,还更好地扩展了图像应用。

  1. 摄像头模块

本系统采用奥尼C11款的高清摄像头对手势进行画面捕捉,通过USB完成图像输入。相比于传统的传感器手套对手势姿态的采集,摄像头减轻了硬件端的负担,使得整个系统可推广性更好。

  1. 显示器模块

采用显示屏作为图像输出端,展示手势识别图像处理过程及结果,不仅有利于过程中的算法调试与验证,并且具有更好的视觉效果。

  1. 机械臂(舵机)模块

本系统使用的机械臂是Learm公司开发的一款六自由度机械臂,能通过上位机对其进行动作设计,通过PWM控制舵机运转,从而完成抓取和连续复杂动作两种不同的模式功能。舵机(机械臂)模块与处理器的模块采用UART串行通信,采用特定的通信协议进行指令交互。

  1. 通讯传输模块

该模块用于处理器模块与其他模块之间的数据传输,确保系统的各个部分能够协同工作。

三、手势识别

本系统可以对常用的八种手势进行识别处理,分别为“0”、“1”、“2”、“3”、“4”、“5”、“Best of luck”、“ok”。启动系统后,在摄像头端摆出相应手势,即完成手势输入,显示器会显示出对应的识别结果。显示器画面有矩形框定位识别区域,在该矩形框中会有多边形框出手部轮廓,右上方会显示识别结果。当识别区域没有放入手进行识别时,显示器画面静止。

机械臂内部封装有存储“动作组”的部件,用来存储动作指令。用户如果要进行动作设计,在机械臂通电的情况下,通过USB通信与电脑端上位机进行连接,在上位机中设置传输给六个舵机的PWM值,形成一个包含这个动作指令的“动作组”,下载进存储部件以便后续调用。

四、详细主控芯片型号及其作用

  1. Xilinx ZYNQ-7020

    • 型号:Xilinx ZYNQ-7020

    • 作用:作为主控制芯片,ZYNQ-7020芯片将处理器系统(PS)和可编程逻辑(PL)结合在一起,形成一个高度集成的系统。PS部分运行Linux操作系统,支持Python编程,便于实现复杂的手势识别算法和人机交互逻辑。PL部分则利用FPGA进行硬件加速,提高图像处理速度。这种架构使得系统既具有强大的处理能力,又具备高度的灵活性。

  2. PAJ7620U2(备选方案)

    • 型号:PAJ7620U2

    • 作用:PAJ7620U2是原相科技(PixArt)公司推出的一款光学数组式传感器,内置光源和环境光抑制滤波器集成的LED,镜头和手势感测器在一个小的立方体模组内,能在黑暗或低光环境下工作。该传感器内置手势识别功能,支持9个手势类型和输出的手势中断结果,并且内置接近检测功能,可用于感测物体接近或离开。PAJ7620U2可以作为手势识别的备选方案,通过I2C接口与主控制器进行通信,实现手势识别功能。

五、工作流程

  1. 图像采集

    通过摄像头模块捕捉手势图像信息。

  2. 图像预处理

    图像预处理由四个主要步骤组成:定义识别区域、颜色空间转换、膨胀处理、高斯滤波。

    • 定义识别区域:主要用来减小识别区域面积,从而提高识别效率。

    • 颜色空间转换:将摄像头捕捉到的RGB颜色空间下的图像信息转化为HSV颜色空间下的图像信息,便于后续对背景和手部进行颜色分割。

    • 膨胀处理:使得识别区域高亮区域增长,消除手部内的噪声点。

    • 高斯滤波:通过加权求和的方式,消除图像内的高斯噪声点。

  3. 手势建模与特征提取

    利用道格拉斯-普克(Douglas-Pucker)算法,将手部轮廓拟合为多边形曲线,同时计算面积,以得到轮廓内手部面积最大的手部轮廓。在此基础上,分别计算出轮廓总面积(areacnt)、轮廓中手的面积(areahull)、以及手的面积占轮廓总面积的百分比(arearatio)。与此同时,得到最大轮廓面积中的凸缺陷(即凹陷)数(defects),并通过计算凸缺陷中起始点、终点、离起始点终点连线最远处的点构成的三角形的高(d)和顶角(angle)值,来去除因噪声而得到的凸缺陷点,得到消除噪声点后的凸缺陷数(l)。

  4. 手势识别

    根据手势分析后得到的模型参量,通过手势识别流程图,输出“0”、“1”、“2”、“3”、“4”、“5”、“ok”、“best of luck”八种手势识别结果。

  5. 机械臂响应

    处理器内部通过不同的逻辑运算,将对应的动作指令通过相应的PWM信号输出给各个舵机,驱动六自由度机械臂完成要求动作,从而实现对应的组合功能。

六、应用场景与前景

  1. 工业自动化

    本系统可应用于操控大型机械进行物体分拣的工业自动化领域,通过手势识别控制机械臂,实现自动化生产线的智能控制。

  2. 物流行业

    在物流行业中,本系统可应用于货物的分拣、搬运等环节,提高物流效率。

  3. 娱乐领域

    本系统可用于开发AR游戏、虚拟现实游戏等娱乐应用,通过手势识别实现更加自然、直观的游戏交互体验。

  4. 医疗领域

    在医疗领域,本系统可用于手术辅助、康复训练等场景,通过手势识别控制医疗设备或康复器械,提高医疗效率和准确性。

  5. 教育领域

    在教育领域,本系统可用于开发互动教学应用,通过手势识别实现更加生动、有趣的教学方式。

  6. 智能家居

    在智能家居领域,本系统可用于控制家电设备、智能窗帘等家居产品,通过手势识别实现智能家居的便捷控制。

七、结论

基于FPGA技术的手势识别控制型多功能机械臂系统,通过结合机器视觉和FPGA硬件加速技术,实现了高效、准确的手势识别功能。该系统具有广泛的应用前景,可应用于工业自动化、物流行业、娱乐领域、医疗领域、教育领域和智能家居等多个领域。未来,随着人工智能和物联网技术的不断发展,该系统将具有更加广阔的应用空间和发展潜力。


责任编辑:David

【免责声明】

1、本文内容、数据、图表等来源于网络引用或其他公开资料,版权归属原作者、原发表出处。若版权所有方对本文的引用持有异议,请联系拍明芯城(marketing@iczoom.com),本方将及时处理。

2、本文的引用仅供读者交流学习使用,不涉及商业目的。

3、本文内容仅代表作者观点,拍明芯城不对内容的准确性、可靠性或完整性提供明示或暗示的保证。读者阅读本文后做出的决定或行为,是基于自主意愿和独立判断做出的,请读者明确相关结果。

4、如需转载本方拥有版权的文章,请联系拍明芯城(marketing@iczoom.com)注明“转载原因”。未经允许私自转载拍明芯城将保留追究其法律责任的权利。

拍明芯城拥有对此声明的最终解释权。

相关资讯

拍明芯城微信图标

各大手机应用商城搜索“拍明芯城”

下载客户端,随时随地买卖元器件!

拍明芯城公众号
拍明芯城抖音
拍明芯城b站
拍明芯城头条
拍明芯城微博
拍明芯城视频号
拍明
广告
恒捷广告
广告
深亚广告
广告
原厂直供
广告