0 卖盘信息
BOM询价
您现在的位置: 首页 > 技术方案 >工业控制 > 基于物联网技术+STM32F427/STM32F103ZET6+电压转换芯片MP2359+语音识别芯片LD3320A+摄像头模块OV7725+数字舵机TBS2701+ESP8266WiFi模块的辅助进食机械手系统设计方案

基于物联网技术+STM32F427/STM32F103ZET6+电压转换芯片MP2359+语音识别芯片LD3320A+摄像头模块OV7725+数字舵机TBS2701+ESP8266WiFi模块的辅助进食机械手系统设计方案

来源: toutiao
2021-12-08
类别:工业控制
eye 62
文章创建人 拍明

原标题:基于物联网技术的辅助进食机械手系统设计方案

  本文系统设计由开发者针对目前的一些上肢肢体不健全、自主进食有困难的特殊群体,所提出的一款辅助进食的服务型桌面机械手控制系统,以语音、机器视觉等传感器技术为机器人提供人机交互的接口以及系统的反馈接口,使用物联网技术使机器人能够通过网络与用户进行数据交互,最终实现机械手能够按照预期辅助上身有缺陷的人群完成辅助喂食的一系列功能。

  系统功能实现

  针对目前家庭中服侍老人和特殊人群的要求,设计的辅助进食机械手系统,主要功能是通过语音的提示,指示机械手完成特定的动作,动作分为喂食 A、B 或 C 三类食物。

  当机械手收到正确有效的语音指令后,机器臂会取对应食物储存器中的食物,并通过搭载的摄像头会寻找人脸的目标位置,在检测到人脸并且等待人主动进食的过程中使用PID控制完成人脸的动态追随,直到人主动进食动作完成或者新的进食语音指令触发。

  机械手的主要工作流程是在第一次检测到人脸以后会将关节坐标记录作为下次喂食的终点坐标,同时进食动作的完成标志是机器人摄像头检测到人嘴张开动作的发生标记一次进食动作完成,如果没有新的语音指令中断发生,机械手继续下一轮的喂食动作。

  系统整体硬件设计

  在整个辅助进食机械手控制系统中,硬件部分包含电源、通信、图像采集和处理、存储、语音输入、脉冲输出和网络通信模块,辅助进食机械手硬件系统框图如下所示。

  

image.png


  由硬件系统框图可以看出整个系统包含了人机交互单元(语音输入模块也是系统的输入单元) 、基于 STM32F427 图像处理单元(用于图像采集和处理、数据存储以及通讯) 、基于 STM32F103 运动控制单元(路径规划、伺服舵机控制以及通信)和桌面机械手平台,当然作为一款服务机器人在物联网(IOT)时代必然会包括一些家庭环境信息,这样我们可以通过网络来实时查看家庭环境状态,本文提供的是机械手的末端姿态信息、当前环境的温度和光照强度信息。

  硬件模块设计

  ◆ 主控芯片

  选择 Cortex-M3 内核STM32F103ZET6 作为主控制器芯片,集成有丰富的外设资源,其架构图如下所示。

  

image.png


  ◆ 电源模块

  本设计的电源系统是采用 DC-DC(直流转直流)方式,外部电源输入可接受 6-24V之间的直流电源,通过电压转换芯片 MP2359 实现 5 伏电压输出。

  

image.png


  ◆ 语音模块:

  选用的是支持非特定人声语音识别芯片 LD3320A,实现正确识别出候选语音后能够产生中断请求。

  

image.png


  ◆ 摄像头模块:

  使用的是摄像头模块是 OV7725 搭载 STM32F427 处理器的机器视觉库 OpenMV 。

  

image.png


  ◆ 电机驱动模块:

  采用数字舵机 TBS2701, 就能够满足辅助进食机械手所需精度以及扭矩。

  

image.png


  ◆ WiFi 网络模块 :

  通过选用ESP8266WiFi模块,内嵌 TCP/IP 协议,能够完成 WIFI 数据和串口之间的交换,实现服务机器人与远程的客户端进行信息交互。

  

image.png


  系统的物联网软件实现

  本文的辅助进食机械手借助 WiFi 网络连接云端服务器,实现的功能是完成自身控制器的温度监控、机器人姿态角的上报、以及家庭工作环境的温度和光照强度信息实时上报远程客户端,能够实时为用户提供所需要的家庭环境信息。

  1、服务机器人接入机智云方案

  机智云主要为用个人开发者和企业提供智能硬件开发和云服务平台,连入物联网无线WiFi网络是一种非常便捷的选择。

  本文服务机器人和机智云的接入方案是先在设备端(也就是机器人端连接WiFi通信模块)嵌入WiFi模块,然后设备通过路由器联网后与机智云进行通信,而在另一端手机应用 APP集成机智云提供的 SDK(应用 APP 是在机智云协议的框架下开发完成,具有特定产品密码类似于 ID 号,而且遵从机智云协议就能连入机智云平台)也能连入机智云,这样机智云就能为应用端和设备端搭建了网络通信桥梁。

  服务机器人和机智云接入方案,如图所示。

  

image.png


  2、机械手传感器云端数据点创建

  服务机器人在用户远程信息交互时,需要知道机器人的工作状态,其中最主要的是控制器是否工作正常,通过采集 STM32 芯片内部的温度以及通过传感器 (MPU6050)采集机器人末端姿态信息了解机器人的姿态信息。

  同时用户还可以通过机器人上面的温度传感器(DS18B20)采集的信息了解家庭环境的室温信息,通过光照强度传感器的采集信息了解居室光强信息,也能支持扩展更多的物联网功能。

  文中模拟了控制两个 LED 灯的开关。下图是在机智云上创建的产品传感器数据点的部分截图。

  

image.png


  3、机智云生成的产品代码与硬件开发

  ◆ 机智云平台开发产品的流程:

  ① 新建一个产品,然后新建产品相关的数据点信息,如机器人的传感器信息多是从设备上采集是一种只读类型的数值信息,而控制 LED 灯的数据点数据属于可写的布尔(BOOL)类型的信息,不仅需要从设备上读取,而且还需要应用端(APP)通过机智云能够修改。

  ② 在完成数据点创建信息后,根据 MCU 硬件平台生成对应的包含机智云协议和产品数据点信息的代码包,接下来就是代码移植和设备硬件开发工作,最后需要做的就是 APP 端联合调试过程。具体的开发流程如图所示。

  

image.png


  ③ 在生成代码之前可以通过虚拟设备完成在线调试功能,比如手机端端打开 LED0 和LED1 云端会更新状态为 BOOL 值 1,如下所示。对于可写类型的数据点测试可以云端写入,APP 端更新。

  image.png


  ◆ 对于整个机智云移植流程以及硬件驱动的开发在这里以流程图的形式给出,详细步骤如下:

  


  步骤1: 移植 FreeRTOS 系统内核

  步骤2: 为机智云协议提供 1 毫秒(MS)时基

  步骤3: 提供 WIFI 模块的通信接口,数据收发接口,这里是串口,并且封装机智云协议的数据接收和发送函数

  步骤4:添加设备传感器驱动以及机智云的软复位程序

  步骤5:创建 FreeRTOS 机智云任务(Gizwits_task),主要包括机智云协议连接模式设置以及复位操作和传感器端的上行数据处理。

  在完成整个开发以后就可以在远程 APP 端控制 LED 灯的点亮和熄灭以及实时查看服务机器人的工作状态,获悉机器人工作点的环境信息了。如图所示就是手机 APP端显示的机器人的实时工作状态。

  


  系统总结

  整个辅助进食机械手系统,针对服务机器人的联网信息交互给出解决的方案,移植了物联网平台的机智云协议,物联网的嵌入不仅使远程的交互提供了可能,同时使辅助进食机械手的功能变得更加完善,成为物联网机器人。

  机械手实物图:

  

image.png


  辅助进食机械手取食运作过程:

  

image.png


责任编辑:David

【免责声明】

1、本文内容、数据、图表等来源于网络引用或其他公开资料,版权归属原作者、原发表出处。若版权所有方对本文的引用持有异议,请联系拍明芯城(marketing@iczoom.com),本方将及时处理。

2、本文的引用仅供读者交流学习使用,不涉及商业目的。

3、本文内容仅代表作者观点,拍明芯城不对内容的准确性、可靠性或完整性提供明示或暗示的保证。读者阅读本文后做出的决定或行为,是基于自主意愿和独立判断做出的,请读者明确相关结果。

4、如需转载本方拥有版权的文章,请联系拍明芯城(marketing@iczoom.com)注明“转载原因”。未经允许私自转载拍明芯城将保留追究其法律责任的权利。

拍明芯城拥有对此声明的最终解释权。

相关资讯

方案推荐
基于MC33771主控芯片的新能源锂电池管理系统解决方案

基于MC33771主控芯片的新能源锂电池管理系统解决方案

AMIC110 32位Sitara ARM MCU开发方案

AMIC110 32位Sitara ARM MCU开发方案

基于AMIC110多协议可编程工业通信处理器的32位Sitara ARM MCU开发方案

基于AMIC110多协议可编程工业通信处理器的32位Sitara ARM MCU开发方案

基于展讯SC9820超低成本LTE芯片平台的儿童智能手表解决方案

基于展讯SC9820超低成本LTE芯片平台的儿童智能手表解决方案

基于TI公司的AM437x双照相机参考设计

基于TI公司的AM437x双照相机参考设计

基于MTK6580芯片的W2智能手表解决方案

基于MTK6580芯片的W2智能手表解决方案