应用领域：游戏玩具

方案类型：成果化方案

方案概述

本项目采用人手检测和跟踪算法来实现手势控制打鼓演奏，用在人机交互、体感游戏领域，希望与游戏开发厂商，玩具厂商合作。

本项目基于深度摄像机平台获取场景的深度信息，根据人体各个主要关节点深度信息的差异来实现是手势的检测，获取人手的坐标以后，通过算法可以实现手势运动轨迹的跟踪。最后，在视频部分区域设置鼓面区域，当检测到手势进入鼓面区域时，驱动系统发出击打鼓点声音。

音乐演奏示意图

当手触碰不同鼓面区域时会奏出不同鼓声，实现音乐的演奏

项目优点：把手势作为一种人机交互方式，在一些应用软件中可以实现交互的拟人化。例如：把手势检测用到游戏软件开发，可以提供玩家一种身临其境的感觉，它抛弃了从电脑诞生之日起就一直使用的键盘和鼠标，完全由手势控制演示。

本项目在人机交互领域具有广泛的应用前景，例如：

1、门禁系统，一般的门禁系统是由一组密码组成，输入需要耗时数秒，也会留下不同人的指纹。采用手势控制的门禁系统可以用一组手势来作为门禁密码，可达到同样的效果。

2、手势控制机器人，操作者通过不同的手势来对机器人发出各种指令，摆脱了遥控器操作机器人的限制。

3、手势控制ipad，ppt等。通过ipad等平板电脑的前置摄像头可以识别操作者的手势，从而实现不需要触摸屏幕就可以达到操作图片缩放，浏览网页，翻页等功能。手势控制播放ppt，操作者在演讲时不需要点击鼠标或者遥控器就可实现对ppt的操作。