魔法一样隔空在屏幕写字，捏起手指就能实现，在线可玩

空中画符的中二技能，谁不想拥有呢？

不如捏一只万能的AI来当魔法画笔吧。

这是一个用来写写画画的手部跟踪程序，开发者将它命名为YoHa（Your Hand Tracking）。

这个程序基于TensorFlow.js实现了实时识别功能，能达到不卡顿、无延迟的效果。

捏起手指就可以变成画笔，清空画布也只需握拳就能办到。

用YoHa给自己画特效的效果这么好，难怪可以获得555颗星。

这只AI怎么玩？

这款手势识别程序已经开源，开发者Benjamin大方地提供给了所有人使用“魔法”的机会。

既可以安装在自己的电脑上来玩，一行代码就能轻松实现。

npm install @handtracking.io/yoha

也可以在线试玩，直接用网页下载模型写写画画。

虽然YoHa目前只能对捏手指和握拳两个指令动作做出功能响应，但是因为有TensorFlow.js加持，它的性能可一点都不低。

21个手部关节定位，左右手方向检测，手部姿势检测等都可以实时实现。

来看看“买家秀”是不是也一样秀。

原来成为不了法师只是因为符文画太丑

如此好玩的AI背后，究竟是什么原理呢？

YoHa模型使用TensorFlow.js深度学习框架来进行从头训练，开发过程包含了训练步骤和推理步骤两大部分。

它的模型训练阶段利用了自定义神经网络，以自定义数据集作为训练数据，而在线实时推理则用到了TensorFlow.js推理框架。

不过，因为TensorFlow.js规模的限制，比起电脑，YoHa在移动设备上的表现较差。

另外，YoHa的本地运行速度也比在线试玩快很多，果然驯服AI还是得先带回家里养。

手势识别有什么用？

YoHa的开发者Benjamin提到，制作这个项目一开始是为了增加网络的互动性：

“现有的解决方案没有我想要的，所以我给自己创建了新的解决方案”

不愧是动手能力强的大佬，没有自己想要的，那就自己造一个。

手势识别这么火，干脆多开发一些玩法，添加更丰富的功能让VR/AR更好玩。

针对之前提到的YoHa性能缺陷，Benjamin也给玩家提供了高性能备选方案：通用手势识别模型MediaPipe。

如果高端玩家对性能有更高追求，可以在这个经典模型基础上进行功能扩展。

比如不久前以MediaPipe为基础开发的类似项目air-drawing，在玩法上和YoHa稍有不同。

感兴趣的话，自己去驯服一只AI来写字画画吧。

GitHub地址：

https://github.com/handtracking-io/yoha

试玩地址：

https://handtracking.io/draw_demo/https://loicmagne.github.io/air-drawing/

本文来自微信公众号“量子位”（ID:QbitAI），作者：兴坤，36氪经授权发布。

相关推荐

魔法一样隔空在屏幕写字，捏起手指就能实现，在线可玩
手机扫一扫，现实物体就能隔空“复制粘贴”进电脑？
为了帮你玩手机，手指也是操碎了心
手机扫一扫，现实物体隔空「复制粘贴」进电脑，北大校友的AI新研究，现在变成AR酷炫应用
霸榜9天的《魔法觉醒》，能让网易游戏再次崛起吗？
最前线 | 荣耀最大的屏幕来了：智慧屏X1 75英寸，定价5999元
《哈利波特：魔法觉醒》，网易出品还是精品吗？
解锁新技能：居然「摇头晃脑」就能隔空控制苹果电脑了？
Google 或在 Pixel 5 上取消 Motion Sense，手势操控真的是个伪命题？
Pixel 5或取消Motion Sense，手势操控是个伪命题？

网址: 魔法一样隔空在屏幕写字，捏起手指就能实现，在线可玩 http://www.xishuta.com/newsview52185.html