关于用眼球控制电子设备

这一篇小老鼠要讲一些故事,介绍一个软件,还有一个求助。

关于无障碍

可能因为我是个前端吧,所以对这方面会比较在意。似乎理所当然的,这方面我们会更关注盲人,毕竟在各类身体障碍中,使用电子设备不便的多数都是视弱人群。我们知道盲人是使用手机的,也知道现在手机/电脑都有无障碍功能,开启之后可以朗读屏幕。但不知道有几个人闭上眼睛去亲身尝试过。我尝试过,我是用惯了手机上的软件的,知道每个按钮的位置和作用,但是,闭上眼睛之后跟着语音的引导还是很难正常的使用手机,这需要很大的耐心才能完成日常很普通的操作。

我希望大家也都尝试一下,这对于理解他们的感受是很有用的。

关于眼球控制设备

以前见过一些类似用脑袋摆动控制电脑的软件,软件说是为了保护颈椎的,我们都笑了。

可能看到这个标题大家最先想到的是霍金。不过霍金的手指是可以活动的,所以他其实也是用手打字的。只是到后期手指活动也不灵活了,开始考虑是用眼睛还是舌头去继续完成输出(大概是这个样子,凭印象写的,没查证

还有就是前几年很火的“冰桶挑战”,是为了呼吁大家重视“渐冻人”。而渐冻人后期可能最灵活的就是眼睛了,所以他们会用眼睛控制电脑,甚至打字,甚至玩游戏。这个可能了解的人少一些。他们使用的设备叫做“眼控仪”,有兴趣的可以查询一下,价格也不算太贵,可能一千多。精确度确实不如鼠标,但是一次定位区域,然后放大进行二次定位后的精度还是很可以的,熟练一下替代鼠标完成日常操作完全没有问题。

当然这需要很大的耐心,而对于耐心这件事情,很多正常人会忽视掉。

但还有更难的

朋友的母亲,脑出血,导致目前“闭眼综合症”。最后这个症状我也是才听说,症状是:“该综合征的患者不能移动下脸、咀嚼、吞咽、说话、移动四肢,或者左右移动眼睛,但是通常可以看到、听到、上下移动眼睛,并且眨眼。”

我总结一下:意识正常,仅眼球可以上下活动,和眨眼

意识正常,就意味着精神世界和我们有着同样的需求,需要陪伴,需要交流,需要娱乐。然而可以进行的输出方式十分有限,甚至即便购买眼控仪也不敢保证有程序适配这种状况。(渐冻症病人的眼睛可以上下左右四方向自由活动,二维和一维的区别还是十分巨大的)。

当然,我们可以自己定制程序,但是总觉得这种“简单”的输入购买眼动仪都有点大动干戈了。似乎记得以前有人实现过用摄像头捕获眼球活动,然后控制电脑,但我一时找不到。

而我设想的情境是利用手机的前置摄像头输入,进行简单的操作。这时候短视频似乎成了最适合的娱乐方式,“往上看”和“往下看”两个动作对应“播放/暂停”和“下一个”就可以很好的进行娱乐了。所以很想问问大家有没有实现的方案,或者有没有大佬手搓一个(虽然这是一个很小很小的领域,用户也很好,当然用户少是个好事情,但对于开发者……)。

关于交流

“往上看”和“往下看”再加上“眨眼”,就三个动作,倒是比二进制强了点,但是输出能力实在是弱的可怜。很容易想到的方法是设定几个常用的选项,用二分法快速选择,来表达日常的需求。但同样的问题——没有对应的工具。

我找到一个解决类似问题的工具:Look to Speak。真的很接近了,然而它使用的是“向上看”、“向左看”、“向右看”三个动作,所以并不能适用于“闭眼综合征”。介绍这个软件是希望有类似需要的人能够看到,并借此获得一些便利。

同时也寻找能够适合更严苛条件的相关软件,希望更多的人能够关注一下小众人群。

2 Likes

文中提到的眼动仪,之前(感觉有几年了)在电竞圈子和直播圈子里小火过一把

当时看见这个产品,感觉很新鲜,有想买来玩玩的冲动

产品宣传的功能是:

  • 可以用眼睛控制电脑
  • 可以显示你眼睛看着哪里。
    视频制作者们用这个功能做「不要看挑战」视频
    电竞选手用这个功能追踪自己的专注程度

可以关注一下脑机接口.

我个人认为这个比眼球靠谱. 普适性更强.

显然,短期内成本下不来。

眼动追踪这个技术本身并不复杂 简单来说可以根据虹膜和瞳孔的位置半径等计算出视线方向向量 只要做一次标定就能把在视线方向与屏幕上的点对应起来 然后就能用视线控制鼠标了

gaze tracker就是个比较简单的例子 有兴趣的朋友可以试一下 这个代码是使用opencv自带的眼睛检测器 准确度比较差 换成一些基于深度学习的 Gaze estimation 模型会更好一些 在gayhub上用Gaze做关键词能找到很多

至于用眨眼代表鼠标左右键就更简单了 这些眼睛检测器都能检测眼睛开闭 设置左眼闭眼右眼睁开代表鼠标左键单击之类的逻辑就好

1 Like

脑机接口会是一个非常伟大的发展方向 但目前它最大的功能是让博士毕业……

Neuralink自然不用说 国内清华有和中科院自动化所也做了不少工作 有兴趣可以关注一下

不过具体进度嘛……离幻想还非常遥远……
Neuralink比较关注植入式设备 自从给猪植入芯片后就没啥大的动静了 在灵长目甚至人类身上实验的伦理审查绝不容易……
清华那边做了不少非植入式的工作 听说学生和志愿者为了抹导电膏一天要洗好几次头(幸亏博士们头发也不太多……) 自动化所之前有个很大的突破是不用抹导电膏 这使得测试的报名很快满员……

不过技术突破这玩意谁也说不准 说不定现在就有人正在努力的从一篇划时代的脑机接口论文里找语法错误并且准备投稿呢 然后迅速从理论到原型机再到商用再到大范围推广也说不定

为什么不直接眨左眼向上,右眨眼向下呢?
或者连续眨两次眼三次眼向上向下呢?

这些是思路上的可行,但是在实际使用中太复杂了。尝试一下,如果需要连续向上5次,我们都会觉得这个操作很烦,很不容易吧

我的三星旧平板就有眼球滚动功能,监视到眼球向下就会滚动翻页,浏览网页和看书是没问题的,不知道能不能用于抖音

百度确认了下,好像还是要靠头部运动?平板早刷机了,没法测试。

这篇文章介绍说最新的安卓12系统自带眼球控制辅助功能。
包括了以下控制方式: 张嘴、微笑、挑眉、左看、右看、上看(白眼)

如何用眼睛控制你的安卓手机|计算机世界 (computerworld.com)

之所以普遍没有向下看,我想应该是因为向下看和闭眼区别不大,你可以自拍看看~

tasker的插件touchtask看这个教程的话,也可以实现眼球控制功能。

用你的眼睛用塔斯克控制你的手机 - 项目贾维斯 (project-jarvis.com)

不过我还没试过。

以为然。

这个有点意思!回头可能研究一下