【开源自荐】KeySteer:用键盘移动、点击和快速定位鼠标(Windows / macOS)

终于,v0.8.4 单击可以了,能用了。

的确,是个好主意。也许可以加个显示快捷键

感谢反馈:folded_hands:

KeySteer 0.9.x:Windows UI Hint 模式加入本地双 OCR 识别

0.9.x 主要更新了 Windows 上的 UI Hint(界面标签)

以前 Windows 版主要依赖 UI Automation 获取按钮、链接、输入框等控件。对于浏览器之外的一些 Electron 应用、Canvas、自绘界面,或者没有正确提供无障碍信息的软件,经常会出现“明明看得到,UI Hint 却找不到”的情况。

这一版加入了完全在本机运行的视觉识别管线:按下 Primary+F 进入 UI Hint 后,KeySteer 会对当前前台窗口截图,并尽快把识别到的目标变成键盘标签。

怎样识别的?

  • Windows 系统 OCR 与微信 OCR 并行运行:谁先识别出有效目标,谁的第一批标签就先显示;另一个 OCR 后续识别出的非重复目标会继续补充进来,不必等两边全部结束。
  • 自动合并和去重:相同或位置接近的文字框只保留一个,已经显示的标签不会被后到结果替换,避免输入过程中标签突然换键。
  • 微信 OCR 完全可选:KeySteer 会自动检查本机是否已有兼容的微信 OCR 组件和 wcocr.dll,不需要新增 TOML 配置。找不到就安静跳过,系统 OCR 仍然可以正常工作。
  • 还有一个非 OCR 回退方案:如果两种 OCR 都不可用、失败、超时,或者没有找到有效文字,程序会使用 内置的灰度、对比度、边缘和连通区域检测,为按钮轮廓、卡片和部分自绘控件补充标签。

KeySteer 0.10 更新了,主楼也已补充说明。这次是一次比较大的功能更新:从鼠标操控扩展到了窗口管理。

  • Window:移动、缩放、居中、跨屏,以及应用和系统声音控制。
  • Quick / Editor:快捷分屏、自动平铺、交换和切分窗口。
  • Tabs / Restore:标签分组,保存与恢复布局和分组安排,备注可以留空。

另外也加入了实时快捷键提示,支持 ?!+ 等符号绑定;按键和模式入口都可以自定义。

重新做了一支完整演示,窗口管理和新手操作都有:

观看 B 站视频:从鼠标到窗口,全程键盘操作

窗口管理文档与演示 · 下载最新版

体积不小心从约 2 MB 长到了约 4 MB,日常内存占用仍约 20 MB。欢迎试用和反馈。

回来交个作业,这个建议已经做进去了,感谢!

现在有 key_help 实时快捷键提示面板,会根据当前模式显示可用按键和对应动作,也会跟随自定义键位,不用记快捷键了。

在现有的 [normal.bindings] 中加入

"?" = "key_help"

保存并重载配置后,进入 Normal 按 ? 就能打开,再按一次关闭。熟悉后可以关掉面板,或把这条绑定注释掉;字体、颜色等样式也能配置。?!+ 等 Shift 层符号现在也可以直接映射。

刚发布的 0.10 还加了窗口管理 jwno 那套,主楼已更新。演示视频 的 01:29 左右有快捷键提示面板的演示。

1 个赞

非常感谢,没想到楼主这么上心。