各位有尝试过用 AI 自动化操作手机吗?

最近在写 InputShare 的新版本,想到或许可以加上 AI 相关功能。

调研了一下,目前好像还没有特别成熟的 AI 自动化操作手机的落地案例。

我今天做了一下调研,智能体操作手机的落地案例最像样的有三个(其中荣耀和 Vivo 的描述来自网络,我没有上手试用过):

  1. 荣耀 Yoyo 助手
  • 典型使用场景(也是发布会上的演示):点外卖
    • 貌似只支持美团的咖啡奶茶类,没有适配其它 app
  1. Vivo 助手
  • 外卖
    • 支持点咖啡,但无法直接通过语音助手,必须选择专门点咖啡的智能体
    • 仅支持瑞幸小程序
  1. 智谱 AutoGLM
  • 使用云手机而不是用户自己的手机供 AI 操作
  • 在需要登录等场景下会主动让用户接管(在部分完全没必要让用户接管的情况下如同意用户协议也会要求用户接管)
  • 会在我已经登录的情况下反复提示让我接管登录
  • 如果在开启新任务时没有退出之前任务打开的应用,新任务可能会卡住

可以参考:
https://chii.in/group/topic/434872
https://chii.in/group/topic/430285
各大手机牌都有手机助手,可以去b站参考别人的测评

我指的主要还是让 AI 自己读取页面元素、点击界面元素、输入内容这种的,你说的手机助手和聊天机器人框架完全无关呀

据我所知目前安卓端可以通过插件/授予高级权限(比如adb来实现用AI取代手动操作手机的只有这2个软件了

我倒是看到有好几个 MCP 可以用于操作手机

不过 MCP 肯定不属于大众用户能接触到的软件

GitHub - X-PLUG/MobileAgent: Mobile-Agent: The Powerful GUI Agent Family mobileagent看起来效果还不错

1 个赞