Xiaomi Miloco:小米发布「贾维斯」式大模型,用摄像头识别你看书还是健身,自动调节灯光音乐

原始链接在: Xiaomi Miloco:小米发布「贾维斯」式大模型,用摄像头识别你看书还是健身,自动调节灯光音乐 - 小众软件

还记得钢铁侠托尼·史塔克的智能助手贾维斯吗?它能听懂托尼的每一句话,能思考、会观察,可以自主操控整座斯塔克大厦。不知道这是多少人曾经的梦想,青小蛙就一直想拥有一只贾维斯机器人。

这一切,可能有头绪了!

Xiaomi Miloco 是什么?

Xiaomi Miloco米家的智能家居未来探索方案 Xiaomi Local Copilot,需要用户自托管使用。同时小米还发布了一款名为 Xiaomi-MiMo-VL-Miloco-7B-GGUF 的 7B 开源多模态大语言模型,它主要通过米家摄像头,识别用户的日常状态,比如打游戏、健身、看电视、阅读,并且能够读取常见手势,包括胜利、大拇指、OK 等等,然后通过米家联动其他设备。

另外,支持 Home Assistant

非商用开源

目前 Xiaomi Miloco 的模型已经可以在 huggingface 下载,代码托管在 GitHub,授权协议是 Xiaomi Miloco License Agreement,授权作品的所有权及知识产权均归小米所有。

小米在此授予您一项个人的、有限的、非排他的、不可转让的、不可转授权的、免费的权利,仅限于您为非商业性目的使用Xiaomi Miloco项目而复制、使用、修改、分发授权作品。

它能干什么?

可以实现:

  • 看看我的猫在哪?
  • 当有人在读书时,打开台灯
  • 当有人在玩手机时,发送米家通知提醒
  • 当画面里有人在睡觉,根据画面中人是否盖被子来调 整空调的温度
  • 每天回家时,根据画面中人的穿衣风格来生成彩虹屁,并通过智能音箱喊出来

青小蛙觉得,有这种彩虹屁,就值了!

怎么用?

目前仅支持 Windows(wsl)、Linux,需要 NVIDIA 显卡以及 Docker 部署。

具体为:

  • CPU: x64 架构
  • 显卡: NVIDIA 30系及以上显卡,显存 8GB 及以上(最低),建议 12GB 及以上
  • 存储: 建议 16GB 及以上可用空间(用于本地模型存储)

安装脚本:

bash -c "$(wget -qO- https://xiaomi-miloco.cnbj1.mi-fds.com/xiaomi-miloco/install.sh)"

使用流程

Xiaomi Miloco 作为视觉信息来源,主要用来识别画面,主要用来启动工作流,其他的设备具体操作,还是需要配置工作流来实现:

支持 Home Assistant

MCP 服务

目前,有三个已经可以使用的 MCP 服务:

  • 米家自动化 ( MIoT Automation )
  • 米家设备控制 ( MIoT Device Control )
  • HA 自动化

贾维斯是什么?

贾维斯全写是“只是一个非常智能的系统”(Just A Rather Very Intelligent System) ,在漫威漫画电影《钢铁侠》中扮演一名可以理解人类语言,并且有自主思考能力的智能机器人。

未来是什么?

Xiaomi Miloco 的存在,意味着未来家中的机器人,不一定非要是专用的机器人,一大堆的智能设备组合,也可以是机器人的一种形态。用户不再需要花费巨额成本去购买成品机器人,只需要让现有的智能设备接入 Xiaomi Miloco,让 Xiaomi Miloco 当贾维斯去控制这些设备就可以了。

青小蛙觉得很酷。


原文:https://www.appinn.com/xiaomi-miloco/

关注我们

想要推荐自己的应用:https://meta.appinn.net/c/faxian/10

爱发电:https://afdian.com/a/qingxwa (打赏我们,让我们更好的创作)

1 个赞

有点累,不想看
因为看小米的新品宣传还得自己脱水……

识别到用户正在打胶,给三姑六姨打电话前来催婚,并将浏览器主页设置为百毒戒色吧

2 个赞

对于一个已经因为电费问题停掉自家 NAS 的垃圾佬来说 这玩意还是太奢侈了 :face_with_raised_eyebrow:

你NAS功率多少啊

之前用计量插座测试 平均每个月 24kwh 具体功率没算过

平均功率 ≈ 24 kWh × 1000 / 120 h ≈ 200 W

你这个是电脑装的 NAS 吧

不好意思算错了,功率 ≈ 24,000 Wh ÷ 720 h ≈ 33.3 W

这个不高呀

兄弟 您没想明白这个事儿 这不是高不高的问题 是穷不穷的问题 哈哈哈哈 :grin:

垃圾佬配置
1、准系统,Dell T20(二手)
2、内存 DDR3(8G) * 2 (二手)
3、固态硬盘 三星 120G(二手)
4、CPU i5-4570T(二手)
总成本 387

软件系统:飞牛

存存照片足够了 ,跑小米这个,差得远……

吓得我赶紧看来看我的用电量,每个月12度点左右,还好还好。NAS这东西,还是选择低功耗的最好,不折腾就选择arm

功能挺强大的,但是不太架得住小米摄像头质量堪忧。我买了两个小米的摄像头基本上都是2年多一点挂掉。反观海康萤石的,4个摄像头都健在……最老的C2,14年买的都还在服役。

我还专门去看了质保,只有1年,哈哈哈哈哈哈哈哈。

NVIDIA 30系及以上显卡,显存 8GB 及以上(最低),建议 12GB 及以上

要求也太高了吧,辣鸡

这个太离谱了。有人说我抄袭云姐的图。

文章里的图片来自:

视频啊…

其他都蛮好, 就是运行成本太高了.

不是,这骂垃圾的纯黑子吧,好歹是7B的大模型加视频流啊

就是快消品 不是严格意义的电子产品 :grinning_face_with_smiling_eyes:

消费电子产品,每年换新的。