Qingwa
(青小蛙)
1
这机器自从有了 Nas 就没开过机了,但是里面有上古硬盘四块
是不是可以拿来跑AI啊,至少性能比Nas强点吧
好像记得还换了 E3 的 CPU
简单的回答是:“能”
但是,速度会非常的慢,慢到几乎无法使用,或者性能非常弱
比方说只能跑4B甚至1B的大模型,除了技术验证之外,没什么实用性。
或者,速度慢到0.15 Token/秒,完成一次输出需要半个多小时的时间。
我有一个5560U/32G的服务器,性能还不错,尝试跑了LLM,LM Studio和Ollama都尝试过。4B的模型能够达到5Token/秒,12B的模型只有1.0Token的速度了,基本跑不了。
目前我主要用我的4070在本地跑大模型,20-50 token/秒的速度是完全可以接受的
Qingwa
(青小蛙)
3
误会,我说的AI助手不是大模型。
比如跑跑 Clawdbot(现在叫 moltbot),模型还是在线的。
Clawdbot我没试过,但是,我之前自己部署了Dify,速度还行。
我看了下Clawdbot的硬件需求,最低2G内存,2核的CPU,建议内存在4G以上。
感觉还可以?要不试试?
诶?还看到一个说512M内存,1核CPU,500M硬盘的说法。不过,总体来说资源占用都不是很高。
Qingwa
(青小蛙)
5
其实我最想的是让 Clawdbot 控制 Windows,毕竟能干的事情更多。但Windows上安装就是个灾难。
我还没有实际测试,不过,我看Clawdbot确实是支持Docker部署的:Docker - Moltbot
试试?
Qingwa
(青小蛙)
7
Docker 的问题是权限不足,那用其他ai有什么区别
Qingwa
(青小蛙)
11
搞定啦,现在的情况就是,这是一台我能看到的,AI拥有 root 权限的电脑。感觉有点酷。
昨天晚上,我让他浏览网页(从某个 javlibrary 获取列表),他不行。我说:那装个桌面环境吧(Ubuntu 服务器版),于是他卡了一晚上装好了,还把自己的管理界面搞崩溃了。早上让他修,他很坏修好了。现在又遇到了问题,他自己装的远程控制不太好用,输入用户名密码后就闪退了。这会还在修呢。
有一种:指挥一个有技术有能力但是完全不知道自己要做什么,以及做了以后会发生什么(他也不在乎发生什么)的高级技术人员的感觉!