tjsky
(去年夏天)
21
我折腾的经历就是:我对这些设备的性能需求永远都是不够用的。
- 最开始小米路由器mini 联发科MT7620A+128MB:结果下个迅雷都经常内存和CPU打满
- 换小米路由器3G MT7628 + 256MB :迅雷倒是扛得住了,但是魔法上网来了,CPU的性能在加密解密魔法流量上最多也就能够300Mbps稳定。
- 换斐讯N1 Amlogic S905 Cortex-A53 + 2G:日常其实也够了,但是毕竟ARM处理器嘛,后面有4K流式解码转码需求
- 换小主机 J4125 + 8G:ALL IN ONE网络服务倒是也够了,可惜AI时代来了,想在里面跑AI模型做图片视频AI搜索,AI知识库,性能又不够了……
tjsky
(去年夏天)
23
我目前是打算走纯CPU内存流派(类似AMD Ryzen AI MAX+ 和 iMac,直接搞出128G统一内存)或者垃圾佬的外接V100柜,(相对)低性能处理器+超大内(显)存的组合,
毕竟NAS中的图片AI处理和文档总结整理,对时间并不是很敏感,能跑更重要,
这种组合跑起来300B级别的模型,能提供个二十左右 token/s的速度。成本控制在几千块(V100柜方案估计3000内都可以)
求问,你画流程图的软件是哪个?记得你以前有说过,我没记住

dms
(稻米鼠)
28
Excalidraw,推荐使用 Obsidian 中的插件版,有一些细节优化
1 个赞