坛子里有没有试过在本地跑大语言模型的朋友?

准备自己整台新电脑,因为对于在本地架设大语言模型多少有些兴趣,但自己又预算有限,所以想要向有经验的坛友们请教一下,看看是咬牙加钱,还是老实放弃。
咬咬牙的话,可以上个13600+4060ti 16G的配置,根据我粗浅的研究,理论上来说这个配置是有可能跑13B大语言模型的,虽然想要自己训练/微调的话恐怕还是心有余而力不足。
如果决定老实点的话,就退回13400+4060 8G的经典配置,只是不知道这个配置有没有可能跑个4B模型玩玩?
除此之外,也想了解一下,本地大语言模型(4/13B)和几个比较主流的在线服务(比如GPT3.5/4,claude等)相比,在使用体验(内容和速度)上有什么区别?
还请各位不吝赐教,当然如果有入门文章之类的推荐的话也是极好的。

不训练不微调,干脆把组电脑的预算都充会员得了。
Claude 3、ChatGPT4都挺好用。

本地大模型只有一个好处:不受censor。

1 Like

显存,显存。

至少24G起吧….

1 Like

16G的显存4B都不一定调的动。
正好在做CLIP的微调,发个图吧
图片


说真的如果不是有什么非常明确而又特定或者高度隐私的需求(例如以特定作家的风格写H书),能用在线服务就用在线服务,花小钱省折腾


入门的话,可以看一下这俩

2 Likes

试过lma 7b,效果比不上3.5。就放弃了。

1 Like

无脑建议先试试租服务器

1 Like

跑 13B 参数量模型没啥问题,甚至可以跑 float16 的版本。微调不太够,至少 24GB 显存吧。

有点勉强,不过跑短文本是可以的。

速度上你的本地模型不会慢,和网络不稳定的 OpenAI、Anthropic 相比,速度甚至会快一点。

内容就要差得多了,目前开源模型和商用模型无论是功能性还是能力都还有一段距离,日用不想折腾建议还是老老实实用商用模型。有一些国内榜单可以参考:

1 Like

自己創作了四款弈棋遊戲,想做出高強的AI,可惜不太懂咋做。話說弈棋AI應該比語言AI要容易很多吧?

据我所知,棋类游戏的AI,大多是执行一定深度的穷举、并以此对可能的选择进行基于预置逻辑的评估,再从中取最优解。
而大语言模型,我的理解是,基于预学习得到的模型,计算特定情况下一个词语之后出现哪个词语的概率更大。
某种程度上来说,两者间的相似之处不多,而且通常情况下棋类游戏AI的复杂程度远低于大语言模型。
但换个角度来说,大语言模型的思路也是可以用在棋类AI上的,尤其是对于有大量可供参考范例的经典棋类游戏,也可以通过预学习大量战例的方式建立模型,从而允许AI直接通过当前棋局计算最优解,而不必对未来的每一种可能进行穷举。
说不定ALPHA GO之类的棋类AI就是这么干的?