准备自己整台新电脑，因为对于在本地架设大语言模型多少有些兴趣，但自己又预算有限，所以想要向有经验的坛友们请教一下，看看是咬牙加钱，还是老实放弃。
咬咬牙的话，可以上个13600+4060ti 16G的配置，根据我粗浅的研究，理论上来说这个配置是有可能跑13B大语言模型的，虽然想要自己训练/微调的话恐怕还是心有余而力不足。
如果决定老实点的话，就退回13400+4060 8G的经典配置，只是不知道这个配置有没有可能跑个4B模型玩玩？
除此之外，也想了解一下，本地大语言模型(4/13B)和几个比较主流的在线服务(比如GPT3.5/4,claude等)相比，在使用体验(内容和速度)上有什么区别？
还请各位不吝赐教，当然如果有入门文章之类的推荐的话也是极好的。
不训练不微调，干脆把组电脑的预算都充会员得了。
Claude 3、ChatGPT4都挺好用。
本地大模型只有一个好处：不受censor。
1 个赞
显存，显存。
至少24G起吧….
1 个赞
16G的显存4B都不一定调的动。
正好在做CLIP的微调，发个图吧
说真的如果不是有什么非常明确而又特定或者高度隐私的需求（例如以特定作家的风格写H书），能用在线服务就用在线服务，花小钱省折腾
入门的话，可以看一下这俩
2 个赞
试过lma 7b，效果比不上3.5。就放弃了。
1 个赞
无脑建议先试试租服务器
1 个赞
跑 13B 参数量模型没啥问题，甚至可以跑 float16 的版本。微调不太够，至少 24GB 显存吧。
有点勉强，不过跑短文本是可以的。
速度上你的本地模型不会慢，和网络不稳定的 OpenAI、Anthropic 相比，速度甚至会快一点。
内容就要差得多了，目前开源模型和商用模型无论是功能性还是能力都还有一段距离，日用不想折腾建议还是老老实实用商用模型。有一些国内榜单可以参考：
1 个赞
自己創作了四款弈棋遊戲，想做出高強的AI，可惜不太懂咋做。話說弈棋AI應該比語言AI要容易很多吧？
据我所知，棋类游戏的AI，大多是执行一定深度的穷举、并以此对可能的选择进行基于预置逻辑的评估，再从中取最优解。
而大语言模型，我的理解是，基于预学习得到的模型，计算特定情况下一个词语之后出现哪个词语的概率更大。
某种程度上来说，两者间的相似之处不多，而且通常情况下棋类游戏AI的复杂程度远低于大语言模型。
但换个角度来说，大语言模型的思路也是可以用在棋类AI上的，尤其是对于有大量可供参考范例的经典棋类游戏，也可以通过预学习大量战例的方式建立模型，从而允许AI直接通过当前棋局计算最优解，而不必对未来的每一种可能进行穷举。
说不定ALPHA GO之类的棋类AI就是这么干的？