Qingwa
(青小蛙)
1
原始链接在： LM Studio - 有电脑就能用，开源、傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 - 小众软件
LM Studio 是一款将目前主流大模型 LLM 元素打包在一起的工具，可以让你在自己的电脑上，“0门槛”运行本地大语言模型 LLM，并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn
傻瓜、一站式部署本地大语言模型，大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。
LM Studio
我觉得 LM Studio 就是这样的软件，它长这样：
你唯一需要操心的事情，就是挑选模型，然后下载使用，就好了。
不过整个软件的难点也在这里，因为…目前的主流模型托管网站 huggingface 它不能访问 😂
于是，用镜像也不是不行。
下载模型
直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型，比如 Meta-Llama-3.1-8B-Instruct-GGUF，然后找到对应的 Files 页面，挑选你需要的模型，点击那个下载按钮
最终，你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf 的文件，很大，一般都好几个 GB。
安装模型
LM Studio 默认的模型保存路径在 C:\Users\appinn.cache\lm-studio\models，可以更换：
不过这里注意，你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构，如上图第二个红色框框，需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。
然后，就能提问了。会自动使用你的 CPU、GPU…
本地 LLM 服务器
LM Studio 也支持 OpenAI 类的服务器，即可以在第三方服务器上使用这个 LLM，就像使用 OpenAI API 一样，只不过这里的 API 服务器是你自己的。
和 OpenAI 一样，使用过 /v1/chat/completions 、 /v1/completions 、 /v1/embeddings 即可。
获取
原文：https://www.appinn.com/lm-studio/
2 个赞
ReST
(你猜我猜你猜不猜)
2
只是描述了一些表面的特性，深层的呢？比如GPU+CPU+显存+内存能否一起用？这才是最关键的吧
hyson112
(hyson112)
3
太好了，青蛙终于开始讨论本地LLM了。
话说一个多月前我为了搭建一个本地化的企业知识库，已经尝试了各种组合的大模型集合框架+本地LLM。
奈何本人机器不够给力，最高只能运行到7B8B的模型，速度和效果都差强人意，基于目前这种状态，我也不好意思向公司展示所谓的AI对公司生产力的加成。
所以还一直在关注大语言模型的进一步发展，盼着参数较少的模型能够被继续深入开发，效果能追上参数更大的那些模型。希望有一天，真正能让家用级机器流畅、高效的应用这些大语言模型。
1 个赞
能不能批量调用？能不能做一些微调？还是说只是提供了一个简单易操作的UI呢
crozt
5
奇怪，我这里搜不到模型。确定路径是正确的。模型也是下的推荐款。
crozt
8
目录试过默认的和你图片上的，我照着你图片手打的层级，除了盘符你是g我是d。
首页选模型，还是只能看到下载4.×个G，没有我本地的 
tjsky
(扬帆大海)
9
建议只将向量模型放在本地，生成还是用收费的模型API吧。
zhaosj
(紅塵一夢)
10
通用的大模型没啥优势，除非能加一些自己的语料数据集进行垂直领域的微调
hyson112
(hyson112)
11
其实应用本地LLM最主要的目的就是出于隐私的考虑，尤其设计企业商业秘密的东西是不能传到网上的，查询说调用API不会获取本地资料，但是这玩意吧真说不好，一旦出事，就是丢工作的事情了，所以也确实不敢用。
但是如果只是出于自己搭建学习型的知识库，是完全可以考虑这么搞的。
1 个赞
话说这玩意能支持CPU里自带的NPU吗？比如Intel Ultra处理器，以及AMD的7840HS/8845HS里自带的AI加速引擎
遇到过类似问题，当时我的情况是文件夹下有其他存在大量碎文件的文件夹，估计是索引的比较慢。另外，LM Studio貌似只支持gguf模型
xxyk
15
支持的，参见AMD官方文件。不过看任务管理器占用是0，但在我8845机子上速度慢的有6TFOPS，最快是16TFOPS，和官方宣称的16TFOPS相仿。 How to run a Large Language Model (LLM) on your AM… - AMD Community