LM Studio - 有电脑就能用,开源、傻瓜、一站式部署本地大语言模型|然后,像 ChatGPT 那样提问

原始链接在: LM Studio - 有电脑就能用,开源、傻瓜、一站式部署本地大语言模型|然后,像 ChatGPT 那样提问 - 小众软件

LM Studio 是一款将目前主流大模型 LLM 元素打包在一起​的工具,可以让你在自己的电脑上,“0门槛”运行本地大语言模型 LLM,并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn


傻瓜、一站式部署本地大语言模型,大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。

LM Studio

我觉得 LM Studio 就是这样的软件,它长这样:

你唯一需要操心的事情,就是挑选模型,然后下载使用,就好了。

不过整个软件的难点也在这里,因为…目前的主流模型托管网站 huggingface 它不能访问 😂

于是,用镜像也不是不行。

下载模型

直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型,比如 Meta-Llama-3.1-8B-Instruct-GGUF,然后找到对应的 Files 页面,挑选你需要的模型,点击那个下载按钮

最终,你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf 的文件,很大,一般都好几个 GB。

安装模型

LM Studio 默认的模型保存路径在 C:\Users\appinn.cache\lm-studio\models,可以更换:

不过这里注意,你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构,如上图第二个红色框框,需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。

然后,就能提问了。会自动使用你的 CPU、GPU…

本地 LLM 服务器

LM Studio 也支持 OpenAI 类的服务器,即可以在第三方服务器上使用这个 LLM,就像使用 OpenAI API 一样,只不过这里的 API 服务器是你自己的。

和 OpenAI 一样,使用过 /v1/chat/completions/v1/completions/v1/embeddings 即可。

获取


原文:https://www.appinn.com/lm-studio/

2 Likes

只是描述了一些表面的特性,深层的呢?比如GPU+CPU+显存+内存能否一起用?这才是最关键的吧

太好了,青蛙终于开始讨论本地LLM了。
话说一个多月前我为了搭建一个本地化的企业知识库,已经尝试了各种组合的大模型集合框架+本地LLM。
奈何本人机器不够给力,最高只能运行到7B8B的模型,速度和效果都差强人意,基于目前这种状态,我也不好意思向公司展示所谓的AI对公司生产力的加成。
所以还一直在关注大语言模型的进一步发展,盼着参数较少的模型能够被继续深入开发,效果能追上参数更大的那些模型。希望有一天,真正能让家用级机器流畅、高效的应用这些大语言模型。

1 Like

能不能批量调用?能不能做一些微调?还是说只是提供了一个简单易操作的UI呢

奇怪,我这里搜不到模型。确定路径是正确的。模型也是下的推荐款。

二级目录了么?

能用……快慢另说~

目录试过默认的和你图片上的,我照着你图片手打的层级,除了盘符你是g我是d。
首页选模型,还是只能看到下载4.×个G,没有我本地的 :cold_face:

建议只将向量模型放在本地,生成还是用收费的模型API吧。

通用的大模型没啥优势,除非能加一些自己的语料数据集进行垂直领域的微调

其实应用本地LLM最主要的目的就是出于隐私的考虑,尤其设计企业商业秘密的东西是不能传到网上的,查询说调用API不会获取本地资料,但是这玩意吧真说不好,一旦出事,就是丢工作的事情了,所以也确实不敢用。
但是如果只是出于自己搭建学习型的知识库,是完全可以考虑这么搞的。

1 Like

话说这玩意能支持CPU里自带的NPU吗?比如Intel Ultra处理器,以及AMD的7840HS/8845HS里自带的AI加速引擎

我用Ollama

遇到过类似问题,当时我的情况是文件夹下有其他存在大量碎文件的文件夹,估计是索引的比较慢。另外,LM Studio貌似只支持gguf模型