# LM Studio - 有电脑就能用，开源、傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 **URL:** \ **Category:** 青蛙的应用\ **Created:** [2024 年8 月 25 日 14:57 UTC](https://meta.appinn.net/t/topic/60314 "2024-08-25T14:57:15Z")\ **Posts on this page:** 18\ **Page:** 1
**Author:** ![Qingwa](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/qingwa/32/58632_2.png) [@Qingwa](https://meta.appinn.net/u/Qingwa)\ **Post date:** [2024 年8 月 25 日 14:57 UTC](https://meta.appinn.net/t/topic/60314/1 "2024-08-25T14:57:15Z")
原始链接在： [LM Studio - 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 - 小众软件](https://www.appinn.com/lm-studio/) **LM Studio** 是一款将目前主流大模型 LLM 元素打包在一起​的工具，可以让你在自己的电脑上，“0门槛”运行本地大语言模型 LLM，并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@[Appinn](https://www.appinn.com/lm-studio/)​ ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-feature-images-2024-08-25T221457.341.jpg) 傻瓜、一站式部署本地大语言模型，大概就是 **打开电脑** \> **双击运行程序** \> **开始提问** \> 获得 AI 回答这样三步走。 ## LM Studio 我觉得 LM Studio 就是这样的软件，它长这样： ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-25-22.30.56@2x.avif) 你唯一需要操心的事情，就是挑选模型，然后下载使用，就好了。 不过整个软件的难点也在这里，因为…目前的主流模型托管网站 [huggingface](https://huggingface.co/) 它不能访问 😂 于是，用镜像也不是不行。 ## 下载模型 直接在目前可用的镜像网站 [HF-Mirror](https://hf-mirror.com/) 搜索你需要的模型，比如 `Meta-Llama-3.1-8B-Instruct-GGUF`，然后找到对应的 [Files](https://hf-mirror.com/lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main) 页面，挑选你需要的模型，点击那个下载按钮 ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-25-22.42.17@2x.avif) 最终，你将得到一个类似 `Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf` 的文件，很大，一般都好几个 GB。 ## 安装模型 LM Studio 默认的模型保存路径在 `C:\Users\appinn.cache\lm-studio\models`，可以更换： ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-25-22.45.02@2x.avif) 不过这里注意，你需要使用 `${Publisher}/${Repository}/${ModelFile}`这样的路径结构，如上图第二个红色框框，需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。 然后，就能提问了。会自动使用你的 CPU、GPU… ## 本地 LLM 服务器 LM Studio 也支持 OpenAI 类的服务器，即可以在第三方服务器上使用这个 LLM，就像使用 OpenAI API 一样，只不过这里的 API 服务器是你自己的。 和 OpenAI 一样，使用过 `/v1/chat/completions` 、 `/v1/completions` 、 `/v1/embeddings` 即可。 ![](https://www.appinn.com/wp-content/uploads/2024/08/Appinn-2024-08-25-22.50.35@2x.avif) ## 获取 - [官网](https://lmstudio.ai/) * * * 原文：https://www.appinn.com/lm-studio/ ---
**Author:** ![ReST](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/rest/32/14608_2.png) [@ReST](https://meta.appinn.net/u/ReST)\ **Post date:** [2024 年8 月 25 日 19:27 UTC](https://meta.appinn.net/t/topic/60314/2 "2024-08-25T19:27:57Z")
只是描述了一些表面的特性，深层的呢？比如GPU+CPU+显存+内存能否一起用？这才是最关键的吧 ---
**Author:** ![hyson112](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/h/a183cd/32.png) [@hyson112](https://meta.appinn.net/u/hyson112)\ **Post date:** [2024 年8 月 26 日 00:36 UTC](https://meta.appinn.net/t/topic/60314/3 "2024-08-26T00:36:10Z")
太好了，青蛙终于开始讨论本地LLM了。 话说一个多月前我为了搭建一个本地化的企业知识库，已经尝试了各种组合的大模型集合框架+本地LLM。 奈何本人机器不够给力，最高只能运行到7B8B的模型，速度和效果都差强人意，基于目前这种状态，我也不好意思向公司展示所谓的AI对公司生产力的加成。 所以还一直在关注大语言模型的进一步发展，盼着参数较少的模型能够被继续深入开发，效果能追上参数更大的那些模型。希望有一天，真正能让家用级机器流畅、高效的应用这些大语言模型。 ---
**Author:** ![yanyu2015](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/y/3d9bf3/32.png) [@yanyu2015](https://meta.appinn.net/u/yanyu2015)\ **Post date:** [2024 年8 月 26 日 02:03 UTC](https://meta.appinn.net/t/topic/60314/4 "2024-08-26T02:03:33Z")
能不能批量调用？能不能做一些微调？还是说只是提供了一个简单易操作的UI呢 ---
**Author:** ![crozt](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/c/c89c15/32.png) [@crozt](https://meta.appinn.net/u/crozt)\ **Post date:** [2024 年8 月 26 日 03:29 UTC](https://meta.appinn.net/t/topic/60314/5 "2024-08-26T03:29:28Z")
奇怪，我这里搜不到模型。确定路径是正确的。模型也是下的推荐款。 ---
**Author:** ![Qingwa](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/qingwa/32/58632_2.png) [@Qingwa](https://meta.appinn.net/u/Qingwa)\ **Post date:** [2024 年8 月 26 日 03:54 UTC](https://meta.appinn.net/t/topic/60314/6 "2024-08-26T03:54:58Z")
二级目录了么？ ---
**Author:** ![deanme](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/deanme/32/1331_2.png) [@deanme](https://meta.appinn.net/u/deanme)\ **Post date:** [2024 年8 月 26 日 03:56 UTC](https://meta.appinn.net/t/topic/60314/7 "2024-08-26T03:56:06Z")
能用……快慢另说~ ---
**Author:** ![crozt](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/c/c89c15/32.png) [@crozt](https://meta.appinn.net/u/crozt)\ **Post date:** [2024 年8 月 26 日 04:06 UTC](https://meta.appinn.net/t/topic/60314/8 "2024-08-26T04:06:30Z")
目录试过默认的和你图片上的，我照着你图片手打的层级，除了盘符你是g我是d。 首页选模型，还是只能看到下载4.×个G，没有我本地的 :cold_face: ---
**Author:** ![tjsky](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/tjsky/32/31059_2.png) [@tjsky](https://meta.appinn.net/u/tjsky)\ **Post date:** [2024 年8 月 26 日 06:42 UTC](https://meta.appinn.net/t/topic/60314/9 "2024-08-26T06:42:35Z")
建议只将向量模型放在本地，生成还是用收费的模型API吧。 ---
**Author:** ![zhaosj](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/z/b5ac83/32.png) [@zhaosj](https://meta.appinn.net/u/zhaosj)\ **Post date:** [2024 年8 月 26 日 11:33 UTC](https://meta.appinn.net/t/topic/60314/10 "2024-08-26T11:33:39Z")
通用的大模型没啥优势，除非能加一些自己的语料数据集进行垂直领域的微调 ---
**Author:** ![hyson112](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/h/a183cd/32.png) [@hyson112](https://meta.appinn.net/u/hyson112)\ **Post date:** [2024 年8 月 27 日 00:30 UTC](https://meta.appinn.net/t/topic/60314/11 "2024-08-27T00:30:55Z")
其实应用本地LLM最主要的目的就是出于隐私的考虑，尤其设计企业商业秘密的东西是不能传到网上的，查询说调用API不会获取本地资料，但是这玩意吧真说不好，一旦出事，就是丢工作的事情了，所以也确实不敢用。 但是如果只是出于自己搭建学习型的知识库，是完全可以考虑这么搞的。 ---
**Author:** ![small321](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/small321/32/17620_2.png) [@small321](https://meta.appinn.net/u/small321)\ **Post date:** [2024 年8 月 27 日 06:14 UTC](https://meta.appinn.net/t/topic/60314/12 "2024-08-27T06:14:07Z")
话说这玩意能支持CPU里自带的NPU吗？比如Intel Ultra处理器，以及AMD的7840HS/8845HS里自带的AI加速引擎 ---
**Author:** ![lslvxy](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/lslvxy/32/6372_2.png) [@lslvxy](https://meta.appinn.net/u/lslvxy)\ **Post date:** [2024 年9 月 3 日 08:45 UTC](https://meta.appinn.net/t/topic/60314/13 "2024-09-03T08:45:22Z")
我用Ollama ---
**Author:** ![cloudskytian](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/c/977dab/32.png) [@cloudskytian](https://meta.appinn.net/u/cloudskytian)\ **Post date:** [2024 年9 月 15 日 12:25 UTC](https://meta.appinn.net/t/topic/60314/14 "2024-09-15T12:25:45Z")
遇到过类似问题，当时我的情况是文件夹下有其他存在大量碎文件的文件夹，估计是索引的比较慢。另外，LM Studio貌似只支持gguf模型 ---
**Author:** ![xxyk](https://meta-edge.appinn.com/letter_avatar_proxy/v4/letter/x/e47774/32.png) [@xxyk](https://meta.appinn.net/u/xxyk)\ **Post date:** [2024 年10 月 6 日 08:59 UTC](https://meta.appinn.net/t/topic/60314/15 "2024-10-06T08:59:59Z")
支持的，参见AMD官方文件。不过看任务管理器占用是0，但在我8845机子上速度慢的有6TFOPS，最快是16TFOPS，和官方宣称的16TFOPS相仿。 [How to run a Large Language Model (LLM) on your AM… - AMD Community](https://community.amd.com/t5/ai/how-to-run-a-large-language-model-llm-on-your-amd-ryzen-ai-pc-or/ba-p/670709) ---
**Author:** ![likoos](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/likoos/32/79991_2.png) [@likoos](https://meta.appinn.net/u/likoos)\ **Post date:** [2024 年10 月 6 日 10:55 UTC](https://meta.appinn.net/t/topic/60314/16 "2024-10-06T10:55:36Z")
自己搭建比这个更方便～∽ ---
**Author:** ![bwjf](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/bwjf/32/57777_2.png) [@bwjf](https://meta.appinn.net/u/bwjf)\ **Post date:** [2024 年10 月 7 日 01:58 UTC](https://meta.appinn.net/t/topic/60314/17 "2024-10-07T01:58:07Z")
不错耶！ ---
**Author:** ![Frank9](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/frank9/32/23723_2.png) [@Frank9](https://meta.appinn.net/u/Frank9)\ **Post date:** [2025 年1 月 15 日 03:08 UTC](https://meta.appinn.net/t/topic/60314/18 "2025-01-15T03:08:11Z")
折腾了一会儿这个，下载模型把我卡了好久，好像真的只支持特定格式的模型；最后还是下载了ollama，几分钟搞定，感觉ollama run都比这简单啊；然后接触了anythingLLM，这个才是真的简单啊；不过最后还是用的chatbox、cherrystudio这类软件，毕竟我这破电脑，没意思。