AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天

大家的板块 青蛙的应用
1

原始链接在： AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 - 小众软件

AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@Appinn


在《LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问》中，@路人甲乙丙 留言回复称：

这款其实不算傻瓜，AnythingLLM 才是，多平台，单文件安装。模型下载内部选，集成了 Ollama，支持中文界面。

Ollama 官网推荐的 Win 平台下全都试了，论便利首选 AnythingLLM，可 Github 或官网下载，全免费。

AnythingLLM

与 LM Studio 类似，AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具，但功能更丰富一些，比如在 AnythingLLM 的嵌入首选项中，你可以选择 LM Studio 作为嵌入引擎提供商。

只需要在 LM Studio 打开 Server，AnythingLLM 就会自动识别：

对了，我在 AnythingLLM 中，导入了之前测试 LM Studio 的时候下载的模型。很方便。

来看一下开发者提供的视频：

安装之后，AnythingLLM 回来一波对话，给你介绍如何使用：

设置模型

你需要为 AnythingLLM 设置模型，包括首选模型、向量数据库、嵌入模型、语音、转录模型。

默认情况下，AnythingLLM 自带了模型，不过也可以根据需要自己下载模型：

上图中 Official Models 里就有很多模型，下载速度还有点快，也是很奇怪。

在工作区中，可以上传文件，这样这些文件就变成了你的向量数据库，相当于对着文档提问。

但青小蛙使用内置的模型测试，发现似乎效果很不好，答非所问，也不知道它在想什么。

还是说，模型选择有问题。

青小蛙觉得，对比在线大语言模型，即开即问、上传文档直接问，本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0，但是模型的选择使用是个很大的槛，就看各位是否愿意继续深入研究了。

获取

原文：https://www.appinn.com/anythingllm/

1 个赞
2

离线跑LLM总还是极小众的需求，玩一下可以，真要用的话，性能比不上线上的，费电脑还费电，没几个人折腾得起的吧

3

1小时的入门学习时间说的太乐观了。
这种傻瓜化的集成端还好，之前捣鼓那些需要分别安装大语言模型、向量模型、对话框架那才叫一个崩溃，每一次新的尝试都需要耗费几天（可能没有这方面基础的原因吧）。
然后就是针对个人需求时，也就是青蛙提到的“答非所问”的问题，这是一个漫长又枯燥的调试过程，需要在不同参数的模型、不同的向量模型、不同的知识库框架里来回做各种组合，而且也许今天你找到的这个组合效果还不错，明天它就是个弱鸡，极其不稳定。

4

只需要想想，个人电脑和在线AI的硬件差别和训练资料库差别
还是别想了，用在线AI吧

5

66666

6

同类产品有挺多的，我补充几个：

  1. Jan 用起来也很方便，主要是好看，文档聊天等功能也有，但是貌似比较弱
  2. GPT4All 这个是这几个中唯一的原生应用（QT写的），所以是最流畅的，但是不支持公式渲染，它的知识库检索功能应该算是比较不错的

AnythingLLM感觉操作起来还是尚且有点烦琐，现在我主要用的是LobeChat（用claude 3.5 sonnet聊天）、Continue.dev（用deepseek辅助写代码）以及浏览器的Fission插件，最后是LM Studio偶尔玩玩本地模型

为什么我不常使用上面说的几个其他应用呢，我觉得主要有两个问题：

  1. 基于RAG和关键词检索的知识库检索，其实非常不可靠，我自己使用下来体验极差，尤其是只有向量检索的
  2. 本地模型（尤其是70B以下的）效果非常一般，即使是小体积模型中我认为表现很优秀的Gemma2 27B，也只能聊聊天，复杂一些的任务处理不了，至少要Qwen2 72B这种大小的模型才能基本完成大多数任务（而这可能需要48GB以上的显存，我只有8GB或16GB）
  3. 在线API在Deepseek这类性价比模型出现后，价格已经可以接受了，我最多的一天用了100万Token，看上去很多，其实也就一块多钱
4 个赞
7

我觉得这个软件整体看下来不如msty .我更喜欢那种能多模型一起提问对比内容,如果遇到其他知识点能单进行下浅或分支对话.

8

感谢，我想依托本地报告库做一些ai增强搜索，并且通过接入obsidian库。
这个msty的设置似乎更直观一些，可选纯本地embed模型比anythingllm多，但仍然很少，而且很多不支持中文的样子。