# AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天

**URL:** <https://meta.appinn.net/t/topic/60454>\
**Category:** 青蛙的应用\
**Created:** [2024 年8 月 29 日 09:04 UTC](https://meta.appinn.net/t/topic/60454 "2024-08-29T09:04:55Z")\
**Posts on this page:** 1\
**Showing post:** 6

<div class="post-metadata">

作者： ![Sworld](https://meta-edge.appinn.com/user_avatar/meta.appinn.net/sworld/32/47330_2.png) [@Sworld](https://meta.appinn.net/u/Sworld)\
发布日期： [2024 年9 月 2 日 11:49 UTC](https://meta.appinn.net/t/topic/60454/6 "2024-09-02T11:49:02Z")

</div>

同类产品有挺多的，我补充几个：

1. [Jan](https://jan.ai) 用起来也很方便，主要是好看，[文档聊天](https://jan.ai/docs/tools/retrieval)等功能也有，但是貌似比较弱
2. [GPT4All](https://www.nomic.ai/gpt4all) 这个是这几个中唯一的原生应用（QT写的），所以是最流畅的，但是不支持公式渲染，它的知识库检索功能应该算是比较不错的

AnythingLLM感觉操作起来还是尚且有点烦琐，现在我主要用的是LobeChat（用claude 3.5 sonnet聊天）、Continue.dev（用deepseek辅助写代码）以及浏览器的Fission插件，最后是LM Studio偶尔玩玩本地模型

为什么我不常使用上面说的几个其他应用呢，我觉得主要有两个问题：

1. 基于RAG和关键词检索的知识库检索，其实非常不可靠，我自己使用下来体验极差，尤其是只有向量检索的
2. 本地模型（尤其是70B以下的）效果非常一般，即使是小体积模型中我认为表现很优秀的Gemma2 27B，也只能聊聊天，复杂一些的任务处理不了，至少要Qwen2 72B这种大小的模型才能基本完成大多数任务（而这可能需要48GB以上的显存，我只有8GB或16GB）
3. 在线API在Deepseek这类性价比模型出现后，价格已经可以接受了，我最多的一天用了100万Token，看上去很多，其实也就一块多钱

---

_[View the full topic](https://meta.appinn.net/t/topic/60454)._