请问怎样搭建一个本地的类似ChatGPT的服务,将自定义的知识库输入,以获得专业问答的效果?

比如,将一本复杂的操作说明书或者操作规程导入到知识库,该应用可以理解自然语言的提问并用操作说明书的内容做精准指导。例如:“请问该如何制做35KV冷缩电缆头?"该应用将引用知识库中的电缆头制作教程、相关规程等内容做出应答。

1 个赞

表示关注

DocsGPT – 开源、可自托管,向 PDF、TXT 文档提问,让 AI 帮你总结。

1 个赞

这玩意没有自己的llm啊, 要调用openai的api.

本地大模型需要高算力.

如果你有4090的显卡, 可以实现. 网络上很多教程.

有开源的这种

1 个赞

Our Open-Source Models Optimized for DocsGPT:

Name Base Model Requirements (or similar)
Docsgpt-7b-falcon Falcon-7b 1xA10G gpu
Docsgpt-14b llama-2-14b 2xA10 gpu’s
Docsgpt-40b-falcon falcon-40b 8xA10G gpu’s

所以可以的,只要你有足够的配置

1 个赞

2颗Intel Xeon Silver 4210R,1块L4 24GB显卡 ,硬件够了吧。
访问github对我来说是个有难度的事儿……

你有足够的硬件 建议用 QAnything , 带RAG的.

1 个赞

谢谢,设备到货后我去试一试

fastgpt+oneapi

不是还有这个:

但依旧需要 ChatGPT。

谢谢大家,等硬件到了,我摸索一下,主要是想将技术手册,故障处理手册全部录入,来代替故障树,做一个“智能”的故障处理提示,例如用户可以提问“发电机报温度高停机该怎样处理?" ,这个系统能够给一个综合的回答。
这个侧重点不是写文章吹牛的那一套,是这个回答是不是真能解决问题。

1 个赞

英伟达已经发布了本地chatgpt的功能,直接对本地文档库索引对话, 最低要求8g vram30/40系列显卡就可以跑了.
相当炸裂.

电脑能理解一本书,是基于chatgpt被投喂了天量的数据a,估计是生成了一个中间结果b,
有b才可以快速理解临时输入的提问或文章再回答

没有a和b,哪怕算力足够 应该也很难有这样水平的理解和回答能力

零度有答案…又有简单教程

GPT-4 All 免费开源! 本机部署,无需GPU、可离线使用! 建造私人专属的 LLM 大语言模型聊天机器人!

ChatGPT 最佳免费替代软件! 支援本地离线运行,100%免费开源,相容于多种主流AI大模型! !

这两天用家用PC做了一个试验,纯本地离线的,不依赖网络。


微信截图_20240305223609