求助如何用AI管理自己笔记?

好嘞 感谢 我尝尝鲜

TL;DR: by DeepSeek

AI工具虽有潜力辅助笔记管理(如语义搜索),但当前存在幻觉风险、输入限制、相关性判断不准等硬伤,需结合具体场景谨慎使用;笔记整理仍依赖人工维护,未来或可通过个人数据训练轻量模型配合大模型提升效果,但短期内仍需客观看待AI的局限性。

先说客观

任何工具都有它擅长和不擅长的方面,只是极其正常且客观的,也是必然的。所以对于任何一个在介绍时只讲其优点,而不谈缺点,或者对于缺点一带而过的,我都会尤其敏感。

AI 是工具,是一种新兴的工具。因为它新,必然存在许多的不完善;也因为它新,我们对于它的应用也都谈不上擅长。大家都还在接触,在磨合,而工具也在飞快的更新换代。这时候无脑的去对他讲一大堆的优点……我觉得就必然不客观吧。

老实说我被他们讲的心动了好几次,我觉得自己年龄大了可能跟不上时代了,所以我得努力追赶,避免被这个时代抛弃。然后按照教程一点一点去验证那些应用方法,最终得出来的结果就是……登山的时候多了一根登山杖吧。说起来应该是有用的,但还是得自己会用才能真正发挥它的价值。而且这个有用也要看具体的场景,并不是登所有的山有了登山杖都会变得更加轻松,在某些场景下它可能是累赘。不谈具体的应用场景,一味的说好、说必须,就有点假了。

再说应用

Ai是有幻觉的,是可能出错的。这是一个非常重要的必须时刻谨记的原则

下一个重要的事情是:Ai 的输入量是有限的。当然有超长上下文,但即便是超长上下文能不能囊括你所有的笔记内容?你的经济能力能不能担负起每一次提问都携带你所有的笔记内容?

当然很容易想到解决的方法:如果每次提问携带的都是与这个问题相关的笔记,不就做到了最高的性价比吗?一点儿都没错,现在很多方法也都是基于这个思想去实现的。但是如何判断笔迹与这个问题相关这是一个非常复杂的事情。显然这个判断不可能 100% 的准确。如果交给 AI 的笔记相关性并不够,那么 AI 再聪明可能也没有办法给出一个正确的答案。但是网络教程中真正涉及这一部分的内容就相对少了很多。

如果不受任何限制。我个人的期望是用 AI 进行更加智能的搜索。因为有时候在笔记里找东西,并不能给出一个准确的关键词。因为我不记得当初记录的时候,我使用的是怎样的词语。毕竟有些东西会有多种称呼。当然我们也可以把所有的称呼枚举出来。但显然还会有更加复杂的情况。所以如果能够使用ai基于语义理解去进行搜索,那应该是非常棒的。然而加上上面所说的限制,这个需求实现起来的效果,目前还不尽如人意。甚至可以说还没有达到真正的可用水平。

回归笔记

管理笔记应该算是笔记法层面的事情了。笔记法当然是千人千面的,我谈谈我的看法。

我觉得笔记是需要不断整理的,在整理的过程中取更新信息,去除无用的信息,也让自己对自己的笔记更加熟悉……无论怎样的工具这个过程是不应该省略的。

否则对于一个自己都记不清里面有什么的知识库,甚至不知道自己是不是应该在里面去搜索当前的问题,当然也不知道自己应该去搜索什么样的关键词,这就有点浪费时间了。还不如直接使用搜索引擎,毕竟反正都是要面对一个自己并不了解的知识库。

期待未来

目前如果能用自己的笔记数据去训练 AI,也许能得到比较好的效果,但是这样做的硬件开销又比较大,而且笔记数据是不断更新的,所以这种训练也是要长期持续的。我觉得目前来说多数人还是很难为自己的笔记去投入那么大的性能。

但是也许可以借鉴 LM Studio 的思路,用自己的笔记去训练一个小模型,然后在自己提问的时候用在线的大模型和这个小模型相互配合。

但这些事情可能都要去期待未来了。不过好消息是现在 AI 发展的非常快,我现在完全不敢想象年底的状况是怎样的。

5 个赞

学习到了,说的有道理啊,感觉我还是想的简单了点,但是刚好乘这个机会把我的笔记平台换一下,Onenote虽美,但有点跟不上时代了。

您是否在搜索“ 检索增强生成(RAG)” :doge:

一直用的老前辈给我的mybase,简单,保存数据在本地小巧可移植性强 :nerd_face:

1 个赞

这不就是

嘶 新词 我去学习一下

谢谢 我搜搜去

我这个是在玩梗了,RAG这个 @walklty 提到过了,要是公开的笔记不在意泄露并且没有超过2G可以试试腾讯的ima,如果不希望信息泄露的话可能需要自己用Dify搭建

1 个赞

我理解的RAG的原理就是在知识库中找语义相似度高的文本一起丢进llm产生输出,从技术的角度讲语义相似度的匹配还是比较准确的。但人类提问题的方式乱七八糟,可能提的问题和要解决的事就没啥关系(X-Y problem),语义上和问题相近的笔记根本就不是需要的,就垃圾进垃圾出了……


不过我主要是想吐槽用自己的笔记再训练小模型然后搞大小模型协同的思路,真没必要,个人笔记这个量级的数据微调的模型可能根本没法用,还有笔记内容更新导致的持续学习需求……RAG这类外挂记忆才是正解。

能不能根据土豆找到地瓜是个问题。这种准确性严重基于分词模型的准确度。但现在看起来准确度还是差一些,能解决基本问题,但如果上难度就明显不行了。

然后就是 AI 回答问题必然是根据笔记的一个子集去进行解答,而不是完整的笔记库,所以即便 AI 数学没有问题,可能也很难回答正确笔记中出现过多少次 xxx 这样的问题,因为可能数量比较多而导致没有引用所有涉及的笔记。

主要问题还是怎样让 AI 真的能够根据我整个笔记库去回答问题。目前还没有看到特别好的解决方案。

当然也有另外的一些思路,就类似于现在的代码编辑器,对于项目内的代码进行了索引,可以基于这个索引进行提问(RAG?),也可以指定引用的具体文件或者文件夹。但我感觉他在细节上做了更多优化,可能是对问题的反复处理:

拿到问题分析可能的需求然后寻找相应的文件,读取文件再次分析然后尝试解决问题。注意这里的第1次分析可能不是本地解析问题而是交给线上的大模型去分析。从api的调用上看也是存在多次请求的。但我并没有具体验证,这只是一个猜想。

不过在和ai的交流中如果能够进行多轮交流去处理问题显然是更容易获得更好的结果的。如果这些ai工具能够将这样的多轮交流给封装起来实现自动化,也算是一种不错的解决方案。

在多轮交流方面 Obsidian 中有一些插件是有相应优化的,值得尝试一下,不过具体流程还是要自己去耐心打造。

get 感谢

目前正在尝试 Obsidian,觉得上手还是有难度的,就这个markdown语法 我就觉得有点难,加红加粗 我竟然没法同时做到,还是有点学习成本的

或许可以先搜索 “OneNote 搜索 中文”(注:在各平台以及 AI 对话单独搜索可能有奇效)

看看能不能解决当下的问题

比如:onenote桌面版的中文搜索问题,在笔记本中明明有的词汇,通过搜索功能却无法搜索到,这个问题应该如何的解决? - Microsoft Community

虽然我现在使用的是 Obsidian,但并不是换成 Obsidian 就没有了管理笔记的问题。真需要换软件再慢慢迁移。

1 个赞

加粗简单,但要是想加红之类的比较复杂的,感觉就还不如继续使用 Onenote 了 :rofl:
个人感觉,纯文本的笔记就最好啥都不要,只有文字,不要格式,顶多就是区分 标题 和 内容 就行了

1 个赞

好嘞 感谢兄弟的帮助

体验下来只能说 大家的优点缺点都很明显啊

是的,所以不同的人,需求不同,对笔记软件也就各有所爱了。
我一般是笔记以纯文本的形式集中在 emacs 记录,如果有需要 加格式 的,我就直接打开 word 记录 :rofl: 尤其是我喜欢 word 的审阅视图,可以清晰的看出修改前后的痕迹之类的

1 个赞

首先要理解 Markdown 是什么……

obsidian的核心是文件大于应用。开源的markdown格式够用稳定,不会被任何应用绑架。我自己的脑图等都在迁移到obsidian

用传统索引搜索如filelocatorpro等,加上obsidian的自带搜索和omnisearch插件,基本够用。

rag是为了进一步ai利用你的笔记准备的。你不用ai根本不需要rag。
需要的话可以自建,或者像我一样用msty+obsidian smart composer本地小白部署

1 个赞