AI的「记忆」会不会反而坑了我们?

使用AI的记忆功能,会不会潜移默化地偏向使用者,反而把本该做对的任务做错?

基于这种担忧,我从来没有打开过记忆功能。

不过看到这个贴子发现大家好像都打开了记忆功能,虽然没有打开记忆功能的人也自然不会在贴子下面回复就是了(

当然,就算没有打开记忆功能,模型从训练数据里就已经带着各种潜在偏向了。

所以,记忆功能会不会让原本就存在的偏向,变得更顽固、更隐蔽,也更难被我们发现和纠正?

想看下各位的看法如何。

AI 记忆 ≠ 信息茧房。AI 记忆本身可以查看、修改和管理,并非是黑箱。

记忆带来的收益:跟 AI 对话,本质上就是提供上下文,AI 记忆让你不用每次从一张白纸开始。

况且 AI 聊天网页大多都有一个临时聊天功能,可以不使用历史记忆。

同温层/信息茧房又不是AI发明之后才出现的,从报纸普及之后就已经有了。而且,目前阶段加剧这个现象的并不是AI而是各大平台的演算法。

如果追着AI去纠结,但是对信息平台视而不顾,就属于本末倒置了。AI或许会加剧同温层的问题,但是,相比于演算法,它的影响小太多太多了

1 个赞

我确实把所有平台的个性化推荐都关掉了,日常使用RSS订阅各个平台的信息,不过订阅RSS又何尝不是一种自己打造的信息茧房呢。

主动构筑和被动接受是两码事

前者是白箱,后者是黑箱

我更担心记忆本身就是个黑箱。你不知道它到底记住了什么,也不知道那些东西是事实、推断,还是模型自己脑补的。模型本身输出就有不确定性,再加上一层你没法验证的记忆,万一记错了,后面一直带着这个错误跑,你甚至都不知道是从哪开始错的。

而且我觉得现在所谓的记忆,更像是 token 成本省钱方式,把以前的上下文压缩一下保存下来,还谈不上什么真正的“记忆”。至少我理解的记忆,应该知道来源,也应该能过期、能纠正。

还有一个很主观的感觉,就是 AI 一旦开始记得你很多东西,聊起来反而有点怪,甚至有点恶心。以前说过的话本来就是说完就过去了,现在它可能一直记着,过几个月还拿出来影响你们的对话,会有种一直被观察、被建模的感觉。所以我现在其实更喜欢干净的上下文窗口,真正重要的东西再主动留下来。

1 个赞

我很讨厌做的不好的记忆功能,我开新会话就证明当前的内容和之前的没有关系,结果硬给我往上扣。而且当前的记忆机制是注入上下文,模型是根据其来推测后文,天然就会硬靠扯上关系,但是很多时候也没有什么好的办法去解决

网页端我都是关掉记忆的,因为我不希望多个聊天“串台”。

本地的 agent 是开启记忆的,因为有些事情确实很希望它记得。但是这些记忆跨工具、跨模型可能并不适用,这里其实应该深度管理,但是还没找到合用的工具。

感觉有点可怕

完全不理解你这是在说什么。你可以订阅不同的东西啊,而且网站和本地的RSS服务没有限制你订阅的数量啊,你多看几个不就没事了?

如果RSS可以造就信息茧房,那么,你对于“造就信息茧房”的定义是什么?是否在理论上就不存在可以打破信息茧房的可能性呢?

自己可以选择订阅也倾向于订阅自己喜欢的内容吧?

这个当然看你的选择了,但是无论如何选择,跟RSS都是无关的

我最开始追俄乌战争,就是双方的消息都订了,所以一会能看到俄罗斯大胜,一会看到俄罗斯大败。我不追求中立客观,因为所有的频道都有自己的取向。所以把两边的信息都看到,然后自己分析就好了。这种情况下,有什么信息茧房?

AI这边,我能看到说国内的模型好的(崛起啦),也能看到各种贬低他们的(全都是蒸馏),也能看到普通人要如何选择(比如本地部署LLAMA,Gemma,或者Qwen哪个好)。尽可能看到更多的角度,就很清晰了。

打破信息茧房本来就不是一个容易的事情,但是,这个容易与否跟用户高度相关,跟工具也有关系,但是不是决定性(除了推送法,因为这个我真的没办法控制)。

我觉得关键不在于记忆本身,而在于记忆是否可查、可改、可删。黑箱式的记忆确实容易变成另一种信息茧房。

我会关掉网页端 Chatbot 的记忆功能。因为它经常莫名其妙地串台,我上一个随口问的问题,会干扰这次认真问的问题。

Agent 的“记忆”,可以用 skill。