Qingwa
(青小蛙)
1
虽然说更适合在电脑上打开,但手机上也凑合:
TurboQuant 是什么?
昨天刚刚研究了下,TurboQuant 是 Google 最近推出的新算法,它可以将 KV Cache 里的向量压缩 6 倍,并可以直接搜索压缩数据,无需解压缩。
这样大模型就可以记住更长的上下文,回答更长的对话,也更不容易“忘记前面说过的话”。
- KV Cache:大模型在对话时用来“记住前面内容”的一块临时记忆。
- 向量:大模型理解文字的方式:我们对AI说话,会先被转换成一串数字,然后才能让大模型理解,这些数字,就是向量。
1 个赞
TecNico
(xianii)
3
这个方法让我想起二战时候的机械计算器因为飞行时的机械振动达到了比在地面使用时更高的精度的事情。
witnote
(witnote)
9
这是网络调侃,gemini的mac桌面版的设计真的没谁了,都说vibecoding也不会那么丑,产品本身还是非常牛的
yazii
(Yazii!)
10
deepseek在动kv,Google也在动kv,左脚蹬右脚,岂不是。。。
shadows
(shadows)
14
1 个赞