TurboQuant:第一性原理详解

虽然说更适合在电脑上打开,但手机上也凑合:

TurboQuant 是什么?

昨天刚刚研究了下,TurboQuant 是 Google 最近推出的新算法,它可以将 KV Cache 里的向量压缩 6 倍,并可以直接搜索压缩数据,无需解压缩。

这样大模型就可以记住更长的上下文,回答更长的对话,也更不容易“忘记前面说过的话”。

  • KV Cache:大模型在对话时用来“记住前面内容”的一块临时记忆。
  • 向量:大模型理解文字的方式:我们对AI说话,会先被转换成一串数字,然后才能让大模型理解,这些数字,就是向量。
1 个赞

这个页面的UI和交互设计做得是真特么好啊。

这个方法让我想起二战时候的机械计算器因为飞行时的机械振动达到了比在地面使用时更高的精度的事情。

为什么我点进入是英文的

右键翻译啊:see_no_evil_monkey:

:man_facepalming:好吧,我还以为有中文版

谷歌在基础研究领域一直是神,消费领域界面做不好

Gemini 很能打啊

这是网络调侃,gemini的mac桌面版的设计真的没谁了,都说vibecoding也不会那么丑,产品本身还是非常牛的

deepseek在动kv,Google也在动kv,左脚蹬右脚,岂不是。。。

到头啦

确实丑,一股子上个世纪的味道

网页嘛,客户端还不如 codex

这个的论文涉及学术不端,RaBitQ论文作者指出这个的核心方法早就被RaBitQ在之前提出过,并且论文里错误描述 RaBitQ 的理论结果,刻意制造不公平的实验条件

https://www.reddit.com/r/MachineLearning/comments/1s8yni2/d_turboquant_author_replies_on_openreview/

简单来说,谷歌这个论文有水分…

1 个赞

但是在这个 demo 中真的节省了 2.4x 啊