本帖子已删除………………
2 个赞
猜你想找这个 
https://www.zhihu.com/question/2024992333234479556
https://www.zhihu.com/question/2025176582034072339
我们知道F1中文翻译是“一级方程式锦标赛”，但显然你不能把计算机主板纽扣电池没电时开机的提示“Press F1 to continue”翻译成“按下一级方程式锦标赛继续”，更不能把Excel教程中的“Insert data into F1”翻译成“插入数据到一级方程式锦标赛”
——零度君
3 个赞
这篇文章的震撼程度不亚于：
从弦理论可以发现，无论多么微小的粒子都是震动的弦，而三弦也是震动的弦，所以三弦也是一种微小的粒子，同理二胡、小提琴、竖琴、弹棉花的弦子都是一种微小粒子，这大大扩展了基本粒子的疆界。这个推论震惊了国际物理学界，大家发现原来弦理论有这么大的威力。
从微波背景辐射理论可以得知，任何微波都有红移，从红移可以推测物质诞生的时间，而放进微波炉里的烤鸡加热一阵后也会变红，所以可以从烤鸡变红的深度推测最佳微波时间。这个技术震惊了国际物理学界，大家发现原来微波背景辐射理论有这么大的威力。
5 个赞
用否认来表示不认可的人，他的不认可好像也没多大的价值啊 
7 个赞
爱啥啥吧，谁能管的了它呀！…
2 个赞
没啥意义，不同地方的token都不是一个东西，大模型的上下文里翻译成词元其实挺好的。
或者说，当你在表演反对的时候，你其实应该想想，你到底在表演什么。
5 个赞
我觉得这么翻译没什么问题，就像"方便"在不同的地方有不同的意思
1 个赞
但是实际上 LLM 使用的token确实是“词元”的意思，这是很常见的一词多义。
就好比：你不能因为right有“右边的”的意思就否定其“对的”的意思。
至于相关新闻一股脑将各种含义的token都翻译成“词元”，比如本来应该翻译成“代币/通证”、“令牌”，结果学新闻学的一律将其打为“词元”，这自然是不对的。
7 个赞
语言最重要的是共识呀，现在还在这个博弈的过程中。不一定是最终结果，要看用户量
3 个赞
确实是令牌,翻译真糟心
1 个赞
token 在古英语中, 本义是 标记、象征、证据的意思。
所以， 当令牌将， 是将 token 作为象征的延伸。
大模型中， 将 token 当做词元， 是证据的延伸。
输入的是token，是文字资料，是看得见的记号
思考的是token，是思想证据，是看得见的记号
输出的是token，是文字资料，是看得见的记号
所以用词元涵盖了整个意思。
1 个赞
个人感觉ai这里用的token更像是借用了 桌游 里的token的含义，很多桌游都要用到token，以前桌游里的翻译是“代币”，感觉在ai这里“代币”也挺准确的，“词元”不解释的话根本不明白是什么意思，“信达雅”里的“达”都没做到……
1 个赞
你说的是apikey， 有时候也叫token，
但是大模型中的token是自然语言嵌入之后的东西，两个根本就不一样
好好上学，别秀了
3 个赞
在大语言模型（LLM）中，token指的是用于指向唯一输入输出张量（tensor）的单位字符串，也就是用于给LLM理解的无歧义、与唯一一条参数序列对应的人类可读文本最小单位。所以其实和“语素”有类似意思，但语素只观察语义而不考虑语序、停顿等因素，所以得找个新的名词来表示。对于中文这好说，就是字词标点；对字母文字，还得考虑词形变化单词缩合等，所以就算一个“单词”也得额外分拆才能得到唯一单位字符串。
于是词穷的研究员们想的是，与其纠结语言学上这分拆的东西叫什么，不如抛弃那些复杂的语言逻辑——就像他们研发Transformer算法的思路一样——用基于计算机的计算逻辑去命名；那就简单了，每投入一段字符串，就是让计算机调用一个张量去进行一次运算，就跟他们去投一个游戏代币就能玩一次游戏那样，投入的就是成本单位，就是代币，就是token。
这对于他们来说token=算力成本=钱，这种带天然铜臭味的用词他们很好理解；
但对于我们来说，token就是字词标点，就是组成语句的基元，所以译成词元，很信达。
就像他们叫 subway 我们不会亦步亦趋译成“地下路”而是根据其实质译成“地（下）铁（路）”。
你举的例子其实是身份识别码、进程识别码，是让网站为了不明码显示你的身份而能区别于其他用户、其他操作而给你标识的“代号”，跟虎符用途一样于是译成“令牌”。
一词多义懂不懂？
3 个赞
看到标题，我也想回复这句
1 个赞
1 个赞
否认无效
1 个赞
其实很简单，当初做LLM的那帮人不用 token 这个词就没啥事了，他们当初就是图个省事。
2 个赞
文盲 不值一哂
1 个赞
不管你怎么去否认，汉化本身是一个必需的进程。
如果你认为“词元”不合适，那就拿出一个更好的词来。
至于那篇文章，那是用法的问题，不是词本身的问题。
1 个赞