阶段 · AI 到底是什么
06Token 和上下文
你付的钱花在哪,它为什么有时会「忘」
两个你每天都会用到的词。
Token 是一小块文字。不是字母也不是单词,介于两者之间:通常是词的一部分。模型什么都按 token 算,你付钱也是按 token 付。发个长文件,花掉一堆。收到长回复,同样花钱。顺带一提,同样的意思换一种语言说,消耗的 token 数量也不一样。
上下文是它此刻脑子里装着的东西。你们的整段对话、你给它看的所有文件、它的所有回复,全都躺在上下文里占地方。现在的模型这块地方很大,几十万 token,有的到一百万。但不是无限的。
由此产生两个你一定会碰到的现象。
第一:聊得久了,它会慢慢犯傻。不是 AI 累了,而是上下文塞满了,旧内容被压缩或丢掉,要紧的东西淹没在一大堆别的东西里。解法很简单:开个新对话,用两句话把要点复述一遍。「它突然听不懂我了」出奇地经常就这么好了。
第二:别「以防万一」把什么都倒进对话里。多余的东西不帮忙,只碍事:上下文里垃圾越多,它想得越差。给跟事儿相关的就行。