阶段 · AI 到底是什么
06Token 和上下文
你付的钱花在哪,它为什么有时会「忘」
两个值得记住的词。这页后面几乎不会再有术语了。
Token 是一小块文字。不是字母也不是单词,介于两者之间:通常是词的一部分。模型什么都按 token 算,你付钱也是按 token 付。发个长文件——花掉一堆。收到长回复——同样花钱。
上下文是它此刻脑子里装着的东西。你们的整段对话、你给它看的所有文件、它的所有回复——全都躺在上下文里占地方。地方不是无限的。
由此产生两个你一定会碰到的现象。
第一:聊得久了它开始犯傻。不是 AI 累了,是上下文塞满了,早先的内容被挤了出去。解法很简单——开个新对话,把要点两段话复述一遍。「它突然听不懂我了」经常就这么神奇地好了。
第二:别「以防万一」把什么都倒进对话里。多余的东西不帮忙,只碍事——重要的会淹死在垃圾里。给跟事儿相关的就行。