etapa · Qué es la IA
06Tokens y contexto
Por qué pagas y por qué a veces «olvida»
Dos palabras que vas a usar todos los días.
Un token es un trocito de texto. Ni una letra ni una palabra, algo intermedio: normalmente parte de una palabra. El modelo lo cuenta todo en tokens, y tú también pagas por tokens. ¿Enviaste un archivo largo? Gastaste mucho. ¿Recibiste una respuesta larga? También. Por cierto, el mismo texto en español suele gastar más tokens que en inglés.
El contexto es cuánto tiene en la cabeza ahora mismo. Toda la conversación, todos los archivos que le mostraste, todas sus respuestas: todo eso vive en el contexto y ocupa sitio. En los modelos actuales ese sitio es enorme, cientos de miles de tokens, en algunos un millón. Pero no es infinito.
De ahí salen dos efectos que vas a notar seguro.
El primero: un chat largo con el tiempo empieza a atontarse. No porque la IA se canse: el contexto está lleno, lo viejo se comprime o se pierde, y lo importante se ahoga entre todo lo demás. Se cura fácil: abre un chat nuevo y resume la esencia en un par de frases. Sorprende lo a menudo que eso arregla el «dejó de entenderme».
El segundo: no vuelques en el chat todo «por si acaso». Lo que sobra no ayuda, estorba: cuanta más basura en el contexto, peor razona. Dale lo que viene al caso.