06Токены и контекст

Два слова, которые пригодятся тебе каждый день.

Токен - это кусочек текста. Не буква и не слово, а что-то среднее: обычно часть слова. Модель считает всё в токенах, и платишь ты тоже за токены. Отправил длинный файл - потратил много. Получил длинный ответ - тоже потратил. Русский текст, кстати, обычно съедает больше токенов, чем тот же текст на английском.

Контекст - это сколько она держит в голове прямо сейчас. Весь ваш разговор, все файлы, которые ты показал, все её ответы - всё это лежит в контексте и занимает место. У современных моделей это место огромное, сотни тысяч токенов, у некоторых миллион. Но не бесконечное.

Отсюда два эффекта, которые ты обязательно заметишь.

Первый: длинный чат со временем начинает тупить. Не потому, что ИИ устала: контекст забит, старое сжимается или теряется, а важное тонет в куче всего остального. Лечится просто: начни новый чат и в двух словах перескажи суть. Удивительно часто это чинит «она перестала меня понимать».

Второй: не надо вываливать в чат всё подряд «на всякий случай». Лишнее не помогает, а мешает: чем больше мусора в контексте, тем хуже она соображает. Давай то, что относится к делу.