06Токены и контекст

Два слова, которые стоит знать. Больше терминов на этой странице почти не будет.

Токен - это кусочек текста. Не буква и не слово, а что-то среднее: обычно часть слова. Модель считает всё в токенах, и платишь ты тоже за токены. Отправил длинный файл - потратил много. Получил длинный ответ - тоже потратил.

Контекст - это сколько она держит в голове прямо сейчас. Весь ваш разговор, все файлы, которые ты показал, все её ответы - всё это лежит в контексте и занимает место. Место не бесконечное.

Отсюда два эффекта, которые ты обязательно заметишь.

Первый: длинный чат начинает тупить. Не потому, что ИИ устала, а потому, что контекст забился и старое начало вытесняться. Лечится просто - начни новый чат и коротко перескажи суть. Часто это волшебным образом чинит «она перестала меня понимать».

Второй: не надо вываливать в чат всё подряд «на всякий случай». Лишнее не помогает, а мешает - важное тонет среди мусора. Давай то, что относится к делу.