06Токени і контекст

За що ти платиш і чому він іноді «забуває»

Два слова, які знадобляться тобі щодня.

Токен - це шматочок тексту. Не літера і не слово, а щось середнє: зазвичай частина слова. Модель рахує все в токенах, і платиш ти теж за токени. Відправив довгий файл - витратив багато. Отримав довгу відповідь - теж витратив. Український текст, до речі, зазвичай з'їдає більше токенів, ніж той самий текст англійською.

Контекст - це скільки він тримає в голові прямо зараз. Уся ваша розмова, всі файли, які ти показав, усі його відповіді - все це лежить у контексті й займає місце. У сучасних моделей це місце величезне, сотні тисяч токенів, у деяких мільйон. Але не безкінечне.

Звідси два ефекти, які ти обов'язково помітиш.

Перший: довгий чат з часом починає тупити. Не тому, що ШІ втомився: контекст забитий, старе стискається або губиться, а важливе тоне в купі всього іншого. Лікується просто: почни новий чат і двома словами перекажи суть. Дивовижно часто це лагодить «він перестав мене розуміти».

Другий: не треба вивалювати в чат усе підряд «про всяк випадок». Зайве не допомагає, а заважає: що більше сміття в контексті, то гірше він міркує. Давай те, що стосується справи.