06Токени і контекст

За що ти платиш і чому він іноді «забуває»

Два слова, які варто знати. Більше термінів на цій сторінці майже не буде.

Токен - це шматочок тексту. Не літера і не слово, а щось середнє: зазвичай частина слова. Модель рахує все в токенах, і платиш ти теж за токени. Відправив довгий файл - витратив багато. Отримав довгу відповідь - теж витратив.

Контекст - це скільки він тримає в голові прямо зараз. Уся ваша розмова, всі файли, які ти показав, всі його відповіді - все це лежить у контексті й займає місце. Місце не безкінечне.

Звідси два ефекти, які ти обов'язково помітиш.

Перший: довгий чат починає тупити. Не тому, що ШІ втомився, а тому, що контекст забився і старе почало витіснятися. Лікується просто - почни новий чат і коротко перекажи суть. Часто це чарівним чином лагодить «він перестав мене розуміти».

Другий: не треба вивалювати в чат усе підряд «про всяк випадок». Зайве не допомагає, а заважає - важливе тоне серед сміття. Давай те, що стосується справи.