06토큰과 컨텍스트

알아둘 만한 단어 두 개. 이 페이지에 용어는 이제 거의 안 나온다.

토큰은 텍스트 조각이다. 글자도 단어도 아닌 그 중간, 보통 단어의 일부. 모델은 전부 토큰으로 세고, 너도 토큰으로 돈을 낸다. 긴 파일을 보냈다 - 많이 썼다. 긴 답을 받았다 - 역시 썼다.

컨텍스트는 걔가 지금 이 순간 머리에 담고 있는 양이다. 너희 대화 전체, 네가 보여준 파일 전부, 걔의 답 전부 - 다 컨텍스트에 얹혀서 자리를 차지한다. 자리는 무한하지 않다.

여기서 네가 반드시 겪게 될 두 가지 현상이 나온다.

첫째: 긴 채팅이 멍청해지기 시작한다. AI가 지친 게 아니라 컨텍스트가 꽉 차서 옛날 내용이 밀려나는 거다. 해법은 간단하다. 새 채팅을 열고 요점을 두 문단으로 다시 말해줘. "얘가 갑자기 날 이해 못 해"가 마법처럼 낫는 경우가 많다.

둘째: "혹시 몰라서" 아무거나 다 채팅에 들이붓지 마라. 잉여물은 돕는 게 아니라 방해한다. 중요한 게 쓰레기 속에 익사한다. 그 일에 관련된 것만 줘라.