06토큰과 컨텍스트

매일 쓰게 될 단어 두 개야.

토큰은 텍스트 조각이야. 글자도 단어도 아닌 그 중간, 보통 단어의 일부. 모델은 전부 토큰으로 세고, 너도 토큰으로 돈을 내. 긴 파일을 보냈으면 많이 쓴 거고, 긴 답을 받았어도 쓴 거야. 참고로 같은 내용이라도 한국어는 보통 영어보다 토큰을 더 먹어.

컨텍스트는 걔가 지금 이 순간 머리에 담고 있는 양이야. 너희 대화 전체, 네가 보여준 파일 전부, 걔의 답 전부가 다 컨텍스트에 올라가서 자리를 차지해. 요즘 모델은 이 자리가 엄청 커. 수십만 토큰, 어떤 건 백만까지. 그래도 무한하진 않아.

여기서 네가 반드시 겪게 될 현상 두 개가 나와.

첫째: 긴 채팅은 점점 멍청해져. AI가 지친 게 아니라, 컨텍스트가 꽉 차서 옛날 내용이 압축되거나 날아가고, 중요한 게 나머지 더미에 묻히는 거야. 해법은 간단해. 새 채팅을 열고 요점을 두어 문장으로 다시 말해줘. "얘가 갑자기 날 이해 못 해"가 이걸로 풀리는 경우가 놀랄 만큼 많아.

둘째: "혹시 몰라서" 아무거나 채팅에 들이붓지 마. 남는 건 돕는 게 아니라 방해해. 컨텍스트에 쓰레기가 많을수록 걔 머리가 더 안 돌아가. 그 일에 관련된 것만 줘.