토큰이 뭐길래 돈이 나갈까

토큰이 뭐길래 돈이 나갈까

청구서를 처음 열었을 때, 숫자가 한 자리 더 길어 보여서 잠깐 화면을 새로고침했습니다.
새로고침해도 똑같았습니다.
며칠 동안 내부 도구에 붙여놓고 코드 수정이나 데이터 정리를 시켰을 뿐인데, 글자 몇 개 쳐 보낸 게 이 돈이 됐다는 게 그때는 이해가 안 됐습니다.

처음엔 호출 횟수로 돈을 받는 줄 알았습니다.
그러면 횟수를 줄이면 되니까요.
그런데 횟수는 그대로인데 어떤 날은 비싸고 어떤 날은 쌌습니다.
길게 떠든 날이 비쌌습니다.

글자가 아니라 '토큰'으로 센다는 걸 몰랐습니다

요금은 글자 수가 아니라 토큰 단위로 매겨집니다.
토큰은 모델이 글을 잘게 쪼개 처리하는 한 조각인데, 한 글자도 아니고 한 단어도 아닙니다.
그 중간 어딘가입니다.

영어는 보통 한 단어가 한 토큰에 가깝게 떨어집니다.
그런데 한글은 다릅니다.
한 음절이 토큰 하나로 안 끝나고 두세 조각으로 쪼개지는 경우가 흔합니다.
같은 분량을 한글로 쓰면 영어보다 토큰이 더 나온다는 뜻입니다.
띄어쓰기도, 줄바꿈도, 따옴표도 다 토큰입니다.
제가 "공백은 공짜겠지" 하고 넘긴 게 공짜가 아니었습니다.

직접 세 보기 전까진 감이 안 왔습니다.
짧은 한 문장을 토큰으로 쪼개 보니, 제 눈엔 멀쩡한 한 덩어리가 모델 눈엔 예닐곱 조각이었습니다.

비싼 날의 정체는 '대화가 길어서'였습니다

여기서 뒤집혔습니다.
저는 마지막에 보낸 질문 한 줄만 돈으로 센다고 생각했거든요.
아니었습니다.

긴 작업을 시킬 때, 모델은 매번 그때까지의 대화 전체를 다시 읽습니다.
앞에서 주고받은 코드, 제가 붙여넣은 긴 로그, 모델이 했던 긴 답까지 통째로요.
대화가 스무 번째 줄에 가 있으면, 스무 번째 질문 한 줄을 보내도 앞의 열아홉 번을 같이 계산에 넣습니다.
짧은 질문인데도 비쌌던 이유가 이거였습니다.
질문이 짧은 게 아니라, 질문이 짊어진 짐이 길었던 겁니다.

그날 비쌌던 건 제가 한 세션에서 같은 작업을 붙들고 마흔 번 넘게 핑퐁을 친 날이었습니다.
뒤로 갈수록 한 번 주고받는 값이 점점 무거워졌고, 저는 그게 쌓이는 걸 보지도 못한 채 "왜 안 되지"만 반복하고 있었습니다.

청구서를 닫으면서 한 생각

알고 나니 줄일 구석이 보였습니다.
끝난 작업은 대화를 새로 열고, 길게 붙여넣던 로그는 필요한 줄만 남기고, 굳이 다 안 읽혀도 될 맥락은 끊어내는 식으로요.
다음 달 숫자가 어떻게 찍힐지는 아직 안 봤습니다.

다만 한 가지는 분명해졌습니다.
제가 돈을 낸 건 답이 아니라, 그 답에 딸려 매번 다시 읽힌 제 긴 대화였다는 것.
짧게 묻는 법을 이제야 배우는 중입니다.