'토큰'이 뭐길래 돈이 나가나 — 글자도 단어도 아니더라고요

토큰이 뭐길래

사용량 화면에 찍힌 큰 숫자 하나에서 한참 막혔어요.
자정쯤이었고, 다른 탭은 다 닫아 둔 채였어요.
숫자가 큰 것도 큰 거였는데, 손이 멈춘 건 그 옆에 붙은 단위였어요.
토큰.
글자 수도 아니고 단어 수도 아니고, 대체 뭘 센 거지.

비용은 이 토큰으로 매겨져요.
그러니까 토큰이 뭔지를 모르면, 돈이 왜 그만큼 나갔는지도 끝까지 못 따라가요.
화면을 닫았다가 다시 열어 봐도 숫자는 그대로였고요.
그날 밤에 결국 검색창에 친 게 그거였어요.
"토큰이 정확히 뭔데."

글자를 셌으면 차라리 쉬웠을 텐데

처음엔 당연히 글자 수겠거니 했어요.
알파벳 하나, 한글 한 자, 그렇게 세는 줄 알았죠.
그래서 내가 그날 보낸 글이 얼추 몇 자였더라, 하고 머릿속으로 어림을 잡아 봤어요.
화면 숫자랑 자릿수부터 안 맞더라고요.
글자 수가 아니구나, 그제야 접었어요.

그럼 단어 수인가 싶어 다시 세 봤는데, 이번엔 너무 적게 나와요.
글자로 재면 넘치고 단어로 재면 모자라고.
토큰은 그 둘 사이 어딘가에 있는, 글자보다 크고 단어보다는 작은 조각이더라고요.
모델은 글을 한 글자씩 읽지도, 단어 통째로 읽지도 않고, 자주 같이 붙어 다니는 덩어리 단위로 잘라서 읽어요.
흔하게 쓰는 짧은 말은 통으로 한 조각이고, 어쩌다 나오는 긴 말은 여러 조각으로 갈려요.

왜 굳이 이렇게 자르나 싶었는데, 끝까지 깔끔하게는 안 잡히더라고요.
단어를 통째로 외우게 두면 외울 목록이 한도 끝도 없이 길어지고, 한 글자씩 세면 또 의미가 너무 잘게 부서지고.
그 가운데 어디쯤에서 타협한 거라는데, 그 "어디쯤"이 딱 떨어지게 정해진 게 아니라 그냥 많이 본 조각부터 묶어 둔 거였어요.
자주 같이 나오면 통으로, 어쩌다 나오면 쪼개서.

그래서 글자 수랑도 안 맞고 단어 수랑도 살짝 어긋나요.
이게 머리로는 알겠는데, 그날 밤엔 한참을 멍하니 봤어요.
그러면 내 글은 대체 몇 조각으로 잘린 거지, 하고요.

그런데 한국어는 왜 더 많이 나갈까

여기서 좀 억울한 게 나와요.
같은 내용을 써도 한국어가 영어보다 토큰을 더 먹어요.

처음엔 내가 한국어를 더 길게 쓰는 버릇이 있어서 그런가 했어요.
같은 말도 영어보다 한글이 글자가 많으니까.
근데 길이를 맞춰 봐도 차이가 남더라고요.
문제는 길이가 아니라 조각 나누는 규칙 쪽이었어요.
그 규칙이 영어 텍스트를 잔뜩 보고 만들어졌거든요.
영어에서 자주 보이는 덩어리는 큼직하게 묶여 있는데, 한국어는 상대적으로 덜 봐서 그렇게 묶인 게 적어요.
그래서 한글은 한 글자가 통째로 한 조각이 되는 정도면 다행이고, 흔치 않은 글자는 한 자가 두세 조각으로 더 쪼개지기도 해요.
영어 단어 하나는 보통 한두 조각인데 말이죠.

그날 확인하려고, 같은 뜻의 한 문단을 영어로 한 번 한국어로 한 번 따로 넣어서 조각 수를 재 봤어요.
두 칸에 숫자가 나란히 찍히는데, 한국어 쪽이 눈에 띄게 더 나오더라고요.
글마다 들쭉날쭉이라 "몇 배다" 하고 못 박진 못하겠는데, 한국어로 길게 주고받을수록 똑같은 일에 돈이 더 빨리 쌓이는 건 그 자리에서 눈으로 봤어요.
한글로 일하는 사람한텐 좀 손해 보는 칸이에요.

내가 친 질문만 세는 게 아니었어요

토큰을 헷갈린 데가 하나 더 있었어요.
나는 내가 친 질문만 돈으로 매겨지는 줄 알았거든요.
입력칸에 친 글자만 세는 거 아니야, 하고 당연하게.

아니에요.
내가 보낸 글도 토큰이고, 모델이 답한 글도 토큰이에요.
답을 길게 뽑을수록 그쪽이 더 비싸고요.
처음엔 그래도 이해가 됐어요.
주고받은 거니까 양쪽 다 세는 거구나, 하고.
근데 제일 안 보이던 게 하나 더 있더라고요.
긴 대화를 이어갈 때처럼 앞 맥락을 계속 들고 다니는 경우엔, 매번 그 앞 내용을 통째로 다시 읽혀요.
한 대화 안에서 같은 배경을 몇 번이고 다시 태우는 거예요.

그래서 "질문 몇 줄 안 쳤는데 왜 이렇게 많지?" 싶을 때가 생겨요.
내가 직접 친 글자는 적어도, 그 뒤에서 오가는 입력이랑 출력이랑 다시 읽기까지 합쳐지면 숫자가 확 불어나요.
화면에 보이는 건 위쪽 일부고, 청구되는 건 그 밑에서 조용히 도는 것까지예요.

그 큰 숫자의 절반쯤은 풀렸어요

그러고 나서, 그 큰 숫자를 줄별로 한번 갈라 봤어요.
화면에 입력·출력·다시 읽기가 따로 찍혀 있길래 셋을 견줘 봤더니, 내가 새로 친 입력은 정작 얼마 안 됐어요.
대부분이 "앞에 했던 얘기 다시 읽기"였고, 출력이 그다음, 새로 친 글은 한 귀퉁이뿐이더라고요.
새로 쓴 글값보다 이미 한 말 다시 태운 값이 훨씬 크게 나온 거예요.
그 줄을 한참 다시 봤어요.

내 글이 정확히 몇 토큰인지 손으로도 세어 보려다가, 같은 문단을 두 군데 다른 카운터에 넣으니 끝자리가 안 맞아서 딱 떨어지게 맞추는 건 접었어요.
어느 쪽이 맞는지도 모르겠고, 한 자리 차이로 밤을 더 새우긴 싫었거든요.

근데 비율까지 갈라 놓고도 안 풀린 게 남아요.
같은 일을 거의 똑같이 시켰는데, 어떤 날은 그 숫자가 유독 많이 나와요.
다시 읽기가 늘었나 싶어 그 칸만 따로 비교해 봐도, 그만큼 벌어질 만큼은 아니었고요.
화면을 위아래로 몇 번 굴려 봐도 튀는 이유가 짚이는 데가 없어요.
토큰이 뭔지는 이제 줄 단위로 셀 수 있게 됐는데, 정작 어떤 날은 그 셈이 왜 그렇게 튀는지를 못 대요.
단위는 손에 잡혔는데, 그 화면은 아직 군데군데 안 읽혀요.