한 번에 다섯 개를 시켰더니, 4분을 기다리다 아무것도 못 받았어요

돈을 좀 아껴보겠다고 시작한 일이었어요.
지루하고 반복되는 작업을 매번 클라우드 AI한테 시키면 돈이 솔솔 빠져나가니까, 이번엔 제 컴퓨터에 작은 모델을 하나 띄워놓고 백그라운드로 굴려보기로 했어요.

일은 단순했어요.
목록에 항목이 쭉 있고, 항목마다 진짜 공식 출처 페이지를 웹에서 찾아서, 그 페이지에 제가 쓸 표가 들어 있는지 없는지 판정하는 거였어요.
검색해보면 절반은 공식인 척하는 블로그나 모음 사이트라, 그걸 걸러줄 손이 하나 있으면 됐거든요.

커피 내리고 왔더니, 빈 화면이 기다리고 있었어요

첫판에 다섯 개를 한꺼번에 안겼어요.
묶고 보니 프롬프트가 18.7KB.
돌려놓고 커피 한 잔 내리러 갔어요.
와서 보니까 아직도 스피너만 돌고 있더라고요.
240초가 지나서야 모델이 손을 놨어요.
타임아웃.
반쯤 쓰다 만 답이라도 있으면 모를까, 정말 아무것도 없었어요.
4분을 기다려서 받은 게 빈 화면이었어요.

그제야 제가 이걸 작은 클라우드 AI쯤으로 여기고 있었다는 걸 알았어요.
제 책상에서 도는 모델한테 다섯 개를 한꺼번에 머릿속에 담으라는 건 무리였던 거예요.

한 개씩 떼서 주니까 그제야 답이 왔어요

한 개씩 줘봤어요.
그랬더니 답이 돌아왔어요.
한 건에 54초, 어떤 건 60초, 길면 67초.
처음 다섯 개 중에 네 개는 "보류, 사람이 봐야 함"으로 돌아왔고 한 개만 "진짜 후보"였어요.
그 한 개도 모델이 영리해서 골라낸 게 아니라, 뒤에 붙여둔 단순한 확인 단계 — 그 주소를 직접 한 번 더 긁어보는 — 가 실제 공식 페이지를 끌어와서 표를 찾아낸 덕이었어요.

근데 돌아온 답이 줄글이었어요.
문단으로 주절주절.
다음 단계에 문단을 그대로 밀어 넣을 순 없잖아요.
그래서 답의 모양을 못 박았어요.
JSON으로만 답하고, 생각하는 과정은 늘어놓지 말라고.
그 두 줄을 박고 나서야 갖다 쓸 수 있는 게 나왔어요.
있어도 그만 없어도 그만인 줄 알았는데, 빼면 작은 작업조차 느려지고 또 타임아웃이 났어요.

큰 모델로 욕심내니 이번엔 답이 중간에 끊겼어요

여기까지 오니 욕심이 생겼어요.
모델을 더 큰 걸로 바꾸고 다시 열 개씩 묶어 던졌어요.
한참 잘 돌았어요.
그러다 JSON이 문장 한가운데서 뚝 끊겨 왔어요.
또 너무 많이 욱여넣었나 싶어 입력을 줄여봤는데, 안 고쳐졌어요.
한참 헤매다 보니 입력은 멀쩡했어요.
잘린 건 출력 쪽이었어요.
답을 쓸 칸을 1600토큰으로 잡아놨는데, 열 개를 적다 보면 그걸 넘겨서 문장이 중간에 끊긴 거예요.
칸을 3000으로 늘리니 끊김이 없어졌어요.
한참을 엉뚱한 쪽만 들여다보고 있었던 거죠.

사실은, 큰 모델한테도 똑같이 하고 있었어요

작은 모델이라 이렇게까지 떠먹여 줘야 하는 줄 알았어요.
근데 큰 클라우드 모델한테도 저는 똑같이 하고 있더라고요.
잘게 떼서 주고, 답이 어떤 모양으로 와야 하는지 미리 정해 주고.
큰 모델은 빨라서, 제가 그걸 하고 있다는 것도 못 느꼈을 뿐이고요.
(받아온 걸 곧이곧대로 믿으면 안 된다는 것도 데여서 배웠는데, 그건 또 따로 긴 얘기라 다음에 할게요.)

돈을 아낀 건지는 아직도 잘 모르겠어요.
제 컴퓨터가 다섯 개 붙잡고 끙끙대는 동안, 큰 모델이면 벌써 다 끝냈을 테니까요.
그래도 안 지웠어요.
큰 모델한테 또 한 뭉텅이 던지려다가도 그 4분짜리 빈 화면이 떠올라서, 결국 또 잘게 자르거든요.
그래도 진짜 급한 날엔 알면서도 또 한 번에 다 안기고 4분을 날릴 것 같아요.
빈 화면 한 번 더 보고서요.
알아도 잘 안 고쳐져요.