같은 질문인데 답이 매번 다른 이유 — '온도'라는 게 있어요

같은 질문인데 답이 매번 다른 이유 — '온도'라는 게 있어요

설정값 한 줄을 그대로 둘지 손볼지, 그걸 AI한테 물어본 적이 있어요.
창을 잘못 닫아서 같은 걸 한 번 더 물었는데, 이번엔 답이 반대로 왔어요.
처음엔 "그대로 두라"였는데 두 번째는 "손보라".
토씨 하나 안 바꿨거든요.
두 입력을 나란히 띄워놓고 글자를 하나씩 짚어봐도 정말 똑같았고요.
(이 장면 자체는 따로 적어둔 게 있어서, 여기선 그래서 그게 왜 그런지를 풀어볼게요.)

저는 한참 헷갈렸어요.
같은 입력에 같은 답이 안 나오는 기계가 어디 있나 싶어서요.
계산기는 1 더하기 1을 백 번 물어도 백 번 다 2라고 하잖아요.
근데 이건 안 그랬어요.

사실 AI는 '답'을 고르는 게 아니라 '다음 단어'를 고르고 있어요

이걸 알고 나서 좀 풀렸어요.
우리가 보기엔 AI가 "그대로 두라"는 하나의 답을 통째로 내놓는 것 같지만, 안에서 벌어지는 일은 그게 아니에요.
AI는 단어를 한 개씩, 앞에서부터 차례로 고르고 있어요.

"그대로" 다음에 올 단어로 뭐가 좋을까.
AI는 이 자리에서 후보를 쭉 펼쳐놓고 각각에 점수를 매겨요.
"두는"이 제일 높고, "두시는"이 그 아래, "유지하는"은 더 아래, 이런 식으로요.
(저는 진짜 그 점수를 본 적은 없어요.
안에서 그렇게 줄을 세운다더라, 정도로만 알아요.
실제로는 후보가 수만 개라 이렇게 딱 세 개로 깔끔하지도 않을 거고요.) 그리고 그중에서 하나를 골라요.

여기가 핵심인데, AI는 제일 점수 높은 걸 무조건 고르는 게 아니에요.
점수가 높으면 자주 뽑히고, 낮으면 가끔 뽑히는 식으로 골라요.
그러니까 같은 자리에서도 이번엔 "두는"이, 다음번엔 "유지하는"이 뽑힐 수 있어요.
단어 하나가 갈리면 그 뒤 문장이 통째로 다른 길로 가고요.
그래서 첫 단어 몇 개만 살짝 달라져도, "그대로 두라"가 "손보라"로 끝까지 뒤집힐 수 있는 거예요.

그 '얼마나 모험하냐'를 정하는 게 온도예요

그럼 점수 높은 걸 얼마나 고집스럽게 고를지, 아니면 가끔 낮은 것도 모험 삼아 골라볼지 — 이 정도를 정하는 손잡이가 있어요.
그걸 'temperature(온도)'라고 불러요.

저는 이걸 음식 간 보는 손맛에 빗대 생각하면 편하더라고요.
온도가 낮으면 늘 먹던 대로, 제일 무난한 선택만 해요.
똑같이 물으면 거의 똑같은 답이 나와요.
대신 좀 밋밋하고요.
온도가 높으면 "오늘은 이것도 한번 넣어볼까" 하면서 평소 안 쓰던 재료도 집어요.
답이 다채로워지는 대신, 같은 질문에 매번 다른 게 나와요.

솔직히 이 손맛 비유가 딱 맞진 않아요.
요리사는 일부러 모험을 하는데, AI는 그냥 점수대로 동전 던지는 거지 무슨 의도가 있어서 안 쓰던 걸 집는 게 아니거든요.
그래서 저는 마음속에선 그냥 주사위로 바꿔서 생각해요.
제가 같은 입력에 세 갈래 답을 받은 건, 그 주사위가 안 멈춰 있었기 때문이에요.
온도가 0이 아니면 매번 주사위를 한 번씩 굴리는 셈이라, 같은 질문이어도 답이 흔들려요.
버그가 아니라 원래 그렇게 동작하는 거였어요.

그래서 '같은 답이 다시 나올 때까지' 돌리는 건 검증이 아니에요

이걸 모를 때 제가 했던 짓이 좀 부끄러운데요.
마음에 들었던 첫 답, 그 "그대로 두라"를 다시 받아내려고 같은 걸 여섯 번 돌렸어요.
그중 처음 거랑 똑같이 나온 건 두 번, 반대쪽인 "손보라"가 세 번, 가운데서 조건을 붙인 답이 한 번이었습니다.
숫자로 적어놓고 나서야 멈췄어요.
제가 답을 구하는 게 아니라, 마음에 드는 답이 나올 때까지 주사위를 굴리고 있더라고요.
같은 면이 나올 때까지 던지는 거잖아요, 그건.

그게 주사위라는 걸 알고 나니까, 한 번 물어 받은 답을 그대로 믿는 게 좀 무서워졌어요.
그 답은 그 순간 주사위가 그렇게 나온 거지, AI가 "이게 정답"이라고 확신해서 준 건 아니거든요.
그렇다고 제가 매번 세 번씩 물어보고 산다는 건 아니에요.
솔직히 귀찮을 땐 그냥 첫 답 받고 넘어가요.
다만 그 설정값처럼 한번 잘못 두면 되돌리기 번거로운 자리에서만, 일부러 다시 물어보고 답이 갈리는지 봐요.
갈리면 거긴 제가 따져야 하는 자리구나, 정도로요.

아직 잘 모르겠는 건

근데 여기까지 풀어놓고도 안 풀리는 게 있어요.
온도를 0으로 딱 잠그면 AI가 매번 똑같은 답을 줄 텐데, 저는 그게 좋은 건 줄 알았거든요.
근데 똑같은 답이라고 맞는 답인 건 아니잖아요.
같은 주사위 면이 백 번 나와도 그 면이 정답인 건 아니니까.
그걸 머리로는 아는데, 막상 AI가 매번 같은 말을 하면 저는 또 그게 맞는 줄 알고 믿어버려요.
두 번 흔들렸을 때보다 백 번 안 흔들렸을 때 더 의심해야 하는 건데, 저는 자꾸 반대로 가요.

그 주사위를 어디다 둬야 맞는 건지도 아직 모르겠어요.
그냥 그날그날 감으로 둬요.
무슨 기준이 있어서가 아니라요.
그 설정값 건은요, 결국 첫 답대로 그대로 뒀어요.
근데 그게 첫 답이 옳아서였는지, 그냥 처음 들은 말이라 손에 익어서였는지는 — 노트에 두 답이 아직 나란히 적혀 있는데도, 저는 잘 모르겠어요.