AI가 '환각'한다는 게 무슨 뜻일까 — 거짓말이랑은 좀 달라요

AI가 '환각'한다는 게 무슨 뜻일까 — 거짓말이랑은 좀 달라요

분석 기능 하나를 감사하다가 화면 한 줄에서 멈췄어요.
"이 사용자가 약했던 원인은 ○○이고, 이렇게 하면 좋아집니다." 진단이 딱 하나, 처방도 딱 하나.
헤지 한 톨 없이 단정으로 떠 있었어요.
그게 사람 검토 없이 사용자한테 바로 나가고 있었고요.

문제는 그 답이 나온 입력이었어요.
AI가 본 거라곤 결과 지표 몇 개가 다였거든요.
점수 하나, 카테고리 다섯 종.
그걸로 "왜 약했는가"를 답하라는 건, 사실 답이 입력 안에 없는 질문이에요.
같은 결과가 나올 수 있는 원인이 수십 개인데, 그중 어느 거였는지는 그 숫자 어디에도 안 적혀 있거든요.

답이 없는 칸인데, 빈칸으로 안 두더라고요

그래서 "모르겠습니다"가 나와야 정상인 자리였어요.
정보가 없으니까.
근데 AI는 그 칸을 비워두질 못하더라고요.
가장 그럴듯한 원인 하나를 골라서, 마치 데이터에서 읽어낸 것처럼 깔아놨어요.

같은 기능 안에 트랙이 두 개 돌고 있었던 게 더 묘했어요.
한쪽엔 "원인 단정 금지, 사람이 확인할 질문만 던져라"는 가드가 걸려 있었고, 다른 한쪽엔 그게 없어서 "원인+처방+로드맵"을 통째로 단언하고 있었어요.
같은 모델, 같은 데이터인데 한쪽은 "최근 연습량을 확인해 보세요"라고 묻고, 다른 한쪽은 "연습량 부족이 원인입니다"라고 못 박았습니다.
입력은 똑같이 점수 하나와 카테고리 다섯 종뿐이었는데요.
차이는 딱 하나, 빈칸을 비워둬도 된다고 허락받았느냐였어요.

이게 거짓말이랑 어디가 다르냐면요

처음엔 저도 "얘가 거짓말을 하네" 싶었어요.
근데 며칠 들여다보니까 그 단어가 좀 안 맞더라고요.

거짓말은 진실을 알면서 다른 말을 하는 거잖아요.
속이려는 의도가 있어야 거짓말이에요.
그런데 이 단정에는 그 의도가 없어요.
AI는 자기가 지금 진짜를 말하는지 지어내는지를 모른 채로 말해요.
환각(hallucination)이라고 부르는 게 이거예요 — 거짓을 말하는 게 아니라, 진짜인지 아닌지를 구분하는 장치 자체가 그 자리에 없는 거.

쉽게 말하면, AI는 매 순간 "여기 다음에 올 법한 말"을 잇는 식으로 굴러가요.
시험에서 모르는 문제에 빈칸 두기 싫어서 일단 제일 그럴듯한 답을 적는 거랑 비슷한데, 얘는 빈칸을 채운 티가 하나도 안 나게 적어요.
"원인은 ○○입니다"가 데이터에서 나온 문장인지, 그냥 그 자리에 어울리는 모양이라 나온 문장인지가 똑같이 매끄럽게 나와요.
그래서 읽는 사람은 둘을 구분할 수가 없어요.

매끄러운 단정이 제일 무서웠어요

제일 찜찜한 건 그 단정함이었어요.
"원인은 ○○입니다." 망설임 없이.
만약 제가 그 화면을 안 들여다봤으면, 사용자는 입력에 들어 있지도 않은 진단을 사실로 믿고 그대로 받아 갔을 거예요.
AI가 헷갈렸다는 신호가 화면 어디에도 없으니까요.

그래서 고친 방향이 코드가 아니라 일의 종류였어요.
"단일 원인 진단" 같은, 답이 입력에 없는 일은 아예 안 시키기로요.
대신 서술하거나, 질문을 던지거나, 후보를 여러 개 나열하는 일은 남겨뒀어요.
그건 데이터 안에 답이 있는 일이거든요.
가드 문구도 한 줄 박았어요 — "확신이 들면 그 확신 자체를 의심하라"고.

근데 솔직히 아직 안 한 게 있어요.
이 기능 말고 다른 데도 "AI한테 답을 시켰는데, 그 답이 입력 안에 있는지 안 따져본" 자리가 더 있을 텐데, 그건 아직 다 안 훑어봤어요.
어디서부터 답이 없는 칸인지를 매번 손으로 짚어야 하는데, 그게 생각보다 품이 들어서요.
매끄러운 한 줄을 볼 때마다, 이게 읽어낸 건지 지어낸 건지를 일일이 되물어야 하는 게 좀 피곤하긴 하더라고요.