데이터에 없는 원인을, AI는 누가 막아둔 칸까지 넘어서 지어냈어요

데이터에 없는 원인을, AI는 누가 막아둔 칸까지 넘어서 지어냈어요

화면에 결과 숫자 하나가 떠 있었어요.
그 옆엔 "왜 이런 결과가 나왔는가"를 채우는 칸이 있었고, 거기 AI가 박아 넣은 한 줄이 아주 깔끔했어요.
원인이 딱 하나로요.
헤지도 없고, "아마도"도 없고.
그냥 읽으면 믿게 되는 단정이었어요.
그 밑엔 친절하게 연습법까지 붙어 있었고, 몇 주에 걸쳐 뭘 어떻게 하라는 계획표도 한 장 깔려 있었어요.
다 매끄러웠어요.

저는 그 칸을 잠깐 들여다봤어요.
숫자 하나로 원인을 짚어낸다는 게, 가만 보면 좀 이상하잖아요.
같은 숫자에 도착하는 길은 한 갈래가 아니니까요.

숫자 하나로 거꾸로 거슬러 올라가는 일

연필을 들고 종이에 끄적여 봤어요.
이 결과로 끝나는 원인이 몇 개나 될까.
손 가는 대로 적었는데 금방 열 개가 넘더라고요.
입력이 이래서일 수도, 중간 어디서 어긋났을 수도, 그냥 그날 조건이 달랐을 수도 있고요.
그중 진짜로 어느 거였는지는 그 숫자 하나만 봐선 알 길이 없었어요.
가를 단서가 거기 없으니까요.

이게 뒤에서 앞을 맞히는 문제더라고요.
도착한 결과만 보고 출발점을 짚는 거.
출발점 후보가 수십 갠데 그걸 가를 정보가 손에 없으면, 정답은 원래 "이것만으론 못 짚어요"가 맞아요.
사람이 그 자리에 앉아도 똑같이 못 짚어요.
숫자가 모자란 거지 머리가 모자란 게 아니거든요.

근데 AI는 그 칸을 비워두질 못해요.
"못 짚어요"가 정답인 자리에, 가장 그럴듯한 후보 하나를 골라서, 데이터에서 읽어낸 양 깔아놨어요.
그것도 제일 안 망설이는 말투로, 연습법과 몇 주짜리 계획까지 얹어서요.
없는 정보를 출력하라고 시키면, 시킨 그대로 지어내는 거였어요.

한 번 더 물어보니 답이 바뀌었어요

그래서 그것만 다시 눌렀어요.
그 원인이라고 짚은 거, 어느 부분을 보고 그렇게 판단했냐고.

이번 답은 톤이 한 칸 내려가 있었어요.
첫 답은 "최근 연습량 부족이 원인입니다"였고, 두 번째 답은 "정확히는 이 숫자만으로 단정하기 어렵습니다.
일반적으로 이런 결과에서 자주 거론되는 원인이라 제시했습니다"였습니다.
30초 전엔 원인이라고 못 박고 연습 계획까지 붙였던 걸, 다시 누르니까 "자주 거론되는 거"로 슬그머니 바꿔 놓은 거예요.

두 답을 나란히 놓고 보는데 등이 좀 서늘했어요.
처음의 단정은 데이터에서 나온 게 아니었어요.
제가 "왜?"라고 누른 그 순간, 빈칸에 들어갈 법한 모양으로 채워진 거였어요.
채운 자국 하나 없이 매끄럽게요.
무서운 건 틀린 답이 나온 게 아니라, 틀린 답이 맞는 답이랑 똑같은 얼굴로 나왔다는 거였어요.

코드를 들여다보니 두 갈래가 다 살아 있었어요

찜찜해서 안쪽을 뒤졌어요.
그랬더니 비슷한 보조 기능이 두 갈래로 깔려 있더라고요.

한쪽은 가드가 단단했어요.
그 파일엔 아예 guarded_reason_candidates라는 라벨이 붙어 있었고, 적힌 규칙도 대놓고 "원인 단정·처방 금지"였어요.
AI가 내놓는 건 전부 "이건 사람이 확인할 후보로 남깁니다" 모양으로 끝나게 묶여 있었어요.
누가 작정하고 막아둔 자리였어요.

다른 쪽은 그 가드가 없었어요.
그쪽은 원인을 하나로 짚고, 연습법을 이름까지 붙여 처방하고, 몇 주짜리 계획표를 뽑았어요.
그리고 어떤 일이 끝나면 사람 손 안 거치고 자동으로 돌아서, 그 결과가 사람한테 곧장 닿을 수 있었어요.
한쪽이 막으려고 그렇게 공들인 그 선을, 다른 한쪽이 가드 없이 넘고 있던 거예요.
같은 제품 안에서요.
게다가 바깥에 자랑으로 내건 대표 기능이 하필 그 가드 없는 쪽이었어요.
안에선 하지 말라고 적어놓고, 밖에선 그걸 간판으로 걸어둔 셈이었죠.

그래서 일을 둘로 갈라보려 했어요

고칠 건 코드가 아니라 시키는 일의 종류였어요.

서술하기, 후보를 여러 개 늘어놓기, 사람이 확인할 질문 던지기.
이건 맡겨도 안전하더라고요.
데이터 안에 답이 있는 일이니까요.
반면에 원인 하나로 단정하기, 처방 내리기.
이건 답이 입력에 없는 일이라, 시키는 순간 빈칸을 메우기 시작해요.
그래서 그쪽은 아예 안 시키는 걸로 가닥을 잡았어요.
정 원인 칸을 둘 거면, 후보를 최소 둘 이상 넣게 강제하기로 했고요.
하나면 단정이지만, 둘이면 그냥 가설 묶음이니까요.

진단은 사람이 쥐는 게 맞았어요.
AI한테 후보를 잔뜩 받고, 그중 어느 거냐를 정하는 자리엔 사람이 앉는 거예요.
AI가 못 해서가 아니라, 그건 데이터가 아니라 누가 책임지느냐의 문제라서요.
빈칸을 비워둘 줄 아는 쪽이 그 칸을 가져야 맞잖아요.

근데 여기까지가 다였어요.
저건 제가 내린 결론이 아니라 적어둔 권고였어요.
둘 중 어느 갈래로 갈지, 가드 없는 쪽을 막을지 말지는 제 손 밖이었고, 결정해야 할 사람 칸에 이름만 적힌 채 비어 있었어요.
그래서 글을 닫는 지금도 두 갈래는 그대로 다 돌아가고 있어요.
막으려던 선을 한쪽은 여전히 가드 없이 넘는 채로요.
칸 하나 옮기는 데는 오래 안 걸릴 텐데, 그 칸이 누구 자리인지부터가 아직 안 정해졌어요.