verification-habit
-
줄 번호 대보라니까, 스무 개 중에 한 개도 못 대더라고요AI Agent 2026. 6. 25. 21:00
밤 11시쯤이었어요.AI가 화면 하나 고치는 코드를 다섯 묶음 써놨고, 저는 그걸 바로 안 넘기고 다른 검토자한테 딱 한 가지만 시켰어요."이 코드가 가져다 쓰는 칸 이름들, 실제 정의를 어디 몇 번째 줄에서 읽었는지 줄 번호로 대라."답이 안 나왔어요.한 개도요.후보로 올라온 이름이 스무 개 가까이 됐는데, 그중에 정의가 어디 있는지 짝지을 수 있는 게 0개였어요.손이 좀 서늘해지더라고요.게으른 게 아니라, 댈 게 없는 거였어요처음엔 검토자가 일을 대충 한 줄 알았어요.다시 시켰어요.천천히, 한 줄씩, 이름마다 정의 위치를 짝지어 오라고요.그래도 똑같았어요.스무 개 중에 0개.그제야 검토자가 게으른 게 아니라, 애초에 댈 게 없는 거라는 걸 알았어요.그 이름들이 실제로 어디에도 없었으니까요.상황은 이랬..
-
'다 됐어요'를 안 믿기로 했어요 — 일에 계약서를 붙였더니 AI가 정직하게 실패하기 시작했어요AI Agent 2026. 6. 21. 10:13
화면엔 초록불 두 개가 떠 있었어요.분석기 통과, '안 쓰는 코드 없음' 통과.그냥 넘어가려다가, 왠지 정의부를 한 줄씩 눈으로 내려읽었어요.그러다 손이 멈췄어요.간격 값이 틀려 있더라고요.그것도 하나가 아니라 둘.3이어야 할 게 2로, 2여야 할 게 4로 살아 있었어요.대량으로 이름을 바꾼 파일을 다른 갈래랑 합치는 과정에서, 예전에 지워둔 옛 이름들이 슬그머니 별칭으로 되살아난 거였어요.그것도 값까지 틀린 채로요.근데 자동 검사 둘은 둘 다 행복하게 통과했어요.별칭은 문법상 멀쩡한 필드라 분석기가 안 걸렸고, 아무도 안 쓰는 죽은 코드라 '안 쓰는 거 없음' 검사도 통과했거든요.둘 다 못 잡았어요.잡은 건 결국 제 눈이었고요.(그날 제 지시는 한 줄이었어요."별칭 싹 다 지워.")그날 깨달은 게 있어..
-
AI랑 일하다 생긴 검증 습관, 증거 없으면 안 닫아요AI Agent 2026. 6. 20. 22:47
출처 없이 숫자만 큰 글을 보면 그냥 못 넘어가요.며칠 전에도 'HBM5 슈퍼사이클'이라는 글에서 점유율 70%, 2028년 500억 달러 같은 숫자가 술술 나오길래, 표준 만드는 문서를 직접 눌러봤어요.'HBM5'?거기엔 0번 나오더라고요.근데 어느 순간 이게 블로그만이 아니었어요.저는 하루 종일 이러고 살더라고요.어쩌다 이렇게 됐나제 하루는 "오늘 닫을 것들" 목록을 여는 걸로 시작해요.AI(랑 제가 만든 도구들)가 밤새 해놓은 걸 하나씩 여는 건데, 저는 그걸 그대로 안 믿어요.증거가 붙어야 "닫힘"으로 넘겨요.어제 아침만 해도 36개에서 시작해서, 하나씩 캡처를 붙여 39개를 다 닫았어요.왜 이렇게까지 하냐면, 안 그러면 꼭 당하거든요.한번은 제 블로그에 글을 자동으로 올려주는 도구를 만들었는데,..