DataCook DataCook

AI가 "완료했습니다" 한 줄로 답할 때, 저는 더 이상 그 말을 안 믿습니다.습관처럼 diff부터 엽니다.그래서 들킨 적도 많고요.처음부터 그랬던 건 아닙니다.멀쩡한 보고 뒤에서 엉뚱한 파일이 고쳐져 있던 날, 저는 한 번 그냥 넘길 뻔했어요.제목도 맞고 말투도 자신 있어서요.그런데 diff를 열어보니 고쳐야 할 화면 파일은 그대로였고, 옆 파일만 얌전히 바뀌어 있었습니다.그때부터 "완료"라는 단어가 좀 다르게 들렸습니다.검증이 전부 초록인데 화면 글자가 안 보이던 날까지 겹치고 나니, 생각이 하나로 정리됐습니다.AI에게 일은 넘기되, 믿음은 증거로만 준다.여기서 네 가지가 따라 나옵니다.무엇을 넘길지는 가역성으로 정하고, 넘긴 결과는 말이 아니라 증거로 믿습니다.그 증거를 사람의 선의가 아니라 강제로..

출처 없이 숫자만 큰 글을 보면 그냥 못 넘어가요.며칠 전에도 'HBM5 슈퍼사이클'이라는 글에서 점유율 70%, 2028년 500억 달러 같은 숫자가 술술 나오길래, 표준 만드는 문서를 직접 눌러봤어요.'HBM5'?거기엔 0번 나오더라고요.근데 어느 순간 이게 블로그만이 아니었어요.저는 하루 종일 이러고 살더라고요.어쩌다 이렇게 됐나제 하루는 "오늘 닫을 것들" 목록을 여는 걸로 시작해요.AI(랑 제가 만든 도구들)가 밤새 해놓은 걸 하나씩 여는 건데, 저는 그걸 그대로 안 믿어요.증거가 붙어야 "닫힘"으로 넘겨요.어제 아침만 해도 36개에서 시작해서, 하나씩 캡처를 붙여 39개를 다 닫았어요.왜 이렇게까지 하냐면, 안 그러면 꼭 당하거든요.한번은 제 블로그에 글을 자동으로 올려주는 도구를 만들었는데,..

"완료했습니다.화면 버그 고쳤고 테스트도 통과했습니다."답이 너무 깔끔해서, 그 말을 믿고 그냥 넘어갈 뻔했습니다.그런데 습관처럼 diff를 열었어요.정작 그 화면 파일은 그대로였습니다.엉뚱한 코드를 고쳐놓고 완료라고 한 거였죠.한두 번이 아니었어요.화면을 맡기면 특히 그랬습니다.그날 이후로 완료 보고를 받으면 말투를 안 봅니다.증거를 봐요.보는 순서가 있는데, 다섯이긴 해도 무게가 다 달라요.제일 먼저, 말보다 diff"수정했습니다"는 아직 빈말이에요.어떤 파일이 바뀌었는지부터 봐야 진짜죠.고쳐야 할 화면의 위젯 파일이 바뀌었나.엉뚱한 파일만 바뀌어 있으면, 설명이 아무리 매끄러워도 그 순간 보고는 무효입니다.오히려 설명을 잘할수록 이 단계가 더 중요해요.그 말이 맞는지는 결국 diff를 봐야 아니까요..

같은 "점수" 하나가 세 군데에 다른 이름으로 흩어져 있었습니다.서버 응답엔 snake_case 키로, 앱 안엔 camelCase로, 거기다 예전에 쓰던 옛날 키까지.그러니 한 곳을 고치면 다른 화면이 아직 옛 키를 보고 있었어요.처음엔 모델을 의심했습니다.이 모델이 코드를 잘 고치나, 저 모델이 긴 파일을 잘 읽나.결과가 흔들릴 때마다 이름을 갈아 끼웠어요.그런데 어떤 모델을 써도 이 자리에서만은 똑같이 틀렸습니다.그제야 알았어요.모델이 아니라, 데이터가 드나드는 자리가 하나로 안 정해진 게 문제였던 거죠.키를 하나로 못박고 — 한 의미엔 한 필드, 옛 키 동시 발행 금지 — 그러고 나서야 그 자리가 잠잠해졌습니다.그때부터 결과가 흔들리면 모델보다 하네스를 먼저 봐요.모델 주변의 작업대 말이에요.일이 ..

타입 오류 좀 없애 달라고 했더니, 진짜로 any가 박혀서 돌아왔습니다.통과는 했죠.빨간 줄이 싹 사라졌으니까요.근데 그건 문제를 푼 게 아니라, 문제를 덮은 거였어요.그 diff를 열었을 때 제일 먼저 보인 줄이 payload: any였습니다.바로 위에는 제가 고쳐달라고 한 타입 이름이 그대로 남아 있었고, 에러만 안 보이게 천으로 덮은 것처럼 보였습니다.그때 깨달았습니다.AI 에이전트는 일을 "해결"하려고 해요.그래서 가끔 문제를 푸는 대신, 계약을 슬쩍 바꿔버립니다.그날 이후로 저는 요청을 던지기 전에 완료 기준과 금지 조건을 먼저 씁니다.결과물이 늘면, 리뷰할 표면도 늘어요AI를 쓰면 결과물이 빨리 늘어납니다.diff, 테스트, README, 마이그레이션 초안, PR 설명까지 한 번에 나오죠.처음..

수천 개의 테스트가 전부 초록색이었습니다.빨간 줄 하나 없이 깔끔하게 통과.그래서 앱을 켰는데, 화면을 보는 순간 뭔가 이상했어요.다크모드였는데 글자가 잘 안 보였습니다.정확히는, 배경색에 글자가 거의 묻혀 있었어요.divider도, 아이콘도, 테마 색도 다 제대로 바뀌었는데 — 텍스트 색상만 테마를 안 따라갔어요.그리고 테스트는, 이걸 하나도 안 잡아 줬습니다.처음엔 제 눈이 피곤한 줄 알았습니다.밝은 방에서 화면을 봐서 그런가 싶어 노트북 밝기를 올리고, 다시 다크모드로 돌리고, 같은 화면을 캡처해서 확대해봤어요.확대해도 글자와 배경이 거의 같은 회색이었습니다.그제야 "테스트 통과"와 "사용자가 읽을 수 있음"이 완전히 다른 조건이라는 걸 인정했습니다.명령은 성공했다는데 정작 원한 효과는 안 일어난 ..

처음엔 AI한테 매 단계 확인을 받게 했어요."이렇게 할까요?", "이거 합쳐도 될까요?"그게 미칠 노릇이었습니다.되돌릴 수 있는 사소한 것까지 다 물어보니까, 차라리 내가 직접 하는 게 빠를 지경이었어요.확인 한 번 해주는 사이에 흐름이 끊기고요.결국 못 참고 기준을 통째로 뒤집었습니다."AI가 잘할 수 있나"를 먼저 묻지 않기로 했어요.대신 이걸 봅니다.망치면 되돌릴 수 있나.되돌릴 수 있으면, 묻지 말고 맡깁니다명세 쓰고, 코드 고치고, 테스트 돌리고, 브랜치 따서 작업하고, 로컬에서 합치는 것까지.마음에 안 들면 브랜치째 버리면 그만이에요.대신 조건이 하나 붙어요.되돌릴 수 있는 형태로 남길 것. 뭘 바꿨고 왜 바꿨는지가 눈에 보이면, 나중에 제가 한 번에 되돌리거나 방향을 틀 수 있으니까요.그래..

새벽이었습니다.ccusage 화면 한 줄에 4만 8천 달러가 찍혀 있었어요.6월 6일, 단 하루치였습니다.손이 멈췄습니다.숫자를 잘못 봤나 싶어서 두 번 확인했어요.그 한 줄이 사실이라면, 제가 4개월 동안 태운 AI는 대체 얼마라는 걸까요.돌려봤습니다.ccusage랑 ccusage-codex로 2월 13일부터 그날까지, 전부.(기준: 2026-06-16, ccusage 20.0.14, API 정가 환산)합계가 찍혔습니다 — 13만 2천 달러어치, 토큰 2,025억 개.Claude Code가 $14,478, Codex가 $116,191, 따로 백업돼 있던 아카이브가 $2,028.Codex 한 도구가 전체의 89%였어요.저는 Claude를 더 자주 쓴다고 생각했는데, 막상 세보니 Codex 쪽에서 훨씬 무..