검증 시간은 왜 한 번도 안 줄었나

검증 시간은 왜 한 번도 안 줄었나

"98% 맞으면 그냥 넘어가도 되지 않나." 화면 앞에서 그 문장이 입 밖으로 나오려는 걸 붙잡았습니다.
새 쪽과 옛 쪽이 내놓는 결과를 한 줄씩 맞춰보던 중이었고, 일치율은 98%였습니다.
남은 2%는 고작 몇십 줄이었고, 갈린 칸도 대부분 비어 있음과 0의 차이처럼 보였습니다.
시계는 이미 늦은 시간을 가리키고 있었습니다.
모니터 불빛 말고는 방이 거의 다 어두웠고, 넘어가도 아무도 모를 것 같았습니다.

그날 저는 안 넘어갔습니다.
그리고 그 2%를 들여다본 게, 이 모든 게 시작된 지점이었던 것 같습니다.

작업을 끝냈는데, 일은 안 끝나 있었다

그 무렵 저는 한 가지를 착각하고 있었습니다.
데이터를 옮기는 코드를 짜고, 돌려보고, 결과가 나오면 그게 끝이라고요.
도구한테 시키면 작성은 정말 빨랐습니다.
한 시간 걸리던 걸 십 분에 받아오니까요.
받아온 코드를 처음 몇 번은 그대로 믿었습니다.
잘 돌아가는데 굳이 의심할 이유가 없어 보였으니까요.

근데 받아온 다음이 문제였습니다.
옛날 저장 방식에서 나오던 숫자와, 새 방식에서 나오는 숫자가 정말 똑같은지 — 그걸 한 항목씩 맞춰보는 시간은 줄지를 않았습니다.
오히려 코드가 빨리 쏟아질수록, 맞춰봐야 할 게 더 빨리 쌓였습니다.
회차별 누적 합산, 소수점 네 자리에서 갈리는 비율값, 빈 칸을 0으로 볼지 없음으로 볼지 — 옛 쪽이 대충 뭉개고 넘어가던 자리마다, 새 쪽은 칼같이 다른 값을 뱉어냈습니다.

한번은 다 맞은 줄 알고 닫으려다, 마지막 줄에서 한 칸이 비어 있는 걸 봤습니다.
옛 쪽은 그 칸을 0으로 채워 합계를 냈고, 새 쪽은 그 칸을 없음으로 두고 빼버렸더군요.
둘 다 틀린 건 아닌데, 둘이 같지가 않았습니다.
그래서 한번 시간을 따로 세봤습니다.
코드 짜는 시간 말고, 결과가 맞는지 맞춰보고, 어긋난 데를 파고, 다시 돌려보는 그 활동만요.

세보니 절반이었다

전체 일정의 35%에서 50%.
그게 맞춰보는 일에 들어가고 있었습니다.
여덟 달에서 열한 달짜리 작업이면, 그중 넉 달 어치가 통째로 검증이었습니다.

처음엔 이 숫자가 제 게으름의 증거인 줄 알았습니다.
일을 못해서 검증이 길어진 거라고요.
그래서 며칠은 일부러 맞춰보는 걸 대충 빨리 끝내봤습니다.
그랬더니 다음 날 어긋난 값이 두 배로 돌아왔습니다.
빨리 넘긴 만큼 뒤에서 다시 파야 했고, 총량은 그대로였습니다.
빠른 날도, 느린 날도, 검증 비중은 비슷하게 절반 언저리였습니다.

그제야 거꾸로 보였습니다.
도구가 코드를 아무리 빨리 찍어줘도, 줄어드는 건 작성 시간이지 맞춰보는 시간이 아니었던 겁니다.
작성이 십 분으로 줄어도 검증은 그대로 한 시간이면, 전체에서 검증이 차지하는 비율은 오히려 커집니다.
빨라질수록 검증이 일의 더 큰 부분이 되는 구조였습니다.

검증은 작업 끝에 붙는 안전망이 아니라, 통과해야 지나갈 수 있는 게이트였습니다.
게이트를 안 통과한 작업은 그냥 안 끝난 작업이었고요.
그래서 문서에 한 줄 박아뒀습니다.
"98% 매치니까 넘어가자" — 이걸 명시적으로 금지한다고요.
부분 통과는 통과가 아니다.
"거의 다 됐다"는 말이 입에서 나오려고 하면, 그게 바로 멈춰야 할 신호다.

그런데 맞춰볼 정답이 틀려 있었다

규칙을 박아두고 나니 마음이 좀 편해졌습니다.
검증에 절반을 쓰는 게 비효율이 아니라 원래 들어가야 할 예산이라는 걸 인정하니까, 죄책감 없이 그 시간을 떼어둘 수 있었습니다.

근데 진짜 헷갈리는 건 그 다음에 왔습니다.
옛 쪽과 새 쪽을 1대1로 맞추는 게 목표였는데, 어떤 항목은 맞춰보다가 옛 쪽 숫자 자체가 틀렸다는 걸 알게 된 겁니다.
처음엔 새 쪽을 의심했습니다.
새로 짠 코드가 틀렸겠거니 하고 새 쪽만 며칠을 들여다봤는데, 손으로 직접 다시 계산해보니 틀린 건 옛 쪽이었습니다.
옛 코드가 몇 년째 조용히 잘못 계산하고 있던 값이었습니다.
그걸 새 쪽에서 1대1로 똑같이 재현하면, 통과는 통과인데 버그를 그대로 베껴 넣는 꼴이었습니다.

그래서 "동일"의 정의를 다시 적어야 했습니다.
옛 결과는 자동으로 정답이 아니다 — 그냥 회귀를 잡기 위한 기준선일 뿐이고, 명세나 독립 재계산이 옛 쪽이 틀렸다고 말하면 의도된 차이로 기록한다.
게이트를 통과시키는 일과, 진짜로 맞는 값인지 보는 일은 다른 층이었습니다.
둘을 같은 거라고 믿었던 게 제 가장 큰 착각이었습니다.

아직 안 끝났습니다

처음엔 도메인 열다섯 개를 한꺼번에 병렬로 돌리겠다고 계획을 짰습니다.
몇 주 지나서 그 계획을 스스로 접었습니다.
하나부터 제대로 통과시키고 그 다음으로 넘어가기로요.
검증 체크포인트만 스무 개 넘게 남아 있고, 그 방법론 문서는 아직 초안 딱지를 못 뗐습니다.

오늘도 일치율 99%짜리 결과를 받아두고, 남은 1%를 들여다보러 들어갑니다.
어제는 이 1%가 금방 끝날 줄 알았는데, 아직 화면을 안 닫았습니다.
이번 1%는 코드가 틀린 건지, 아니면 또 옛날 정답이 틀려 있던 건지, 들어가 보기 전엔 모르겠습니다.