17일 동안 죽어 있던 백업, 모니터는 끝까지 "건강함"이라고 했어요

저녁 9시쯤, 그냥 "백업 진짜 돌고 있나" 한 번 보려고 서버에 붙었어요.

복원 검증 드릴이 남기는 로그 폴더를 열려는데, 있어야 할 폴더가 통째로 없더라고요. 손끝이 좀 차가워졌어요. 이 글은 "초록불 모니터가 멀쩡하다고 알려주는데도 백업이 죽어 있을 수 있다"는, 제가 17일을 날리고 배운 이야기예요. 무엇을 봐야 안 속는지 한 줄로 가져가실 수 있게 적어둘게요.

상황은 이랬어요. 저희 쪽엔 백업이 두 층으로 깔려 있었어요. 오래된 매일 스케줄 DB 백업이 한 층, 그 위에 새로 올린 시점 복원용 백업 기계가 한 층. 둘 다 "검증 끝났다"고 도장 찍어둔 것들이었고요.

모니터도 5분마다 돌고 있었어요. 텔레그램으로 알림도 오게 해뒀고. 그 17일 동안, 정확히는 420시간 동안, 알림은 단 한 번도 안 울렸어요. 저는 그래서 당연히 잘 돌고 있는 줄 알았죠.

근데 그날 폴더가 없는 걸 보고, 하나씩 손으로 까보기 시작했어요.

새로 올린 백업 기계는 매번 즉사하고 있었어요. 스케줄이 깨우면 켜지자마자 죽고, 다음 스케줄에 또 켜졌다 죽고. 17일 내내 그 짓을 반복했는데, 모니터는 한 번도 "이상하다"고 안 했어요.

이유가 좀 어이없었어요. 모니터가 보던 건 "이 기능이 켜짐 설정인가" 하는 깃발 하나였거든요. 설정값은 켜짐이 맞으니까, 모니터 입장에선 영원히 건강함이었던 거예요. 정작 봤어야 할 건 "그래서 백업 파일이 지금 신선한가"였는데, 그걸 아무도 안 보고 있었어요.

쇼핑몰로 비유하면 이런 거예요. 자동이체 신청은 분명히 "신청 완료" 상태인데, 매달 돈은 한 푼도 안 빠져나가고 있는 거. 신청 화면만 보면 평생 "정상"이에요. 통장을 안 까보면 모르죠.

복원 드릴은 또 왜 통과했냐면, 걔는 "컬렉션이 하나라도 있나" 정도만 보던 시절이 있었어요. 장난감 수준, 소량 데이터로만 통과시켜본 거죠. 진짜 운영 데이터 11만 건을 끝까지 복원해서 한 글자도 안 틀리는지 맞춰본 적이 없었어요. 그러니 "통과"라는 글자는 사실 아무것도 보장 못 하고 있었던 거고요.

여기서 제가 제일 화가 났던 건, 검사 두 개가 다 초록이었다는 점이에요. 설정 깃발도 초록, 드릴도 초록. 둘 다 통과인데 결과물은 비어 있었어요.

그때 깨달은 게 있어요.

스케줄에 명령 한 줄 꽂아놓고 "이제 매일 돌겠지" 하고 믿어버린 게 화근이었어요. 한 번도 그 명령을 제 손으로 직접 돌려서, 끝까지 갔고 종료코드가 0인지 눈으로 확인을 안 했거든요. 켜지자마자 죽는 명령을, 스케줄에 꽂았다는 이유로 살아있다고 믿은 거예요.

(사실 이건 게으름이었어요. 핑계 대고 싶은데, 그날 밤엔 그냥 안 했어요.)

지금은 두 가지를 바꿨어요.

하나, 스케줄에 뭘 꽂기 전에 무조건 손으로 한 번 돌려요. 끝까지 가서 종료코드 0이 찍히는 걸 본 다음에야 스케줄을 믿어요. 안 그러면 스케줄은 "죽는 걸 꼬박꼬박 반복하는 기계"가 될 수 있으니까.

둘, 모니터한테 프로세스가 살아있냐고 안 물어봐요. 백업 파일이 지금 신선하냐고 물어요. 마지막 백업 조각이 몇 초 전 건지 숫자로 뽑아서, 정해둔 시간(저흰 600초로 잡았어요)을 넘으면 그제서야 알림이 울리게요. 지금은 "21초 전"처럼 진짜 신선도 숫자가 찍혀요.

복원 드릴도 운영 데이터 전체를 끝까지 복원해서, 원본이랑 한 글자도 안 틀리는지 맞추게 바꿨어요. 일부러 한 글자 틀어놓고 드릴이 그걸 빨갛게 잡는지까지 봤고요. 그게 안 되면 "통과"라는 글자를 믿을 이유가 없더라고요.

아직도 좀 무서운 건, 그 폴더가 왜 통째로 사라졌는지는 그날 한참 뒤에야 알았다는 거예요. 다른 자동화가 조용히 지우고 있었어요. 모니터가 그걸 못 봤다는 게 아니라, 애초에 아무도 그걸 보라고 시킨 적이 없었던 거죠.

그래서 요즘은 새 스케줄을 만들 때마다 메모에 한 줄을 박아둬요. "이거 손으로 돌려서 0 봤나? 결과물 신선도 보는 눈은 누가 가졌나?" 이 두 줄을 못 채우면, 그건 백업이 아니라 백업처럼 생긴 거예요.

다음에 또 새 백업을 깔면, 첫날 밤에 일부러 한 번 깨뜨려볼 생각이에요. 알림이 우는지부터 보고 싶어서요.