자동화가 오히려 느렸던 세 번의 경험

자동화를 짜는 데 이틀 걸렸다. 그 작업을 사람이 손으로 하면 30분이었다.

그 30분짜리 작업이 분기에 한 번 들어온다는 사실을 나중에 알았다. 스크립트는 git에 잠들었고, 6개월 뒤 Python 버전이 바뀌면서 조용히 깨졌다. 발견한 건 다음 분기 작업일이었다.

자동화 비용을 계산 안 했다

막상 해보면 자동화 자체가 공짜가 아니다. 작성 시간, 테스트, 유지보수, 그리고 “언젠간 쓰겠지”라는 착각에 드는 인지 비용까지.

CSV 리포트 합산 스크립트를 올해 초에 만들었다. 파일 컬럼 구조가 매번 조금씩 달라서 예외 처리만 열두 가지였다. 처음엔 1시간 작업이라고 봤는데 실제론 하루 반이 들었고, 이후에도 새 예외가 생길 때마다 30분씩 빠져나갔다. 그냥 엑셀로 하던 팀원이 훨씬 빨리 끝냈다.
자동화가 빠른 조건은 하나다. 입력 형식이 완전히 고정되어 있고, 반복 횟수가 충분히 많을 때. 둘 중 하나라도 흔들리면 셈이 달라진다.
내가 짠 스크립트가 맞는지 검증하는 데 또 시간이 든다. 사람이 직접 하면 눈으로 확인하면서 진행하지만, 자동화는 “왜 결과가 이상하지”를 역추적하는 시간이 별도로 붙는다.

슬랙 알림을 자동화하면 팀이 빠르게 대응할 거라고 믿었다. 2026년 기준으로도 이 오해를 하는 팀이 많다.

서버 CPU가 70% 넘으면 알림을 보내도록 설정했다. 기준이 너무 낮았고, 배포 시간대마다 채널이 울렸다. 3주가 지나자 팀 전체가 그 채널을 무음으로 돌렸다. 진짜 장애 알림이 왔을 때 아무도 못 봤다.
결국 그날 장애는 고객 문의로 먼저 알았다. 자동화가 있었는데 사람 손으로 모니터링 대시보드를 열어보는 것보다 늦게 파악한 셈이다. 알림의 신뢰도는 낮으면 0에 수렴한다.
이후에 기준을 95%로 올리고 5분 지속 조건을 붙였더니 알림이 월 2~3건으로 줄었다. 팀이 다시 채널을 켰다. 자동화 설계보다 임계값 설계에 시간을 더 써야 했다.

파이프라인을 완전 자동화하면 휴먼 에러가 없어진다. 맞는 말이다. 단, 파이프라인 자체에 버그가 없을 때 한정이다.

CI/CD를 정비하면서 스테이징 확인 단계를 “시간 낭비”라고 판단해 건너뛰게 만들었다. 두 달 뒤 프로덕션에 잘못된 환경 변수가 들어갔다. 파이프라인은 성공으로 끝났고, 애플리케이션 로그엔 에러가 없었다. 조용히 잘못된 상태로 6시간 운영됐다.
발견한 건 외부 파트너사 담당자가 “API 응답 값이 이상하다”고 메일을 보낸 덕분이었다. 자동화된 모니터링이 감지하지 못한 걸 사람이 먼저 잡았다.
롤백도 자동화에 묶여 있어서 수동으로 하려면 파이프라인 변수를 뜯어야 했다. 그냥 이전 이미지를 직접 배포했다면 5분이면 끝날 일이었는데, 자동화된 절차를 역행하는 데 20분이 걸렸다.

팀에서 가장 많이 간과하는 부분이다. 자동화가 잘 돌아가는 동안, 그 안에 있는 비즈니스 로직을 아는 사람이 사라진다.

정산 계산 로직을 스크립트로 옮긴 뒤 2년이 지나자 아무도 그 로직이 왜 그렇게 짜였는지 설명하지 못했다. 코드가 있으니까 “그냥 돌아가는 거 아닌가요”라는 말이 나왔다. 그러다 수수료 정책이 바뀌었고, 스크립트를 수정해야 했다.
처음엔 하루면 될 줄 알았는데 로직 역추적에 3일이 걸렸다. 담당자가 퇴사한 상태였고 주석은 없었다. 그 3일은 자동화가 없었다면 그냥 담당자에게 물어보면 됐을 시간이었다.
자동화 결과물이 블랙박스가 되는 순간, 유지보수 비용이 원래 손 작업 비용을 훌쩍 뛰어넘는다. 코드는 남았지만 이해는 사라졌다.

오해하면 곤란하다. 나도 자동화를 계속 한다. 다만 기준이 생겼다.

“이 작업이 월 몇 번 들어오나”를 먼저 세어본다. 최근에 정한 내 기준은 월 8회 미만이면 자동화 ROI를 의심하고, 입력 형식이 불안정하면 무조건 보류한다.
자동화 전에 한 번은 손으로 직접 해본다. 직접 해보니 예외 케이스가 보이고, 그게 스크립트 설계를 바꾼다. 설계를 먼저 짜고 손 작업은 건너뛰면 나중에 예외 처리로 두 배 돌아오더라.
알림과 파이프라인에는 반드시 사람이 개입하는 단계를 하나 남긴다. 완전 자동화가 목표가 아니라, 사람이 판단할 수 있는 구조를 유지하는 게 목표다.

다음 자동화 PR을 올리기 전에 “손으로 하면 얼마나 걸리나”를 README에 한 줄 적기로 한다.

🛒 이 글과 어울리는 추천 상품

위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.