LLM 운영, 어디까지 믿고 맡길 수 있나

일단 맡겨보고 나서 알게 된 것

작년 초 우리 팀은 슬랙 알림 분류를 LLM에 넘겼다. 하루 평균 300~400건, 사람이 훑으면 20분짜리 작업이었다. 결과는 솔직히 기대 이상이었다. 단순 분류 정확도가 91%였고, 나머지 9%는 애매한 케이스였지 LLM 오류라기보다 원래 사람도 헷갈리는 것들이었다.

근데 거기서 멈췄어야 했다. 분류 다음 단계인 “자동 티켓 생성”까지 붙였다가 엉뚱한 우선순위로 P1 티켓이 스무 개 쌓인 날이 있었다. 그 날 온콜이 나였다.

잘 되는 영역: 반복·분류·초안

패턴이 정해진 일에 LLM은 꽤 쓸만하다. 직접 운영에 붙여서 효과를 본 것들을 추리면 이렇다.

로그 요약: 에러 로그 500줄을 15줄 요약으로 만드는 용도. 처음엔 할루시네이션이 걱정됐는데, 요약만 시키고 판단은 사람이 하는 구조로 가니 실제 오탐은 월 2건 이하였다. 요약이 틀려도 원본이 남아 있으니 손해가 제한된다는 게 핵심이다.
슬랙 분류: 앞서 말한 케이스. 분류 결과를 사람이 확인한 다음 티켓이 올라가는 구조를 유지했을 때는 잘 돌아갔다. 중간 확인 단계를 제거하자마자 문제가 터졌다.
코드 리뷰 초안: PR에 LLM이 먼저 코멘트를 달고, 리뷰어가 가져다 쓰거나 버리는 방식. 체감상 리뷰 시간이 30% 정도 줄었다. 단, 보안 관련 코멘트는 LLM이 한 번도 제대로 잡은 적이 없다는 것도 같이 확인했다.

안 되는 영역: 판단·책임·컨텍스트가 긴 것

이걸 놓쳤다가 몇 번 데었다. 크게 세 가지.

인시던트 원인 분석을 LLM 단독으로 맡기는 것: 한번은 DB 커넥션 풀 고갈이 원인이었는데 LLM이 “배포 직후 발생한 것으로 보아 신규 코드 버그로 추정된다”는 보고서를 냈다. 로그 패턴이 배포 직후와 비슷하게 생겨서 그랬다. 사람이 보면 타임스탬프 30분 차이를 금방 알아채는데 LLM은 못 잡았다.
컨텍스트가 세션을 넘어가는 의사결정: 6주짜리 마이그레이션 계획을 LLM과 같이 짰는데, 주차별로 대화를 새로 시작하다 보니 3주차에 LLM이 이전 제약조건을 까먹고 완전히 다른 방향을 제안했다. 맥락을 사람이 매번 주입해줘야 한다는 걸 그때 제대로 느꼈다.
온콜 에스컬레이션 판단: “이걸 지금 깨워야 하나”는 아직 사람만 할 수 있다. 팀 상황, 그 사람이 전날 뭘 했는지, 이 서비스가 실제로 얼마나 치명적인지 — 이런 게 다 들어가는 판단이다. LLM에 넣어봤더니 매번 “에스컬레이션을 권장합니다”였다. 안전하게 가려는 건데, 그러면 온콜이 매일 새벽 세 시에 불필요하게 깨어난다.

구조 문제: 사람이 중간에 있어야 한다

막상 쓰다 보면 LLM을 어디에 넣느냐보다 파이프라인 어느 위치에 넣느냐가 더 중요하다는 걸 알게 된다.

끝에 넣으면 결과 검증이 안 된다. 앞에만 넣으면 좋은 초안 도구에서 안 넘어간다. 가장 잘 됐던 구조는 “LLM 처리 → 사람 확인 → 액션” 이었다. 확인 단계를 슬랙 버튼 한 번으로 만들었더니 실제로 건너뛰지 않고 다들 눌렀다. UX가 허들을 낮춰야 사람이 중간에 남는다.

반대로 확인 단계를 이메일 보고서로 뺐을 때는 아무도 안 읽었다. 이틀 만에 사실상 풀 자동화가 되어버렸고, 그게 문제였다. 도구보다 인터페이스가 운명을 결정한다는 걸 그때 배웠다.

LLM 첫날부터 챙겨야 했던 것

프로덕션에 붙인 날부터 했어야 했는데 나중에 한 것들이 있다.

cache_control 설정: 같은 시스템 프롬프트를 반복 호출하는 파이프라인에서 토큰 비용이 월 단위로 꽤 차이 난다. 우리는 붙이고 나서 다음 달 청구서를 보고 그제야 설정했다. 전달 대비 API 비용이 22% 줄었다.
max_retries + 지수 백오프: rate limit 에러를 처음엔 그냥 예외로 터뜨렸다. 운영 환경에서 파이프라인이 새벽에 조용히 죽어 있는 걸 아침에 출근해서 발견했다. 그 다음 날 바로 붙였다.
호출 실패 알림을 별도 채널로: LLM 관련 에러를 일반 에러 채널에 섞어두면 노이즈에 묻힌다. 따로 빼두는 것만으로 반응 속도가 달라진다.

다음 한 가지

인시던트 원인 분석 단계에 LLM을 넣되, 결론 문장 앞에 반드시 “이 분석은 검토가 필요합니다” 경고 블록을 강제 출력하는 프롬프트 가드를 이번 분기 안에 붙인다 — 사람이 결론을 그냥 복붙하는 걸 구조로 막는 게 목표다.

🛒 이 글과 어울리는 추천 상품

위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.