Anthropic prompt caching 1년
도입 1년 후의 비용 / 안정성 패턴.
1년 운영.
- system prompt 캐시 hit 률: 평균 92%
- 월 비용: $14 → $5 (64% 절감)
- 캐시 무효화: 월 ~2회
함정 — system prompt 마지막에 timestamp 넣으면 캐시 매번 무효. 한 주 hit 0%.
다음에는 다르게 할 한 가지
prompt caching 사용 시 캐시 hit 률 모니터링 첫날부터. 청구서 나오기 전에 안다.
🛒 이 글과 어울리는 추천 상품
위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.