LLM 응답이 들쭉날쭉할 때
같은 입력에 매번 다른 응답 — temperature 를 출력 슬롯마다 분리한 사연.
RSS 한국어 요약 봇이 같은 본문에 매번 살짝 다른 응답. temperature=0.7 의 결과.
temperature=0 으로 내리니 거의 같은 응답. 약간 단조. 0.2 가 우리 케이스 sweet spot.
구조화된 출력 (JSON, 키워드 리스트) 은 tool_use 로 강제. free-form 텍스트만 0.2.
다음에는 다르게 할 한 가지
LLM 출력 일관성은 출력 형식에 따라 temperature 분리. 한 모델 한 temperature 가 아니라 한 슬롯 한 temperature.
🛒 이 글과 어울리는 추천 상품
위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.