프롬프트 캐싱 — AI 에이전트 비용을 줄이는 구조 (2026)

AI 에이전트 비용을 이해하는 핵심은 같은 내용을 반복해서 다시 넣는다는 점이다. 에이전트는 한 번의 요청으로 끝나지 않고 여러 단계를 돌면서 그때마다 지금까지의 맥락을 다시 전달한다. 이 반복분을 줄이는 기술이 프롬프트 캐싱이고, 캐시 읽기 단가는 그래서 실사용 비용에서 비중이 크다. 이 글은 캐싱이 작동하는 원리와 비용 계산 방식, 확인할 항목을 정리한다.

AI 관련 종목의 최근 흐름은 Passive의 섹터 화면에서 함께 비교해 볼 수 있다.

에이전트 작업이 비싼 이유

일반적인 챗봇 사용은 질문 하나에 답 하나다. 에이전트는 다르다.

목표를 받으면 계획을 세우고, 도구를 호출하고, 결과를 확인하고, 다음 행동을 정한다. 이 과정이 열 번, 스무 번 반복된다. 문제는 매 단계마다 모델이 이전 맥락을 모두 다시 읽어야 한다는 점이다.

모델에는 기억이 없다. 이전 대화를 기억하는 것처럼 보이는 이유는 매번 전체 내용을 다시 입력하기 때문이다. 그래서 단계가 늘어날수록 입력 토큰이 누적된다.

시스템 지침, 참고 문서, 코드베이스처럼 매번 똑같이 들어가는 부분이 특히 부담이다. 내용이 바뀌지 않는데도 매 호출마다 같은 비용을 낸다.

프롬프트 캐싱이 하는 일

캐싱은 이 반복분을 저장해두고 재사용한다. 처음 한 번은 정상 요금으로 처리하되, 이후 같은 내용이 다시 들어오면 저장된 상태를 불러온다.

과금은 세 종류로 나뉜다.

구분	내용	단가
일반 입력	매번 새로 처리	기준 단가
캐시 쓰기	처음 저장할 때	기준보다 다소 높음
캐시 읽기	저장된 내용 재사용	기준보다 크게 낮음

캐시 읽기 단가가 내려가면 반복 호출이 많은 작업일수록 절감 폭이 커진다. 한 번 답하고 끝나는 작업은 캐시를 쓸 일이 거의 없지만, 같은 문서를 수십 번 참조하는 에이전트 작업에서는 전체 비용의 상당 부분이 여기서 나온다.

같은 인하가 일반 작업에서는 20%대, 에이전트 작업에서는 40%대 절감으로 나타나는 이유다.

비용을 줄이는 다른 방법들

캐싱 외에도 실사용 비용을 낮추는 방식이 몇 가지 있다.

• 모델 등급 분리: 어려운 판단은 큰 모델, 단순 분류는 작은 모델에 맡긴다.
• 배치 처리: 즉시 응답이 필요 없는 작업을 묶어 처리하면 할인 요금이 적용되는 경우가 있다.
• 출력 길이 제한: 출력 토큰이 입력보다 비싸므로, 답변 형식을 정해두면 비용이 줄어든다.
• 컨텍스트 정리: 필요 없는 이전 단계를 잘라내면 매 호출의 입력량이 줄어든다.

관련 기업의 분기 실적과 마진 변화는 Passive의 기업 실적 화면에서 확인할 수 있다.

단가 인하가 산업에 미치는 영향

토큰 단가 인하는 두 방향으로 작용한다.

모델 제공사 입장에서는 건당 매출이 줄어든다. 다만 가격이 내려가면 이전에는 비용이 맞지 않던 작업까지 들어오므로 사용량이 늘어난다. 단가 하락 속도와 사용량 증가 속도 중 어느 쪽이 빠른지가 매출을 정한다.

사용 기업 입장에서는 도입 문턱이 낮아진다. 특히 에이전트처럼 호출이 많은 방식은 비용 때문에 미뤄지는 경우가 많았는데, 이 부담이 줄면 실제 업무 적용이 늘어난다.

인프라 입장에서는 사용량 증가가 연산 수요로 이어진다. 다만 캐싱은 반복 연산을 줄이는 기술이므로, 같은 작업량에 필요한 연산은 오히려 감소한다. 전체 수요는 사용 확대 폭에 달려 있다.

정리

에이전트 작업은 매 단계마다 이전 맥락을 다시 입력하기 때문에 비용이 빠르게 누적된다. 프롬프트 캐싱은 반복되는 부분을 저장해두고 낮은 단가로 재사용하는 방식이다.

그래서 캐시 읽기 단가 인하는 챗봇형 사용보다 에이전트형 사용에서 절감 효과가 훨씬 크게 나타난다.

가격 인하 발표를 볼 때는 어떤 항목의 단가가 내려갔는지, 그리고 그 항목이 실제 사용 패턴에서 얼마나 비중을 차지하는지를 함께 보는 편이 낫다.

AI·반도체 종목의 실적과 뉴스를 한 화면에서 보려면 Passive를 참고할 수 있다.

이 글은 과금 구조를 정리한 것이며, 특정 종목의 매매를 권유하지 않는다.