훈련에서 추론으로 — 수요가 옮겨가면 필요한 하드웨어도 바뀐다 (2026)
인공지능 투자를 볼 때 자주 놓치는 구분이 있다.
모델을 만드는 연산과 모델을 쓰는 연산이다.
둘은 필요한 장비도, 위치도, 비용 구조도 다르다.
2026년의 변화는 무게중심이 뒤쪽으로 넘어갔다는 점이다.
AI 관련 업종의 흐름은 Passive 에서 확인할 수 있다. https://dinsightlab.com
비중이 뒤집혔다
한 리서치 기관 집계에서 추론은 2023년 전체 AI 연산의 3분의 1, 2025년 절반, 2026년에는 약 3분의 2를 차지하는 것으로 나타났다.
다른 조사기관은 2026년 AI 특화 인프라 지출의 55%가 추론에 쓰이고, 2029년에는 65%를 넘을 것으로 봤다.
모델의 전체 수명주기로 보면 연산 비용의 80~90%가 추론에서 발생한다는 분석도 있다.
한 애널리스트는 이 변화를 두고 “추론 워크로드가 2026년 훈련 매출을 넘어설 것”이라고 정리했다.
무엇이 달라지나
훈련은 소수의 초대형 클러스터에서, 긴 시간 동안, 최고 성능 칩으로 이뤄진다.
추론은 다르다.
요청이 들어올 때마다 짧게 처리되고, 사용자 가까이 배치될수록 유리하다.
그래서 다음 세 가지가 중요해진다.
첫째, 메모리 용량과 대역폭. 응답 속도를 좌우한다.
둘째, 전력 효율. 24시간 돌아가므로 운영비가 곧 원가다.
셋째, 분산 배치. 대형 단일 시설보다 여러 지역의 중형 시설이 유리해진다.
단가는 계속 내려간다
추론 단가는 빠르게 하락했다.
2026년 8월 초 기준 토큰 처리 가격은 100만 토큰당 약 1.16~1.18달러 수준으로 사상 최저를 기록했다.
같은 성능 기준으로 보면 하락 폭은 더 크다.
한 조사기관은 2030년 초거대 모델의 추론 비용이 2025년 대비 90% 이상 낮아질 것으로 전망했다.
단가 하락이 수요를 늘린다
가격이 내려가면 이전에는 비용이 맞지 않던 용도가 열린다.
그래서 단가 하락이 곧 매출 감소를 뜻하지 않는다.
관건은 단가 하락률과 사용량 증가율 중 무엇이 큰가다.
사용량이 더 빨리 늘면 총 지출은 오히려 증가한다.
기업별 매출 구성은 Passive 의 기업 실적 화면에서 확인할 수 있다. https://dinsightlab.com
확인 순서
첫째, 사업자별 추론 매출 비중.
둘째, 토큰 단가와 처리량의 증가율 비교.
셋째, 메모리·네트워크 부품의 수요 지표.
넷째, 신규 데이터센터의 규모와 입지. 중형·분산형이 늘면 추론 중심 전환이 진행 중이다.
정리
AI 수요는 사라지지 않고 성격이 바뀌었다.
훈련에서 추론으로 넘어가면 필요한 부품과 시설의 구성이 달라진다.
단가 하락을 악재로 읽기 전에 사용량 증가율을 함께 확인한다.