TPUv7, 사용자당 초당 700토큰 — GB200 NVL72보다 56% 높은 성능 (2026)
세미애널리시스는 vLLM 개발진이 구글 TPUv7으로 사용자당 초당 700토큰(tok/s)의 속도를 구현했다고 전했습니다. 키미 K3 모델에서 메가커널 최적화를 거쳐 엔비디아 GB200 NVL72보다 56% 높은 성능을 냈다는 설명입니다.
세미애널리시스는 TPU 소프트웨어가 구글 밖으로 빠르게 퍼지고 있다며, 이 흐름을 주의 깊게 봐야 한다고 강조했습니다.
이번 소식
vLLM은 대형 언어 모델을 빠르게 서비스하기 위한 오픈소스 추론 엔진입니다. 이번 결과는 vLLM 유지보수자들이 TPUv7에 맞춘 메가커널 최적화를 적용해 얻은 것입니다.
사용자당 초당 700토큰은 한 사람이 받는 응답 속도가 매우 빠르다는 뜻입니다. 같은 모델에서 엔비디아의 최신 랙 단위 시스템보다 56% 높은 성능을 냈다는 점이 눈에 띕니다.
왜 주목할 만한가
그동안 AI 가속기 시장에서 엔비디아의 강점은 하드웨어만큼이나 소프트웨어 생태계에 있었습니다. 구글 TPU용 소프트웨어가 외부 오픈소스 커뮤니티에서 빠르게 다듬어지면, 고객이 칩을 고를 수 있는 선택지가 넓어집니다.
다만 이번 결과는 특정 모델과 특정 최적화 조건에서 나온 수치입니다. 다양한 모델과 실제 서비스 환경에서도 비슷한 차이가 이어지는지는 더 확인이 필요합니다.
반도체 ETF로 보기
2026년 9월 23일 반도체 ETF SOXX는 565.72달러로 하루 7.06달러(−1.23%) 내렸습니다. 순자산은 481억 달러, 총보수는 0.33%입니다.
과열도는 12로 지난 2년 가운데 상위 52% 수준이고, 이동평균선은 정배열을 유지하고 있습니다. 하루 조정이 있었지만 추세는 아직 위쪽을 향하고 있습니다.
화면에서 확인하는 법
Passive ETF 화면에서는 미국 ETF를 순자산이나 거래대금 순으로 보고, 이름이나 티커로 검색할 수 있습니다. ETF를 누르면 일·주·월 가격 차트와 5·20·50·100·200일 이동평균선이 함께 표시됩니다.
아래의 과열도 차트는 지금 가격이 지난 2년과 비교해 얼마나 달아올라 있는지 보여 주고, 구성종목 탭에서는 ETF가 담은 종목을 확인할 수 있습니다.
본 글은 투자자문이 아니며 특정 종목의 매수·매도를 권유하지 않습니다. 투자 판단과 책임은 본인에게 있습니다.