AI 서버 원가 구조 — GPU보다 메모리가 비싸질 때 (2026)

AI 서버 원가에서 메모리 비중은 이제 부품 하나의 문제가 아니라 제품 스펙 자체를 결정하는 변수가 됐습니다. 결론부터 말하면, 가속기 성능이 좋아서 다음 세대가 정해지는 것이 아니라 메모리 가격이 감당 가능한 선까지만 스펙이 올라가는 구조로 바뀌었습니다.

2026년 엔비디아가 차세대 플래그십 제품의 HBM 용량을 절반으로 낮춘 사례가 이 변화를 그대로 보여줍니다. 이 글은 AI 서버 한 대의 원가가 어떻게 구성되는지, 메모리 비중이 오르면 무엇이 먼저 깎이는지, 그리고 투자자가 어떤 숫자를 추적해야 하는지를 다룹니다.

AI 서버 랙 한 대의 원가는 어떻게 구성되나

과거 서버 원가에서 중심은 프로세서였습니다. 메모리는 보조 부품이었고, 비중도 한 자릿수에서 십몇 퍼센트 수준이었습니다. AI 가속기 랙에서는 구조가 다릅니다.

모건스탠리의 부품원가 분석 기준으로, 2026년 기준 최신 세대 랙 한 대의 가격은 하이퍼스케일 사업자에게 약 780만 달러 수준으로 추산됩니다. 이 중 메모리 원가는 약 200만 달러로, 직전 세대 대비 435% 늘어난 값입니다. 같은 분석에서 메모리는 전체 부품원가의 약 4분의 1을 차지합니다.

여기서 메모리는 한 종류가 아닙니다. 가속기에 직접 붙는 고대역폭 메모리(HBM), 시스템 메모리 역할을 하는 저전력 DRAM, 그리고 저장용 낸드가 각각 별도의 비용 항목입니다. 세 가지가 동시에 오르면 랙 가격은 산술적으로가 아니라 계단식으로 뜁니다.

더 상위 구성으로 가면 비중이 더 커집니다. 최신 HBM·DRAM 가격 인상 이후, 최상위 랙 구성에서는 메모리가 총 자본 소유 비용의 약 40%까지 올라갔다는 분석이 나왔습니다. 반도체 분석 업체 SemiAnalysis의 창업자 겸 수석 애널리스트 딜런 파텔 팀의 추정입니다.

메모리 비중이 오르면 무엇이 먼저 깎이나

원가의 40%를 한 부품이 차지하면 설계는 두 갈래로 갈립니다. 가격을 올려 고객에게 넘기거나, 스펙을 낮추거나입니다.

2026년 실제로 선택된 쪽은 후자였습니다. 엔비디아는 플래그십 제품의 메모리를 HBM4E 12단 384GB 구성에서 HBM4 8단 192GB로 낮췄습니다. 이 조정으로 HBM 원가는 절반 이상 줄고, 메모리 비중은 약 40%에서 28% 수준으로 내려갑니다.

핵심은 이 결정이 기술적 실패에서 나온 것이 아니라는 점입니다. 연산 성능 자체는 유지한 채 메모리만 덜어냈습니다. 원인으로 지목된 것은 2027년까지 이어질 것으로 보는 DRAM 공급 부족, 고단 적층 제품의 검증 일정 불확실성, 그리고 데이터센터 전력 제약입니다.

이 패턴이 중요한 이유는 반복성 때문입니다. 부품 하나가 원가를 지배하기 시작하면, 그 부품을 줄이는 방향으로 제품 로드맵이 조정됩니다. 다음 세대 사양 발표를 볼 때 연산 성능만 보면 절반만 보는 셈입니다.

메모리 가격이 오르는 구조적 이유

이번 가격 상승은 일시적 수급 불일치와 성격이 다릅니다. 제조사들이 웨이퍼 생산능력을 일반 소비자용 DRAM에서 수익성이 훨씬 높은 고대역폭 메모리 쪽으로 옮기고 있기 때문입니다.

그 결과 두 시장이 동시에 영향을 받습니다. AI 쪽은 물량을 확보하려 가격을 감수하고, 일반 PC·모바일 쪽은 공급이 줄어 가격이 뜁니다. 2026년 들어 서버용 DRAM 계약가가 분기 단위로 큰 폭 오르고, 소비자용 DDR5 가격도 두 자릿수 후반에서 세 자릿수 상승률을 기록한 배경입니다.

증권사 번스타인은 HBM4 가격이 2027년 기가바이트당 53달러 수준까지 오를 것으로 전망합니다. 이 가정이 맞으면 랙 한 대의 메모리 원가는 다시 한 번 올라가고, 스펙 조정 압력도 그만큼 이어집니다.

신규 생산능력이 실제 출하로 이어지기까지는 시차가 있습니다. 공급이 따라붙기 전까지는 높은 가격과 제한된 할당이 유지될 가능성이 큽니다.

투자자가 추적할 지표

첫째, 랙 단위 부품원가에서 메모리가 차지하는 비중입니다. 이 비중이 30%를 넘어가면 스펙 조정이나 가격 인상이 뒤따를 확률이 높아집니다.

둘째, 고대역폭 메모리 계약가와 일반 서버 DRAM 계약가의 격차입니다. 격차가 벌어질수록 제조사가 생산능력을 어디로 돌리고 있는지 드러납니다.

셋째, 가속기 제조사의 세대별 메모리 용량 추이입니다. 용량이 정체하거나 줄면 그것 자체가 원가 압박의 신호입니다.

넷째, 데이터센터 전력 제약입니다. 메모리 단수를 올리면 소비 전력도 올라가기 때문에, 전력이 부족한 지역에서는 가격과 무관하게 상위 구성이 채택되지 않을 수 있습니다.

정리

AI 서버 원가에서 메모리는 보조 부품이 아니라 원가를 지배하는 항목이 됐습니다.

최상위 구성에서는 메모리가 총 자본 소유 비용의 40% 수준까지 올라간 사례가 확인됩니다.

원가 압박이 임계치를 넘으면 가속기 제조사는 연산 성능을 유지한 채 메모리 용량을 먼저 줄입니다.

따라서 신제품 사양 발표는 성능 수치만이 아니라 메모리 용량 변화와 함께 읽어야 합니다.

메모리 가격은 생산능력 재배치에서 나오는 구조적 요인이라, 공급 증설이 출하로 이어지기 전까지는 압력이 이어질 가능성이 큽니다.