AI 붐을 무엇이 떠받치느냐고 물으면 다들 한 단어를 말한다. 엔비디아. 헤드라인도, 조 단위 시가총액도, 기조연설의 박수도 GPU 차지다. 하지만 AI 시대가 얼마나 빨리 나아갈지를 실제로 정하는 건 프로세서가 아니다. 바로 그 옆에 붙은 메모리다 — 그리고 그 끝은 곧장 한국의 몇몇 공장으로 이어진다.
그 부품이 **HBM, 고대역폭 메모리(High-Bandwidth Memory)**다. AI 확장 전체의 조용한 병목이며, 이걸 이해하면 나머지가 거의 다 설명된다 — 왜 메모리 값이 폭발했는지, 왜 SK하이닉스가 삼성을 제쳤는지, 왜 수천억 달러를 쓰는 하이퍼스케일러들이 여전히 컴퓨팅을 충분히 못 구하는지.
주의: 이 글은 일반적인 분석이며 투자 조언이 아니다.
HBM이란, 그리고 AI엔 왜 필요한가
현대 AI 가속기에는 중요한 두 부분이 있다. 로직(연산을 하는 GPU나 커스텀 칩)과, 거기에 데이터를 먹이는 메모리다. 오랫동안 주인공은 로직이었다. 하지만 거대 AI 모델을 학습·구동하는 일은 순수 연산량보다 막대한 데이터를 프로세서로 충분히 빠르게 옮기는 것의 문제다. 굶주린 GPU는 값비싼 문진일 뿐이다.
HBM은 메모리 칩을 수직으로 쌓아 올려 — 작은 마천루처럼 — GPU 바로 옆에 매우 넓고 빠른 통로로 연결함으로써 이를 해결한다. 그 결과가 대역폭의 소방호스다. 엔비디아의 차세대 Vera Rubin 플랫폼은 GPU당 22TB/s로 알려진 HBM4로 이동하는데, 이는 이전 Blackwell 세대의 약 2.75배다. 이제 칩이 얼마나 많은 AI 요청을 처리하느냐를 좌우하는 건 로직이 아니라 점점 더 이 대역폭이다.
산업 전체를 다시 보게 만드는 사실이 있다. HBM은 이제 엔비디아 Blackwell 칩 원가(BOM)의 약 절반을 차지한다. 절반이다. 모두가 사려 다투는 그 “엔비디아” 칩은, 원가로 보면 로직 제품인 만큼이나 메모리 제품이다.
숫자가 압도적이다
HBM 수요 곡선은 부품 시장이라기보다 골드러시에 가깝다.
| 지표 | 수치 |
|---|---|
| HBM 시장 규모, 2025년 | 약 73억 달러 |
| HBM 시장 규모, 2026년 | 약 550억 달러 |
| 성장 | 1년 만에 약 7배 |
| SK하이닉스의 HBM 공급 점유율 | 약 57~62% |
| Blackwell 칩 원가에서 HBM 비중 | 약 50% |
12개월 만에 70억 달러에서 550억 달러로 가는 시장은 거의 유례가 없다. 게다가 범용 메모리와 달리 HBM은 만들기가 극도로 어렵다 — 세계에서 극소수 기업만이 익힌 첨단 적층·패키징이 필요하다.
병목을 누가 쥐고 있나 (힌트: 미국이 아니다)
세계 HBM을 사실상 전부 만드는 회사는 셋뿐이다. SK하이닉스, 삼성, 마이크론. 이 중 둘이 한국 기업이고, 하나 — **SK하이닉스가 공급의 약 57~62%**를 쥐고 있다. 이 한 가지 사실이 우리가 다룬 여러 이야기를 하나로 엮는다.
- SK하이닉스가 삼성을 제치고 한국 최대 기업이 된 이유다. HBM 주도권을 먼저 잡았다.
- 범용 D램 값이 폭발해 가격담합 소송까지 부른 큰 원인이다. 당신의 노트북 메모리를 만들던 바로 그 공장이 훨씬 돈이 되는 HBM으로 돌려졌다.
다시 말해, AI 붐의 가장 중요한 병목이 한국에 집중된 극소수 기업의 손에 쥐어져 있다. HBM을 쥔 자가 AI 경제 전체의 스로틀에 손을 얹고 있고 — 지금은 엄청난 가격 결정력을 갖는다.
엔비디아는 편을 들까? 던져볼 만한 질문이다. 엔비디아 CEO 젠슨 황은 대만에서 태어났고, 엔비디아의 로직 칩은 대만 TSMC가 만든다 — 반면 HBM은 대부분 한국의 SK하이닉스와 삼성에서 온다. 뿌리가 대만 쪽으로, 한국 메모리 기업에 불리하게 저울을 기울일까? 실제로는 거의 확실히 아니다. 이 정도 규모의 공급망은 정서가 아니라 레버리지와 공급 안정으로 굴러간다. 엔비디아는 한국산 HBM이 너무나 절실해서 편을 들 여유가 없다 — 오히려 친구를 고르는 것과 정반대로 행동한다. 여러 공급사(SK하이닉스·삼성·마이크론)를 일부러 나란히 자격 인증해, 가격을 두고 서로 경쟁시키고 물량을 확보한다. 젠슨 황은 무엇보다 경영자다. 그가 SK하이닉스의 메모리를 공개적으로 치켜세운 건, 그 메모리가 제 역할을 하고 그것 없이는 AI 칩을 만들 수 없기 때문이다. 이토록 빡빡한 시장에서 충성의 대상은 오직 대역폭을 납품할 수 있는 자다. 계약서에 서명하는 건 뿌리가 아니라 사업 논리다.
병목은 계속 아래로 내려간다
한동안 AI의 제약은 GPU였다. 그러다 업계는 불편한 교훈을 배웠다. 하나의 병목을 풀면, 그것은 그저 다음으로 약한 고리로 옮겨간다. 2026년, 제약은 공급망을 타고 아래로 연쇄됐다.
- 로직 칩 — 여전히 빠듯하지만 충분히 미리 약정하면 구할 수 있다. 주요 칩은 전부 TSMC 3nm 공정에서 만들어지는데, 이 공정은 100% 가동 중이고 수요가 공급의 약 3배로 전해진다.
- HBM — 메모리 자체는 SK하이닉스가 장악하고, 한참 앞서 완판된다.
- 첨단 패키징 — 로직과 HBM을 붙이는 이 단계도 그 자체로 희소 자원이다.
- 전력 — 그리고 여기가 가장 새로운 벽이다. 점점 더 많은 시장에서 구속 조건은 이제 실리콘이 아니라 전기다. 국제에너지기구(IEA)는 2026년 데이터센터가 일본 전체보다 많은 전력을 끌어쓸 것이라 경고하고, 마이크로소프트만 해도 전력이 없어 서버를 켜지 못해 못 채우는 약 800억 달러 규모의 Azure 백로그를 밝혔다.
새 GPU 세대가 나올 때마다 이는 나아지는 게 아니라 악화된다. 칩당 더 많은 HBM을 요구하기 때문이다. 대역폭이 커진다는 건 스택이 더 많이 필요하다는 뜻이고, 로직이 빨라지는 바로 그만큼 메모리 병목은 더 조인다.
왜 중요한가 — 그리고 무엇이 판을 바꿀까
전략적 결론은 단순하다. AI 시대엔 메모리가 곧 힘이다. HBM에서 앞서는 기업은 앞면에 누구의 로고가 박혔든, 팔리는 모든 AI 칩 가치의 큰 몫을 가져간다. 그래서 AI 붐이 한국 메모리 기업에 그토록 큰 횡재였고 — 그래서 이제 그들의 운명은 2026년 한 해에만 7,250억 달러에 이르는 하이퍼스케일러 capex 계획과 함께 오르내린다.
다만 세 가지가 그림을 바꿀 수 있다.
- 삼성의 추격. 삼성이 SK하이닉스와의 HBM4 격차를 좁히면, 공급 병목 — 그리고 가격 결정력 — 은 완화된다.
- 거품 문제. 하이퍼스케일러들은 현재 AI 매출 1달러당 약 13달러를 투자하고 있다. 이 투자수익 격차가 좁혀지지 않으면 capex가 멈출 수 있고, HBM 수요도 함께 멈춘다. (거품 논쟁은 다음 글에서 파고들 예정이다.)
- 커스텀 실리콘. 구글·아마존·마이크로소프트·메타는 엔비디아 의존을 줄이려 저마다 자체 AI 칩을 만든다. 그런데 반전이 있다. 그 커스텀 칩도 HBM이 필요하다. 프로세서의 로고를 바꾼다고 메모리를 만드는 주체가 바뀌지는 않는다.
결론
AI 붐의 이야기는 보통 엔비디아와 GPU의 이야기로 전해진다. 하지만 한 겹 아래를 보면 다른 그림이 나타난다. AI 시대 전체의 속도가, 극소수 기업 — 그 대부분이 한국 기업 — 이 만드는 메모리 한 스택에 의해 정해지고 있다는 것이다. 영광은 GPU가 가져간다. 스로틀은 HBM이 쥐고 있다 — 그리고 지금, 그 스로틀은 한국의 손안에 있다.
자주 묻는 질문
HBM은 무엇의 약자인가? High-Bandwidth Memory(고대역폭 메모리) — AI 프로세서 바로 옆에 수직으로 쌓아 데이터를 극도로 빠르게 먹이는 메모리 칩이다. 값비싼 GPU가 놀지 않게 해준다.
HBM은 왜 AI에 그렇게 중요한가? 거대 AI 모델의 구동은 순수 연산력뿐 아니라 데이터가 프로세서에 얼마나 빨리 도달하느냐에 병목이 걸린다. HBM이 그 대역폭을 제공하며, 이제 최상위 엔비디아 AI 칩 원가의 약 절반을 차지한다.
HBM은 누가 만드나? 단 세 회사 — SK하이닉스, 삼성, 마이크론이다. SK하이닉스가 약 57~62%로 앞서 있으며, 최근 한국 최대 기업이 된 주된 이유다.