한국 메모리가 주도하는 AI 시대

삼성전자가 최근 양산 출하한 6세대 고대역폭메모리 HBM4. 삼성전자 제공

인공지능(AI)을 향한 각국 정부와 기업의 경쟁으로 AI 인프라에 대한 투자가 날이 갈수록 커지고 있다. 마이크로소프트는 지난해 AI 데이터센터 구축에 800억 달러(약 118조 원)를 투자하겠다고 했다. 구글과 아마존, 메타는 엔비디아의 그래픽처리장치(GPU)를 수백만 개 규모로 구매하고 있다. 최태원 SK그룹 회장은 7년 내 한국에 20GW(기가와트)짜리 AI 데이터센터를 구축하기 위해 약 1400조 원을 투자해야 한다고 말하기도 했다.

AI 투자가 늘어나면서 HBM(고대역폭메모리), D램 등 메모리 반도체 품귀가 본격화하고 있다. 2월 최태원 회장이 엔비디아, 브로드컴, 구글, 메타, 마이크로소프트 관계자를 만나 “고객사가 원하는 만큼 메모리를 공급하지 못해 미안하다”고 사과했을 정도다.

메모리 품귀에 D램 가격 고공행진

AI 학습과 연산에 필수인 GPU는 HBM과 함께 붙어야 한다. GPU 성능이 좋아질수록 더 많은 HBM이 필요하다. 엔비디아의 ‘P100 GPU’ 1개에는 ‘HBM2’ 4개가 필요했는데 최신 GPU인 ‘블랙웰 B200’에는 ‘HBM3e’ 8개가 필요하다. 올해 출시된 ‘루빈 울트라 GPU’에는 ‘HBM4e’ 16개가 붙는다.

HBM을 제조해 제공할 수 있는 기업은 전 세계에서 삼성전자와 SK하이닉스뿐이다. 두 기업이 연간 생산 가능한 HBM 개수는 정해져 있다. 공장을 추가로 짓는다고 해도 GPU 발전과 생산량을 따라가는 데는 역부족이다. 그렇다 보니 두 기업은 마진이 높은 HBM과 서버용 D램에 생산 능력을 우선 배분하고 있다.

생산 우선순위에서 뒤처진 개인용 컴퓨터(PC)와 모바일 기기에 들어가는 D램 공급은 상대적으로 줄고 있다. 공급 부족이 심화하면서 올해 D램 계약 가격은 분기 기준 50~60% 이상 뛰고 있다. 그 결과 HBM 마진보다 D램 마진이 더 커지고 있을 정도다. AI 기술 사용처가 확대됨에 따라 GPU 외에 다양한 AI 추론 전용 칩 수요도 커지고 있다. 이들 칩에도 LPDDR 등 D램이 필요해 D램 가격은 더욱 오를 전망이다.



과거에는 누가 더 많은 GPU를 확보하는지가 경쟁력을 갈랐다면 이제는 메모리가 핵심 변수가 됐다. 대규모 언어모델과 멀티모달 AI가 본격적으로 확산하면서 연산 능력 자체보다 데이터를 얼마나 빠르고 효율적으로 공급하는지가 AI 성능과 비용을 좌우하게 된 것이다. 메모리를 어떻게 배치하고 연결하느냐가 중요해지면서 메모리 업체들에는 단순 부품 공급자를 넘어 시스템 설계의 핵심 플레이어로 올라설 기회가 만들어지고 있다.

한국은 메모리 반도체, 즉 HBM과 D램 시장에서 구조적 우위를 확보한 국가다. HBM 시장에서 SK하이닉스만 해도 70% 넘는 점유율을 확보하고 있다. D램 시장에서는 삼성전자와 SK하이닉스가 점유율 70% 이상을 차지하고 있다. 낸드플래시도 절반에 가까운 점유율을 유지 중이다. 특히 지난해 이후 두 회사는 기술과 공급, 가격 측면에서 세계 AI 인프라 시장 전체에 직접적인 파급력을 미치며 AI 핵심 부품 공급망에 대한 주도권을 틀어쥐었다.

향후 10년 관통할 구조적 변화 시작

현재 엔비디아의 주력 AI GPU는 대부분 HBM3 혹은 HBM3e를 기반으로 설계돼 있다. 차세대 AI 가속기 역시 HBM 의존도를 더 높이는 방향으로 로드맵이 구성된 상태다. 엔비디아 GPU에 탑재되는 HBM의 상당 부분을 SK하이닉스가 공급하고 있다. 삼성전자 역시 뒷심을 발휘해 최초로 HBM4 양산에 들어갔다.

HBM은 HBM3e를 거쳐 HBM4로 진화하며 적층 수와 스택당 용량, 대역폭이 급격히 증가하고 있다. 이 과정에서 미세 공정, 적층 기술, 패키징 역량이 동시에 요구된다. 한국 메모리 기업들의 관련 기술 축적은 경쟁사들이 쉽게 따라잡기 어려운 진입 장벽으로 작용하고 있다.

메모리 공급사들이 AI 시장 주도권을 쥐고 있다 보니 엔비디아와 AMD, 글로벌 클라우드 사업자조차 메모리 회사들과의 계약에서 장기 공급 계약 및 선급금 지급 구조를 수용하고 있다. 메모리 가격과 스펙에 대한 협상력이 한국 메모리 기업으로 이동한 것이다. 한국은 메모리 중심의 AI 시대를 맞아 산업적 도약 기회를 마주하고 있다. 향후 5년 혹은 10년을 관통할 구조적 변화가 시작됐다. 

_{*유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.}