주간동아 1556호

..

메모리 경쟁, HBM 단수에서 AI 가속기 효율화로 진화

같은 수의 가속기로 AI 요청 얼마나 더 많이 처리하느냐가 핵심

  • 김지현 SK AI위원회 부사장

    입력2026-09-14 07:00:02

  • 글자크기 설정 닫기
    삼성전자가 8월 4~6일(현지 시간) 미국 캘리포니아주 샌타클래라에서 열린 ‘FMS(Future of Memory and Storage) 2026’에서 공개한 zHBM 목업. 뉴시스

    삼성전자가 8월 4~6일(현지 시간) 미국 캘리포니아주 샌타클래라에서 열린 ‘FMS(Future of Memory and Storage) 2026’에서 공개한 zHBM 목업. 뉴시스

    인공지능(AI) 데이터센터에서 핵심은 수많은 연산을 동시에 처리하는 AI 가속기다. 그래픽처리장치(GPU)와 신경망처리장치(NPU) 등이 이에 해당한다. 하지만 가속기가 아무리 빨라도 데이터를 제때 공급받지 못하면 병목 현상이 발생한다. 고대역폭메모리(HBM)는 이러한 병목 현상을 줄이기 위한 장치다. D램 여러 개를 수직으로 쌓고 층 사이에 수천 개의 데이터 통로를 만든다. 이렇게 제작된 HBM을 가속기 가까이에 배치하면 많은 데이터를 빠르게 공급할 수 있다. 

    AI 모델이 대형화될수록 필요한 메모리 용량도 가파르게 늘어났다. 그래서 HBM은 8단에서 12단으로 높아졌고, HBM4 표준은 최대 16단 구성까지 지원할 뿐 아니라 20단 이상을 향해 가고 있다. 하지만 계속 높이 쌓는 데는 한계가 있다. 적층 단수가 늘면 열이 빠져나가기 어렵고, 칩이 휘거나 접합 불량이 생길 가능성도 커지기 때문이다. 수율이 낮아지면 가격과 공급 안정성도 나빠진다. 이제 메모리 경쟁은 단수 싸움을 넘어, 메모리 배치와 데이터 이동 방식 전체를 재설계하는 방향으로 진화하고 있다.

    이동 거리 줄이고, 발열 잡고

    8월 4일(이하 현지 시간)부터 6일까지 미국 샌타클래라에서 열린 ‘FMS(Future of Memory and Storage) 2026’에서는 이런 변화가 선명하게 드러났다. 삼성전자는 차세대 3D(3차원) 메모리 아키텍처인 zHBM의 목업을 처음 공개했다. 현재는 HBM을 GPU와 같은 AI 가속기 옆에 놓는데, zHBM은 HBM을 가속기 바로 위에 쌓는다. 데이터 이동 거리를 더 줄여 성능과 전력 효율을 높이려는 구상이다. 삼성전자 측은 zHBM용 차세대 인터페이스가 HBM5보다 최대 8배 높은 성능과 3배 높은 전력 효율을 구현하는 것을 목표로 한다고 밝혔다. 

    같은 행사에서 SK하이닉스와 샌디스크도 HBF (High Bandwidth Flash)의 첫 공개 기술 규격을 발표했다. HBF는 낸드플래시를 HBM처럼 수직으로 쌓아 HBM과 SSD 사이에 새로운 메모리 계층을 만드는 기술이다. HBM은 빠르지만 비싸고, 전원이 꺼지면 데이터가 사라진다. SSD에 사용되는 낸드플래시는 상대적으로 느리지만 데이터를 계속 보관할 수 있고, 비트당 가격도 낮다. HBF는 낸드플래시 용량과 가격 경쟁력을 유지하면서도 데이터 처리 속도를 끌어올릴 수 있다. 대규모 AI 모델의 가중치와 추론 데이터를 연산장치 가까이에 저장하는 데 적합하다. HBF는 HBM을 없애는 기술이 아니라, HBM과 SSD 사이 속도와 용량 차를 메우는 보완재다. 시스템 소프트웨어가 가장 자주 사용하는 데이터는 HBM에 두고, 상대적으로 덜 쓰지만 용량이 큰 데이터는 HBF에 배치할 수 있다.

    8월 23일부터 미국 스탠퍼드대에서 열린 ‘핫칩스 2026’에서도 차세대 메모리 기술이 소개됐다. SK하이닉스는 iHBM을, 삼성전자는 PIM을 상세히 발표했다. 삼성전자의 LPDDR5X-PIM은 저전력 D램인 LPDDR5X에 연산 기능을 넣은 제품이다. 기존 AI 추론에서는 연산 중 데이터가 메모리와 NPU를 오가느라 시간 및 전력이 소모됐다. LPDDR5X-PIM은 AI 추론에서 반복되는 연산 일부를 메모리 뱅크 안에서 처리함으로써 전체 시스템의 성능과 전력 효율을 높인다. 스마트폰과 태블릿, AI PC(개인용 컴퓨터)처럼 전력과 발열의 제약이 큰 온디바이스 AI에 특히 유용하다. 



    반면 SK하이닉스의 iHBM은 HBM의 발열을 잡는 패키징 기술이다. HBM의 속도와 적층 단수가 높아지면 전력 밀도가 커진다. 특히 HBM 베이스 다이와 AI 가속기가 통신하는 D2D PHY 구간에 열이 집중된다. iHBM은 이 영역에 일체형 냉각 요소인 ICE를 넣음으로써 기존 구조보다 열저항을 30% 이상 낮춘다는 구상이다. 

    이들 기술이 해결하려는 문제는 서로 다르다. zHBM이 가속기와 메모리 사이 거리를 줄인다면 HBF는 낮은 비용으로 메모리 계층의 용량을 넓힌다. PIM은 데이터 이동 자체를 줄이며, iHBM은 고성능화 과정에서 발생하는 열을 낮춘다. 각각 AI 시스템의 서로 다른 병목 현상을 해결하는 기술이다. 

    앞으로 경쟁 또한 단일 제품의 성능 대결에 그치지 않을 것이다. D램과 낸드플래시, HBM을 첨단 패키징 및 냉각 기술로 연결해야 한다. 메모리 제어 소프트웨어도 함께 최적화해야 한다. 고객이 원하는 것은 가장 빠른 메모리칩이 아니라, 같은 수의 가속기로 더 많은 AI 요청을 처리하고 전기료와 냉각비를 줄이는 시스템이다.

    고객이 만날 ‘다음 병목’을 먼저 풀어라

    한국 메모리산업 역사는 1등이 타고나는 자리가 아님을 보여준다. 1983년 삼성전자가 진출할 당시 세계 D램 시장은 일본이 주도했다. 그러나 수요처가 PC로 바뀌면서 시장의 핵심 기준이 가격과 공급 능력으로 옮겨갔다. 이 흐름을 읽고 불황에도 업계 평균의 2배에 달하는 과감한 설비투자를 단행한 끝에 1992년 세계 최초 64Mb D램 개발과 함께 세계 1위 자리에 올랐다. 일본을 제친 힘은 단 한 번의 기술 발명이 아니라, 차세대 제품을 선점하고 높은 수율로 적기에 대량 공급해낸 양산 능력에 있었다. 이후에도 경쟁 방식은 같았다. 시장이 PC에서 모바일로 이동하고 다시 데이터센터로 바뀔 때마다 고객이 요구하는 메모리 역할을 먼저 정의했다. 

    SK하이닉스의 HBM도 장기투자의 결과다. 회사는 생성형 AI가 등장하기 전인 2009년부터 TSV와 HBM을 연구했고, 2013년 세계 최초로 TSV 기반 HBM을 개발했다. 당시 시장이 크지 않았지만 투자를 중단하지 않았다. 덕분에 2021년 HBM3를 세계 최초로 개발하고 2022년 양산해 엔비디아에 공급했다. 이후 HBM3E와 12단 적층 기술, MR-MUF 패키징을 고도화했다. 시장이 열리기까지 10년 가까이 이어진 투자가 오늘의 HBM 경쟁력이 된 것이다.

    그렇다고 안심할 수는 없다. 2026년 2분기 D램에서 SK하이닉스와 마이크론의 점유율 차이는 1%p에 불과하다. 중국 업체들도 빠른 속도로 생산능력을 늘리고 있다. 현 시장점유율은 과거 투자의 결과이지 미래의 1등을 보장하는 보증수표가 될 수 없다. 더욱이 HBM은 만들어놓고 고객을 기다리는 범용 부품이 아니다. 가속기 설계 단계부터 고객과 규격을 맞춰야 한다. 높은 수율로 약속한 물량을 제때 공급하는 능력도 필요하다.

    한국 기업은 한 세대 앞선 칩이라는 명성에 안주해서는 안 된다. 고객이 계속 선택할 수밖에 없는 성능과 품질, 공급 능력을 지켜내야 한다. 이를 위해 첨단 패키징과 냉각은 물론, 인터페이스, 소프트웨어에 대한 투자를 이어가야 한다. 메모리 반도체 1등은 큰 공장을 가진 기업이 아니라, 고객이 만날 다음 병목 현상을 가장 먼저 푸는 기업의 몫이다. 

    *유튜브와 포털에서 각각 ‘매거진동아’와 ‘투벤저스’를 검색해 팔로잉하시면 기사 외에도 동영상 등 다채로운 투자 정보를 만나보실 수 있습니다.

    댓글 0개
    닫기