[뉴스] 메모리 전쟁, 새 전장 열린다…HBF 세글자가 중요한 이유 [이승우의 반도체 오디세이]

AI가 단순히 질문에 답하는 수준을 넘어, 긴 대화와 검색 자료, 사용자별 기록까지 기억해야 하는 시대가 열리고 있습니다. 문제는 AI의 ‘기억해야 할 정보’가 빠르게 늘고 있다는 점입니다. 수십 페이지의 문서를 이해하는 것을 넘어, 여러 자료를 동시에 참고하고 과거 맥락까지 이어가려면 지금보다 훨씬 큰 메모리 공간이 필요합니다.

현재 AI 반도체의 핵심 메모리는 고대역폭메모리(HBM)입니다. HBM은 GPU 가까이에 배치돼 데이터를 매우 빠르게 공급하는 데 특화돼 있습니다. 여러 개의 D램을 수직으로 쌓고 데이터 통로를 넓혀, AI 학습과 추론에 필요한 높은 대역폭을 제공합니다.

하지만 HBM만으로 AI의 모든 기억을 담기에는 한계가 있습니다.

• 용량이 제한적입니다. AI 에이전트가 장기간의 대화와 방대한 검색 정보를 기억하려면 테라바이트급 저장 공간이 필요할 수 있습니다.
• 가격이 비쌉니다. 필요한 데이터를 모두 HBM에 올리면 시스템 구축 비용이 크게 증가합니다.
• 확장성이 낮습니다. 메모리 용량을 늘릴수록 패키징과 전력, 발열 관리가 더욱 어려워집니다.

비유하면 HBM은 GPU 옆에 마련된 초고속 책상과 같습니다. 당장 사용할 자료를 빠르게 꺼내 놓기에는 훌륭하지만, 수년간 축적된 모든 문서와 데이터를 올려두기에는 공간이 작고 비용 부담이 큽니다. AI가 더 많은 정보를 기억할수록 책상 옆에 대형 자료실이 필요해지는 이유입니다.

이 지점에서 새로운 메모리 계층의 필요성이 커집니다. HBM이 속도를 담당하는 ‘빠른 기억’이라면, 앞으로는 더 큰 용량을 상대적으로 낮은 비용으로 제공하면서도 GPU 가까이에서 데이터를 공급하는 메모리가 필요합니다. 낸드플래시를 활용한 HBF(High Bandwidth Flash Memory)가 주목받는 배경입니다.

HBF가 상용화되면 낸드는 단순히 데이터를 오래 보관하는 저장장치를 넘어, AI 연산에 필요한 대규모 정보를 가까운 거리에서 전달하는 역할까지 맡게 됩니다. HBM을 대체한다기보다, HBM의 용량 한계를 보완하는 ‘AI의 기억 창고’가 되는 셈입니다.

창고를 GPU 옆으로 옮기다, 메모리 전쟁, 새 전장 열린다…HBF 세글자가 중요한 이유 [이승우의 반도체 오디세이]

기존 SSD가 데이터를 멀리 있는 창고에 보관했다가 필요할 때 트럭으로 실어 나르는 방식이라면, HBF는 GPU 바로 옆에 초대형 물류센터를 세우는 개념입니다. AI가 긴 문맥과 검색 자료, 과거 대화 기록을 동시에 참고해야 하는 시대가 오면서 단순히 빠른 메모리만큼이나 많은 데이터를 가까이 두는 능력이 중요해졌습니다.

HBM은 GPU에 데이터를 매우 빠르게 공급하지만 가격이 높고 용량을 크게 늘리기 어렵습니다. 반면 낸드플래시를 활용하는 HBF는 속도는 HBM보다 낮을 수 있어도 훨씬 큰 용량을 상대적으로 낮은 비용으로 확보할 수 있습니다. 샌디스크가 제시한 1세대 HBF 목표는 512GB 용량과 1.6TB/s 읽기 대역폭입니다. 이는 HBF가 기존 저장장치와 HBM 사이에서 새로운 메모리 계층을 노린다는 점을 보여줍니다.

핵심은 낸드를 GPU 가까이에 배치하는 구조입니다. 기존 SSD는 낸드에서 데이터를 읽은 뒤 컨트롤러와 PCIe를 거쳐 GPU로 전달해야 합니다. 이 과정에서 이동 거리와 통신 단계가 늘어납니다. HBF는 낸드 베어다이를 수직으로 적층하고 TSV, 마이크로범프 같은 패키징 기술을 활용해 연산장치 인근에서 대규모 데이터를 공급하려 합니다. 낸드의 역할이 ‘오래 저장하는 장치’에서 ‘AI 연산을 지원하는 대용량 메모리’로 확장되는 셈입니다.

다만 HBF가 곧바로 HBM을 대체한다는 뜻은 아닙니다. HBF가 실제 시장에 안착하려면 다음과 같은 과제를 넘어야 합니다.

• 속도와 지연시간: 대역폭뿐 아니라 GPU가 요청한 데이터를 얼마나 빠르게 전달하는지가 중요합니다.
• 내구성: 낸드는 D램보다 쓰기 수명과 접근 특성이 다르기 때문에 반복적인 AI 연산에 맞는 관리 기술이 필요합니다.
• 발열과 패키징: GPU 가까이에 대용량 낸드를 배치하면 열 관리와 전력 효율이 새로운 변수로 떠오릅니다.
• 표준화와 소프트웨어 지원: 메모리 인터페이스, 컨트롤러, 운영체제와 AI 프레임워크가 함께 호환돼야 고객사가 쉽게 채택할 수 있습니다.
• 경제성 검증: HBM보다 저렴하더라도 패키징과 연결 기술 비용이 높아지면 HBF의 장점이 줄어들 수 있습니다.

결국 이번 메모리 전쟁의 승부처는 가장 빠른 메모리를 만드는 데만 있지 않습니다. AI가 처리해야 할 데이터가 테라바이트 단위로 커질수록 속도·용량·가격·전력 효율을 조합한 메모리 구조가 필요합니다. HBM이 GPU의 초고속 작업 공간이라면, HBF는 그 옆에서 더 많은 데이터를 대기시키는 대형 작업 창고가 될 수 있습니다.

따라서 HBF의 미래는 기술 발표 자체보다 실제 AI 서버에 적용되는지, 표준이 업계 전반으로 확산되는지에 달려 있습니다. 샌디스크와 SK하이닉스의 표준화 움직임이 고객사와 장비 업체의 참여를 끌어낸다면 낸드플래시는 AI 메모리 시장에서 새로운 기회를 얻게 됩니다. 반대로 성능과 내구성, 비용 문제를 해결하지 못하면 HBF는 흥미로운 개념에 머물 가능성도 있습니다.

Reference

매일경제: https://www.mk.co.kr/news/business/12133483