[뉴스] SK하이닉스 HBM만으로는 부족…3D로 쌓는 D램·HBF 공개

AI 반도체 시장에서 HBM은 가장 빠르고 효율적인 메모리로 주목받아 왔습니다. 하지만 에이전틱 AI가 확산되고 모델이 처리해야 할 토큰과 데이터가 폭증하면서 상황이 달라지고 있습니다. 연산 성능은 빠르게 높아지는 반면, D램 대역폭의 증가 속도는 이를 따라가지 못하고 있기 때문입니다.

SK하이닉스는 이러한 변화를 두고 AI 인프라가 ‘연산 중심’에서 ‘메모리 중심’으로 이동하고 있다고 진단했습니다. GPU와 NPU가 아무리 빠르게 계산하더라도 필요한 데이터를 제때 공급하지 못하면 전체 시스템의 성능은 메모리 속도에 발목이 잡힙니다. HBM의 대역폭만으로는 급증하는 데이터 수요를 모두 감당하기 어려워진 것입니다.

AI 메모리 계층에 생긴 빈틈

메모리는 연산 장치와 가까울수록 빠르지만 용량이 작고, 멀어질수록 속도는 느려지는 대신 더 많은 데이터를 저장할 수 있습니다. 현재 AI 시스템은 대체로 다음과 같은 계층으로 구성됩니다.

• S램: GPU 내부에 위치해 가장 빠르지만 용량이 제한적입니다.
• HBM: 높은 대역폭으로 AI 가속기에 데이터를 공급합니다.
• D램: HBM보다 용량이 크지만 연산 장치와 거리가 있습니다.
• 로컬 SSD·CXL 풀드메모리·스토리지 서버: 대용량 데이터를 저장하지만 상대적으로 지연시간이 큽니다.

문제는 S램과 HBM 사이, 그리고 HBM과 D램 사이에 성능과 용량을 동시에 만족시키는 계층이 부족하다는 점입니다. SK하이닉스는 이 공백을 메우기 위해 3D 적층 D램과 고대역폭 플래시(HBF)를 새로운 해법으로 제시했습니다.

3D 적층 D램은 AI 가속기 위에 D램을 수직으로 쌓는 방식입니다. S램보다 큰 용량을 확보하면서도 HBM보다 연산 장치에 가깝게 배치할 수 있어, 데이터 이동 거리와 전력 소모를 줄이는 데 유리합니다. 동시에 제한된 핀 수에 의존해야 하는 기존 메모리 구조의 부담도 완화할 수 있습니다.

HBF는 HBM과 유사한 구조에 D램 대신 낸드플래시를 적층한 메모리입니다. 낸드의 높은 집적도를 활용해 HBM보다 훨씬 큰 용량을 확보하면서도 테라바이트급 대역폭과 마이크로초 단위 지연시간을 목표로 합니다. 즉, HBM을 대체하기보다는 HBM이 감당하기 어려운 대용량 데이터를 보완하는 역할에 가깝습니다.

AI 모델의 가중치, 미리 계산된 KV 캐시, 검색증강생성(RAG) 데이터처럼 한 번 저장한 뒤 반복적으로 읽는 데이터가 HBF의 주요 활용 대상입니다. 가속기가 데이터를 요청하기 전에 낸드 영역에서 미리 불러온다면, 부족한 HBM 용량으로 인한 병목을 줄이고 시스템 전체 효율을 높일 수 있습니다.

결국 SK하이닉스의 전략은 더 빠른 HBM을 추가하는 데만 머물지 않습니다. 서로 다른 속도와 용량을 가진 메모리를 촘촘하게 연결해 AI 데이터 흐름 전체를 최적화하려는 접근입니다. HBM의 정상에서 새로운 한계를 확인한 메모리 업계가 이제는 메모리 계층 자체를 다시 설계하는 단계로 넘어가고 있는 셈입니다.

메모리를 수직으로 쌓고, 생태계로 확장하다 | SK하이닉스 HBM만으로는 부족…3D로 쌓는 D램·HBF 공개

AI 반도체 경쟁이 HBM 용량과 대역폭을 늘리는 데서 한 단계 더 나아가고 있습니다. SK하이닉스 HBM만으로는 부족…3D로 쌓는 D램·HBF 공개라는 전략은 메모리 계층 사이의 빈틈을 새로운 기술로 채우겠다는 구상입니다. 핵심은 GPU 바로 위에 D램을 쌓는 3D 적층 D램과 낸드를 HBM처럼 적층하는 HBF(고대역폭 플래시)입니다.

GPU 가까이에 배치하는 3D 적층 D램

3D 적층 D램은 AI 가속기 위에 D램을 수직으로 쌓는 방식입니다. 연산장치와 메모리 사이의 거리를 줄여 데이터를 더욱 빠르게 공급하면서도 SRAM보다 큰 용량을 확보하는 것이 목표입니다.

기존 메모리 구조에서는 속도와 용량 사이에 뚜렷한 한계가 있었습니다. GPU 내부에 탑재되는 SRAM은 빠르지만 저장 공간이 작고, HBM은 높은 대역폭을 제공하지만 연산장치와 연결되는 핀 수와 전력 문제가 부담이 될 수 있습니다. 3D 적층 D램은 이 중간 영역을 겨냥합니다.

특히 메모리를 수직으로 배치하면 데이터 이동 거리를 줄이고, 메모리 인터페이스를 무작정 확장하지 않으면서도 AI 연산에 필요한 데이터 공급 능력을 높일 수 있습니다. AI 모델이 커질수록 단순한 연산 성능보다 데이터를 얼마나 빠르고 효율적으로 전달하느냐가 중요해지는 만큼, 3D 적층 D램은 새로운 메모리 계층으로 주목받을 가능성이 큽니다.

HBM의 용량 한계를 보완하는 HBF

HBF는 HBM과 유사한 적층 구조를 사용하지만, 핵심 소재로 D램이 아닌 낸드플래시를 활용합니다. 낸드는 D램보다 속도는 느리지만 훨씬 큰 용량을 구현하기 쉽습니다. SK하이닉스는 HBF를 통해 대용량과 테라바이트급 초당 대역폭, 마이크로초 수준의 지연시간을 동시에 확보하는 것을 목표로 제시했습니다.

HBF가 겨냥하는 데이터는 모든 정보를 실시간으로 처리해야 하는 영역과는 다릅니다. 모델 가중치, 사전 계산된 KV 캐시, 검색증강생성(RAG) 데이터처럼 한 번 저장한 뒤 반복적으로 읽는 데이터에 적합합니다.

예를 들어 AI 가속기가 곧 사용할 데이터를 HBF에 미리 저장해 두고, 필요한 시점에 맞춰 선제적으로 불러오면 HBM의 용량 부족을 보완할 수 있습니다. 따라서 HBF는 HBM을 대체하기보다는 서로 다른 메모리의 장점을 결합해 전체 시스템의 효율을 높이는 보조 계층에 가깝습니다.

제품 경쟁에서 표준 경쟁으로

SK하이닉스와 샌디스크가 HBF 규격을 함께 공개한 점도 중요한 변화입니다. 두 기업은 칩 간 연결 표준인 UCIe를 기반으로 인터페이스를 설계해, 서로 다른 업체의 AI 칩과 HBF가 연동될 수 있는 기반을 마련했습니다.

이 규격을 오픈컴퓨트프로젝트(OCP)를 통해 공개하고 참여 기업을 확대하면 HBF는 특정 기업의 독점 제품이 아니라 여러 반도체 업체와 서버 기업이 참여하는 개방형 플랫폼으로 발전할 수 있습니다. 메모리 성능만으로 승부하는 것이 아니라 가속기, 인터페이스, 패키징, 서버 설계가 함께 맞물리는 생태계 경쟁으로 확장되는 것입니다.

결국 3D 적층 D램과 HBF의 성공 여부는 기술 사양만으로 결정되지 않을 수 있습니다. 얼마나 많은 AI 칩과 서버 플랫폼이 이 구조를 지원하는지, 표준이 얼마나 빠르게 확산되는지, 실제 데이터센터에서 비용과 전력 효율을 입증하는지가 핵심입니다. 메모리를 더 높이 쌓는 기술이 이제는 더 넓은 산업 생태계를 쌓는 경쟁으로 이어지고 있습니다.

Reference

한국경제: https://www.hankyung.com/article/202608055183i