[뉴스] 삼성·하이닉스가 점찍은 AI칩 유망주 앞으로 5년 가장 중요한 기술은 패키징

AI가 답을 내놓을 때마다 데이터는 메모리와 연산장치 사이를 오갑니다. 이 이동에 시간이 걸리고 전력과 비용도 듭니다. AI 모델과 사용자가 늘수록 데이터를 얼마나 빠르고 효율적으로 가져오느냐가 추론 성능의 중요한 변수가 되는 이유입니다.

디매트릭스는 이 병목을 디지털 인메모리 컴퓨팅(DIMC)으로 풀려 합니다. 메모리와 연산 기능을 같은 실리콘 안에 결합해 데이터가 이동하는 거리를 줄이는 방식입니다. SK하이닉스와 삼성전자가 투자한 배경에도 추론에 적합한 새로운 메모리 구조가 필요하다는 문제의식이 있습니다.

이는 HBM 중심의 경쟁이 끝난다는 뜻은 아닙니다. 대량의 작업 처리에 강한 GPU·HBM과, 응답 지연시간을 줄이는 디매트릭스의 접근은 서로 다른 장점을 가질 수 있습니다. 디매트릭스의 차세대 칩 ‘랩터’는 연산장치와 D램을 수직으로 쌓아 메모리 용량을 늘리려는 시도입니다.

결국 앞으로의 AI칩 경쟁은 연산 성능만으로 결정되지 않을 수 있습니다. 메모리와 연산장치를 어떻게 연결하고 쌓을지, 즉 패키징이 성능과 전력 효율, 비용을 좌우할 핵심 기술로 떠오르고 있습니다. 잘 알려진 ‘삼성·하이닉스가 점찍은 AI칩 유망주’라는 표현 뒤에는 데이터 이동을 줄이려는 기술 경쟁이 자리하고 있습니다.

랩터가 쌓아 올리는 새로운 해법: 삼성·하이닉스가 점찍은 AI칩 유망주, 앞으로 5년 가장 중요한 기술은 패키징

SRAM만으로는 커지는 AI 모델과 길어지는 문맥을 감당하기 어렵습니다. 추론 과정에서 필요한 정보를 저장하는 KV 캐시의 수요도 함께 늘기 때문입니다. 디매트릭스가 차세대 칩 ‘랩터’에 D램 적층 구조를 적용한 이유입니다. 메모리를 연산 장치 가까이에 둔다는 원칙은 유지하면서, SRAM의 용량 한계를 넘어 더 많은 데이터를 다루려는 선택입니다.

랩터는 D램을 아래에, 연산 칩을 위에 쌓는 구조입니다. 삼성의 zHBM과 마찬가지로 메모리와 연산 장치를 수직으로 배치하지만, 쌓는 순서는 반대입니다. 디매트릭스는 연산 칩을 위에 두면 열을 밖으로 빼내기 쉽고, 작은 칩렛을 사용해 적층 과정의 기계적·열적 문제를 줄일 수 있다고 설명합니다. 내년 제품 출시를 목표로 현재 활용할 수 있는 기술을 선택했다는 점도 강조합니다.

이 전략은 삼성·하이닉스가 점찍은 AI칩 유망주라는 관심과 맞닿아 있습니다. SK하이닉스와 삼성은 디매트릭스에 투자하며, 추론에 필요한 메모리 구조가 달라질 가능성에 주목했습니다. HBM이 학습의 대표적인 메모리 해법으로 자리 잡았더라도, 추론에서는 응답 지연시간과 에너지 효율을 고려한 다른 설계가 필요할 수 있다는 문제의식입니다.

디매트릭스는 엔비디아와 정면으로 맞서는 대신 협력도 택했습니다. GPU가 높은 처리량에 강하다면, 디매트릭스는 SRAM과 적층 D램을 활용해 지연시간을 줄이는 데 초점을 둡니다. 서로 다른 강점을 결합하면 고객이 인프라를 구축하는 데 걸리는 시간과 위험을 줄일 수 있다는 설명입니다.

기존 데이터센터의 GPU를 활용하는 방안도 있습니다. 디매트릭스는 호퍼나 암페어 같은 구형 GPU 옆에 자사 솔루션을 배치해 성능을 높이는 방식을 ‘터보 부스팅’이라고 부릅니다. 최신 GPU로 교체할 때 필요한 전력과 신규 시설 부담을 덜면서 기존 장비의 활용 기간을 늘릴 수 있다는 구상입니다.

물론 적층 구조가 실제 시장에서 경쟁력을 얻으려면 제품 성능뿐 아니라 제조와 열 관리, 고객 시스템과의 통합까지 입증해야 합니다. 데이터센터 건설과 전력 공급의 제약이 커지는 가운데, 앞으로 5년 가장 중요한 기술은 패키징이라는 세스 CEO의 전망이 현실이 될지는 랩터가 비용과 효율을 얼마나 개선하는지에 달려 있습니다. 메모리와 연산을 더 가까이 묶는 이 시도가 AI 추론의 경제성을 바꿀 수 있을지, 이제 시장의 시험대에 오릅니다.

Reference

한국경제: https://www.hankyung.com/article/202611122613i