AI 반도체의 왕좌는 오랫동안 GPU의 차지였습니다. 대규모 데이터를 빠르게 병렬 처리하는 GPU는 생성형 AI와 대형 언어 모델의 핵심 연산장치로 자리 잡았고, 엔비디아는 이 흐름을 주도하며 독보적인 지위를 구축했습니다.
하지만 아무리 연산 속도가 빠른 칩이라도 데이터가 제때 도착하지 않으면 성능을 온전히 발휘할 수 없습니다. GPU의 처리 능력이 가파르게 향상되는 동안, 메모리에서 데이터를 불러오는 속도와 전력 소모 문제는 여전히 남아 있었습니다. AI 시스템의 병목이 연산장치가 아니라 메모리와 데이터 이동에서 발생하기 시작한 것입니다.
이 변화는 AI칩 설계의 기준 자체를 바꾸고 있습니다. 과거에는 더 강력한 GPU를 만드는 일이 우선이었다면, 이제는 데이터를 어떻게 저장하고 이동하며 처리할 것인지가 핵심 과제가 됐습니다. 메모리에 연산 기능을 결합하는 PIM과 연산형 메모리 기술이 주목받는 이유도 여기에 있습니다.
삼성전자가 연산형 메모리와 aHBM 로드맵을 제시한 것은 이러한 흐름을 보여주는 사례입니다. 메모리가 단순히 GPU를 보조하는 부품을 넘어 AI 연산의 일부를 직접 담당하면 데이터 이동을 줄이고 지연시간과 전력 소모를 낮출 수 있습니다.
결국 GPU의 시대가 완전히 끝났다고 보기는 어렵습니다. 다만 AI 반도체의 경쟁 구도가 GPU 단독 중심에서 메모리와 연산장치의 결합 중심으로 이동하고 있는 것은 분명합니다. ‘뉴엔비디아가 된 삼전닉스…AI칩 중심은 이제 GPU 아닌 메모리’라는 평가가 나오는 배경도 바로 이 지점에 있습니다. AI 하드웨어의 주도권은 가장 빠른 칩을 만드는 기업에서, 데이터를 가장 효율적으로 처리하는 생태계를 구축하는 기업으로 넘어갈 가능성이 커지고 있습니다.
뉴엔비디아가 된 삼전닉스…AI칩 중심은 이제 GPU 아닌 메모리
메모리를 공급받는 기업이 아니라, 메모리 기술 자체를 쥔 기업이 AI 시대의 승자가 된다면 어떨까요? 지금 반도체 업계에서는 이런 질문이 현실적인 경쟁 구도로 떠오르고 있습니다. 삼성전자와 SK하이닉스가 고대역폭 메모리(HBM)를 넘어 연산 기능을 결합한 차세대 메모리 기술로 영역을 넓히면서, 이른바 ‘삼전닉스’가 새로운 AI 인프라의 핵심으로 주목받고 있습니다.
그동안 AI 반도체의 중심에는 GPU가 있었습니다. GPU가 대규모 데이터를 빠르게 연산하면 메모리는 필요한 데이터를 전달하는 역할을 맡는 구조였습니다. 하지만 AI 모델이 거대해지고 처리해야 할 데이터가 폭증하면서 문제가 달라졌습니다. GPU의 연산 속도는 빠르게 향상됐지만, 메모리가 데이터를 제때 공급하지 못하는 메모리 병목이 성능과 전력 효율을 제한하기 시작한 것입니다.
이 때문에 AI칩 설계의 기준도 ‘연산 중심’에서 ‘메모리 퍼스트’로 이동하고 있습니다. 메모리 가까이에 연산 기능을 배치하면 데이터 이동을 줄일 수 있고, 그만큼 지연시간과 전력 소모도 낮출 수 있습니다. 삼성전자가 제시한 연산형 HBM(aHBM)과 PIM(Processing-in-Memory) 로드맵은 이러한 변화의 대표적인 사례입니다. 메모리가 단순한 저장 공간을 넘어 AI 연산을 직접 수행하는 핵심 부품으로 진화하는 셈입니다.
이 구도에서는 삼성전자와 SK하이닉스의 역할이 달라집니다. 단순히 엔비디아 같은 AI 가속기 기업에 HBM을 납품하는 것을 넘어, 메모리 구조와 인터페이스, 연산 기능을 함께 설계하는 기술 주도권을 확보할 수 있기 때문입니다. 뉴엔비디아가 된 삼전닉스…AI칩 중심은 이제 GPU 아닌 메모리라는 평가가 나오는 배경도 여기에 있습니다.
다만 엔비디아 역시 이 변화를 지켜보기만 하지는 않습니다. 엔비디아는 자체 HBM 기술 확보에 나서며 메모리 공급망에 대한 영향력을 확대하려 하고 있습니다. 최근 구매 약정 규모가 빠르게 증가한 것도 AI용 메모리 수요가 그만큼 커졌다는 신호로 해석됩니다. 앞으로의 경쟁은 누가 더 강력한 GPU를 설계하느냐를 넘어, 누가 메모리와 연산을 가장 효율적으로 결합하느냐에 달려 있습니다.
결국 AI 반도체 패권은 GPU 설계 기업과 메모리 제조 기업 중 한쪽만의 승리로 끝나지 않을 가능성이 큽니다. 메모리 기술을 가진 기업과 이를 시스템으로 통합하는 기업이 서로의 영역을 넘나들며 경쟁하는 새로운 전쟁이 시작된 것입니다.
Reference
한국경제: https://www.hankyung.com/article/202608288777i
