[뉴스] 젠슨 황의 신비로운 메모리 플랫폼…삼성·SK 기회 잡나 [강해령의 테크앤더시티]

엔비디아 CEO 젠슨 황이 CES 2026에서 공개한 신비로운 메모리 플랫폼 ‘Inference Context Memory Platform’은 AI 추론 시대에 어떤 혁신을 가져올까요? 현존 AI의 한계를 깬 이 기술의 비밀을 탐험해봅시다.

최근 젠슨 황의 발표는 AI 산업에 새로운 지평을 열고 있습니다. 특히 ‘Inference Context Memory Platform’(이하 ICMS)은 기존의 GPU 메모리 구조를 넘어서는 획기적인 기술로 관심을 끌고 있는데요. 이 플랫폼은 단순한 저장 장치를 넘어, AI 추론 성능과 효율성을 극대화하는 핵심 열쇠로 부상하고 있습니다.

이 기술의 핵심은 ‘KV 캐시’에 있습니다. AI가 사용자와의 대화 또는 복잡한 계산 맥락을 기억하고 재사용하는 방식으로, 연산 속도를 비약적으로 향상시키는 역할을 합니다. 특히, 생성형 AI와 이미지·동영상 데이터의 폭발적인 증가 속에서 KV 캐시의 중요성은 점점 더 커지고 있습니다.

젠슨 황은 CES에서 이 ICMS 플랫폼을 통해 기존 GPU 서버보다 16배 이상 커진 저장 용량(최대 9600TB)을 갖추고, 초당 200GB의 KV 캐시 전송 속도를 구현했다고 밝혔습니다. 이를 통해 AI 추론의 병목 현상을 크게 줄이고, 보다 자연스럽고 빠른 대화와 연산이 가능해졌습니다. 이러한 기술적 진전은 엔비디아가 향후 AI 시장에서 다시 한번 선도 기업의 위치를 공고히 하는 계기가 될 전망입니다.

특히, 이 플랫폼은 삼성전자와 SK하이닉스 같은 글로벌 낸드 플래시 강자들에게도 중요한 기회를 제공합니다. 기존 서버 내 SSD와 낸드 제품의 활용도를 극대화할 수 있기 때문이죠. 엔비디아는 이번 ICMS 도입으로 AI 중심의 데이터 저장과 처리 구조에 새로운 패러다임을 제시하며, 낸드 시장에도 큰 영향을 끼칠 것으로 기대되고 있습니다.

젠슨 황의 신비로운 메모리 플랫폼은 AI 기술 발전뿐만 아니라, 글로벌 반도체 업계의 경쟁 구도에도 큰 변화를 예고하고 있습니다. ‘삼성·SK 기회 잡나’라는 말이 나올 만큼, 앞으로 이 기술이 어떤 식으로 시장을 재편할지 귀추가 주목됩니다. AI 추론의 한계를 뛰어넘는 젠슨 황의 혁신이 담긴 이 플랫폼이, 과연 다음 시대의 핵심 인프라로 자리 잡을 수 있을지, 기대를 모으고 있습니다.

ICMS와 KV 캐시: 미래 AI 메모리의 핵심 기술

왜 기존 GPU 메모리 구조로는 AI 추론의 폭발적 성장에 대응이 어려웠을까? 그 핵심에는 엔비디아의 젠슨 황이 선보인 혁신적인 신기술인 ICMS(추론 맥락 메모리 플랫폼)와 KV 캐시가 자리잡고 있습니다. 이 두 기술이 어떻게 기존 한계들을 뛰어넘으며, 삼성전자와 SK하이닉스에게 새로운 기회를 만들어줄지 상세히 분석해보겠습니다.

기존 GPU 메모리 구조의 한계와 AI 추론의 성장

현재 대부분의 AI 시스템은 GPU 내 HBM 또는 D램 메모리를 기본으로 운영됩니다. 그러나 AI의 추론 단계에서는 대량의 맥락 데이터를 빠르게 저장하고 빠르게 꺼내는 것이 관건입니다. 특히 생성형 AI의 일상화와 긴 대화 맥락 처리, 다양한 이미지·동영상 데이터의 폭발적 증가로 인해 기존 GPU 메모리의 한계가 드러나기 시작했습니다.

• 메모리 용량 부족: 기존 GPU당 1TB 수준의 HBM으로는 방대한 KV 캐시를 저장하기 어려움
• 속도와 병목 현상: KV 캐시를 사용하더라도, 대용량 데이터 전송과 처리에 병목이 발생하며 AI 환각(잘못된 출력) 문제도 심화
• 확장성 제약: 단일 서버 내, 또는 GPU 간 통신 비용이 높아지면서 효율적 확장이 어려워졌습니다.

이러한 문제는 결국, AI가 더 많은 맥락 정보를 빠르게 저장하고 활용할 수 있는 신개념 메모리 인프라의 필요성을 촉발시켰습니다.

엔비디아의 ICMS와 DPU 기반 초고용량 SSD 전략

젠슨 황이 CES 2026에서 공개한 ICMS(Inference Context Memory Storage)는 바로 이 한계를 돌파하기 위한 차세대 플랫폼입니다. 핵심은 DPU와 초고용량 SSD를 결합하여, 서버 외부 또는 내부의 저장 용량을 기존보다 수 배 이상 확장하는 것입니다.

• DPU(데이터처리장치)는 네트워크와 저장장치 간 데이터 흐름을 최적화하며, 특히 ‘블루필드-4’ DPU는 서버 내 16개 SSD 트레이에 600TB씩 관리할 수 있는 구조를 갖추고 있습니다.
• 초고용량 SSD를 활용해, 서버 한 곳에 최대 9600TB(9.6페타바이트)의 KV 캐시를 저장할 수 있어, AI의 맥락 데이터 저장 능력을 획기적으로 늘립니다.
• KV 캐시의 전송 속도는 초당 200GB 수준으로 유지되어, 기존 GPU 구조의 네트워크 병목을 해결하며 실시간 추론에 적합한 환경을 마련합니다.

이 플랫폼은 기존 GPU와의 호환 문제도 해소하며, AI 추론 속도와 신뢰성을 모두 향상시켜 대규모 언어모델과 생성형 AI의 발전에 적합한 기반을 마련하고 있습니다.

삼성이 기대하는 기회와 SK 하이닉스의 대응

이러한 엔비디아의 기술 혁신은, 낸드플래시와 SSD를 주력으로 하는 반도체 기업들에게 큰 기회를 열어줍니다. 특히 삼성전자와 SK하이닉스는 이번 ICMS와 연관된 대규모 저장장치 수요 확대로 인해, 낸드칩과 SSD 시장의 재부활을 기대할 수 있습니다.

• 삼성전자는 서버용 SSD 시장의 가격 상승과, 대규모 낸드 공급 확대로 수혜를 기대할 수 있으며,
• SK하이닉스도 PCIe 6세대 기반 1억 IOPS 지원 SSD 개발로 시장 경쟁력을 확보할 전망입니다.

이들은 엔비디아의 미래 AI 생태계 확장에 최적화된 스토리지 솔루션을 제공하며, 급증하는 데이터 저장 수요와 AI 추론의 고속화에 핵심 역할을 담당할 것입니다.
특히, 엔비디아가 추진하는 ‘스토리지 넥스트’와 같은 프로젝트는 낸드 전성 시대를 이끄는 핵심 동력으로 부상하며, 이들 반도체 기업에 새로운 성장의 기회를 제공하고 있습니다.

결론: 신기술이 몰고 올 AI 메모리 패러다임의 변화

젠슨 황의 신비로운 메모리 플랫폼인 ICMS와 KV 캐시는, AI 시대의 메모리 한계를 훌쩍 뛰어넘는 혁신적 솔루션입니다. 기존 GPU 구조로는 더 이상 확장과 성능 확보가 어렵던 상황에서, 엔비디아는 GPU와 초고용량 SSD, DPU를 활용하여 AI 추론의 미래를 새롭게 그려내고 있습니다.

이 기술들은 결국 삼성전자와 SK하이닉스 같은 글로벌 반도체 기업들이 시장 기회를 잡는 중요한 열쇠가 될 것으로 보입니다. 과연 이들이 어떻게 대응할지, 그리고 미래 AI 생태계는 어떤 모습으로 진화할지 기대가 모아집니다.

젊은 AI, 데이터 사이언스, 그리고 반도체 산업 종사자라면 반드시 주목해야 할 강해령 기자의 심층 분석입니다.

Reference

한국경제: https://www.hankyung.com/article/202601249947i