[뉴스] 2년 걸리던 걸 며칠 만에…AI 데이터센터로 바꾼 이 기술

AI 데이터센터를 새로 지으려면 전력 설비와 냉각 시설을 마련하고 인허가를 받는 데 시간이 걸립니다. 삼바노바의 로드리고 리앙 최고경영자(CEO)는 새 데이터센터 개발에 2년이 걸릴 수 있지만, 자사 랙은 기존 시설에 들이면 며칠 안에 가동할 수 있다고 말합니다.

그 배경에는 전력 사용량 차이가 있습니다. 리앙 CEO에 따르면 기존 고성능 GPU 랙은 100~150㎾를 소비하는 반면, 삼바노바의 공랭식 랙은 19㎾를 사용합니다. 전력과 냉각 용량이 부족한 오래된 데이터센터라도 이 정도 전력을 감당할 수 있다면 AI 작업에 활용할 여지가 생깁니다.

비결은 재구성형 데이터흐름 칩(RDU)의 설계입니다. GPU가 연산할 때마다 데이터를 메모리에서 가져오는 방식이라면, RDU는 연산장치와 메모리를 칩 안에 배치해 데이터가 흐르는 과정에서 작업을 처리합니다. 필요한 재료를 매번 사러 가는 대신 요리 전에 미리 준비해 차례로 냄비에 넣는 것과 비슷합니다. 데이터 이동을 줄이는 설계가 전력 효율을 높이는 데 기여한다는 설명입니다.

이 저전력 설계가 노리는 곳은 새로 짓는 데이터센터만이 아닙니다. 기존 전력·냉각 설비로는 고성능 GPU 랙을 감당하기 어려운 노후 시설, 이른바 ‘브라운필드’ 데이터센터가 주요 기회입니다. 새 건물을 짓지 않고도 기존 공간을 AI용으로 되살릴 수 있다면, 데이터센터 확충의 시간과 부담을 줄일 수 있기 때문입니다. 리앙 CEO는 전 세계에 삼바노바 랙을 투입해 최신 모델을 실행할 수 있는 데이터센터가 약 1만 곳 있다고 주장합니다.

2년 걸리던 걸 며칠 만에…AI 데이터센터로 바꾼 이 기술, 낡은 시설의 재발견

새 데이터센터를 짓는 데 전력 확보와 인허가까지 2년이 걸린다면, 이미 지어진 시설을 AI 기지로 바꾸는 방법은 어떨까요? 삼바노바는 고성능 GPU 랙을 수용하기 어려운 노후 데이터센터도 저전력 장비를 활용하면 AI용으로 전환할 수 있다고 봅니다.

회사가 내세우는 해법은 재구성형 데이터흐름 칩(RDU)입니다. 삼바노바 최고경영자 로드리고 리앙은 기존 고성능 GPU 랙이 100~150㎾를 사용하는 데 비해 자사의 공랭식 랙은 19㎾를 쓴다고 설명했습니다. 전력과 냉각 설비가 제한적인 시설에서도 활용할 여지가 있다는 것입니다. 리앙 CEO는 삼바노바 랙을 투입하면 기존 시설을 며칠 안에 가동할 수 있다고 강조했습니다. 다만 실제 전환 속도와 가능성은 데이터센터의 설비와 운영 조건에 따라 달라질 수 있습니다.

삼바노바는 전 작업을 GPU 대신 RDU로 처리하자는 것이 아니라, 각 장비의 강점을 나눠 쓰는 방향도 제시합니다. 사용자의 입력을 처리하는 ‘프리필’은 엔비디아 GPU가 맡고, 답변을 생성하는 ‘디코드’는 삼바노바 RDU가 담당하는 분산 추론 구조입니다. AI 활용이 학습에서 추론으로 넓어지면서 작업을 나눠 처리하려는 수요가 커질 수 있다는 계산입니다.

물론 삼바노바가 순탄한 길만 걸어온 것은 아닙니다. 한때 50억달러로 평가받았던 기업가치는 올해 초 자금 조달 과정에서 24억달러로 낮아졌고, 직원 감축도 겪었습니다. 회사가 다시 기회를 찾을 수 있을지는 저전력 장비가 실제 현장에서 비용과 효율을 얼마나 개선하느냐에 달려 있습니다.

AI 에이전트의 확산도 변수입니다. 여러 업무에 특화된 모델을 빠르게 바꿔 실행해야 한다면, 모델 전환의 시간과 비용을 줄이는 기술이 중요해질 수 있습니다. 낡은 데이터센터를 되살리는 전략과 GPU·RDU의 역할 분담이 맞물린다면, 삼바노바는 추론 중심 시장에서 다시 존재감을 키울 수 있을까요?

Reference

한국경제: https://www.hankyung.com/article/202610052873i