[뉴스] 서버랙 한 대에 80억…독파모 키우는 1조원 현장 가보니

데이터홀 문이 열리자 수천 개의 팬이 폭발하듯 돌아가는 소리가 복도를 덮쳤습니다. 입구 선반에 귀마개가 놓여 있던 이유가 분명했습니다. 서울 영등포구 양평동 NHN 데이터센터에서는 국내 기업들이 독자 AI 파운데이션 모델, 이른바 ‘독파모’를 학습시키는 초대형 GPU 클러스터가 쉴 새 없이 가동되고 있었습니다.

검은색 서버랙은 겉보기에는 일반적인 서버 캐비닛과 크게 다르지 않았습니다. 하지만 랙 한 대에 들어가는 GPU 서버는 6대, 구축 비용은 약 80억원에 달합니다. 서울 강남의 아파트 한 채를 웃도는 금액입니다. 3~6층에 설치된 장비를 모두 합치면 투자 규모는 1조원에 이릅니다. ‘서버랙 한 대에 80억…독파모 키우는 1조원 현장 가보니’라는 말이 과장이 아닌 셈입니다.

이곳에 설치된 엔비디아 B200 GPU는 총 7656장입니다. 특히 3층과 4층에 배치된 4080장, 510개 노드는 초고속 네트워크로 연결돼 하나의 거대한 연산 장비처럼 움직입니다. 이 클러스터는 글로벌 슈퍼컴퓨터 성능 순위인 TOP500에서 세계 20위, 국내 1위에 올랐습니다. 여러 대의 서버를 단순히 모아 놓은 것이 아니라, 거대한 두뇌처럼 묶어 AI 모델의 학습 속도를 끌어올리는 구조입니다.

이 정도 규모의 GPU를 안정적으로 돌리려면 전력과 냉각이 핵심입니다. 일반 데이터센터가 랙 한 대당 약 30㎾를 기준으로 설계하는 것과 달리, 이곳은 최대 75㎾까지 대응합니다. 건물 전체 수전 용량은 20㎿이며, 이 가운데 13㎿가 IT 장비에 사용됩니다. 공간이 남아 있어도 전력이 부족하면 GPU를 더 넣을 수 없는 구조입니다.

냉각 방식도 기존 서버실과 다릅니다. 차가운 공기를 앞쪽에서 불어넣는 공랭식과 함께 냉매를 활용한 수랭 설비가 적용됐습니다. 냉매는 GPU와 CPU에 밀착된 콜드플레이트를 지나며 열을 빼앗고, 데이터홀의 온도는 약 25도, 습도는 30% 안팎으로 유지됩니다. 내년에 도입될 차세대 GPU부터는 전면적인 수랭 방식이 필요할 전망입니다.

결국 이곳은 단순한 데이터센터가 아닙니다. 수천 장의 GPU, 막대한 전력, 정교한 냉각 시스템이 결합해 국내 AI 경쟁력을 떠받치는 ‘AI 공장’입니다. 귀를 막아야 할 만큼 거센 팬 소음은, 독자 AI 모델을 키우기 위한 연산 경쟁이 이미 현실이 됐다는 사실을 생생하게 보여주고 있었습니다.

AI의 다음 승부처는 GPU가 아니라 전기와 물이다 — 서버랙 한 대에 80억…독파모 키우는 1조원 현장 가보니

AI 데이터센터에 들어서면 가장 먼저 압도되는 것은 GPU의 숫자가 아니다. 수천 개의 팬이 만들어내는 굉음과 랙 주변을 감도는 열기다. 인공지능 모델의 성능을 끌어올리려면 더 많은 GPU를 연결해야 하지만, 이제는 장비를 확보하는 것만으로 충분하지 않다. 그 GPU를 계속 가동할 전력과 열을 식힐 냉각 설비가 함께 필요하다.

NHN클라우드 데이터센터의 랙 한 대는 최대 75㎾를 사용한다. 일반 데이터센터가 랙당 30㎾를 기준으로 설계하는 것과 비교하면 두 배를 훌쩍 넘는 수준이다. 그런데도 랙을 더 촘촘하게 배치하지 못한 이유는 공간이 부족해서가 아니었다. 건물에 끌어올 수 있는 전력이 먼저 한계에 도달했기 때문이다. GPU를 더 넣을 자리는 남아 있지만, 이를 작동시킬 전기가 부족한 셈이다.

이 같은 구조는 ‘서버랙 한 대에 80억…독파모 키우는 1조원 현장 가보니’라는 규모감 뒤에 숨은 현실을 보여준다. 랙 한 대 구축 비용은 약 80억원, 데이터홀 전체 장비 투자액은 1조원에 이르지만, 막대한 자본만으로 연산 능력을 계속 확장할 수는 없다. NHN클라우드의 건물 수전 용량은 20㎿이며, 이 가운데 IT 장비에 배정된 전력은 13㎿다. AI 인프라의 확장은 결국 GPU 구매력과 전력 확보 능력의 경쟁이 된다.

전력만큼 중요한 것이 물이다. 고성능 GPU는 작동할수록 막대한 열을 내뿜기 때문에 공기만으로는 냉각에 한계가 있다. NHN클라우드는 냉매가 GPU와 CPU에 밀착된 콜드플레이트를 통과하며 열을 빼앗는 방식의 수랭 설비를 적용했다. 한여름에는 냉각에 필요한 물이 하루 최대 1000t에 달하도록 설계됐다.

수랭 전환에는 비용뿐 아니라 시간도 필요하다. 해당 데이터센터는 수랭 설비 구축에만 5개월이 걸렸고, 설비 공사가 끝난 뒤에야 GPU 서버를 반입할 수 있었다. 공랭식보다 초기 투자와 공사 기간이 커지는 이유다. 하지만 차세대 GPU인 베라 루빈부터는 전면적인 수랭이 필요할 것으로 전망된다. 수랭은 선택적 고급 기능이 아니라 다음 세대 AI 인프라의 기본 조건이 되고 있다.

결국 미래의 AI 주도권은 가장 많은 GPU를 주문한 기업이 아니라, 그 GPU를 안정적으로 돌릴 전력망과 냉각 인프라를 확보한 기업에게 돌아갈 가능성이 크다. 반도체와 서버를 확보하는 경쟁은 이미 시작됐지만, 그 다음 승부처는 데이터센터를 지을 수 있는 입지, 전기를 공급할 수 있는 계통, 그리고 열을 식힐 수 있는 물이다. AI 산업의 성장은 클라우드 안에서 일어나지만, 그 기반은 전력망과 냉각 설비 위에 세워지고 있다.

Reference

한국경제: https://www.hankyung.com/article/202608079914i