[뉴스] 로봇도 배워야 산다…피지컬 AI 시대 로봇 교육법은

눈앞의 물체를 집어 옮기는 일은 사람에게 간단해 보입니다. 하지만 로봇에게는 물체의 위치와 모양은 물론, 무게와 마찰력, 주변 장애물까지 고려해야 하는 복잡한 과제입니다. 하드웨어가 정교해도 현실의 변수를 겪어본 데이터가 부족하면 상황에 맞게 움직이기 어렵습니다.

그래서 피지컬 AI의 경쟁력은 로봇을 얼마나 잘 만들었느냐뿐 아니라, 무엇을 어떻게 배우게 하느냐에 달려 있습니다. 대표적인 방법은 사람이 로봇을 직접 조작해 작업을 보여주는 텔레오퍼레이션입니다. 사람이 로봇을 움직여 물체를 보고 집고 옮기는 동안 카메라 영상과 관절 움직임, 위치와 자세 정보가 쌓입니다. 로봇은 이 데이터를 통해 실제 작업 경험을 배웁니다.

사람의 행동이 담긴 영상도 학습 자료로 활용됩니다. 유튜브 등 공개 영상에는 도구를 사용하고 과업을 수행하는 다양한 모습이 담겨 있어 데이터를 확보하기에 유리합니다. 다만 2차원 영상만으로는 물체의 무게나 마찰처럼 실제 물리 정보를 파악하기 어렵습니다. 인간 행동 영상에 로봇의 실제 조작 데이터와 관절 정보 등을 결합해 부족한 경험을 보완하는 이유입니다.

결국 로봇 교육의 출발점은 현실의 작업 경험을 데이터로 바꾸는 일입니다. 로봇이 낯선 상황에서도 안정적으로 움직이려면, 먼저 충분히 보고 만지고 시도하며 배워야 합니다.

로봇도 배워야 산다…피지컬 AI 시대 로봇 교육법은: 가상환경에서 넓어지는 로봇의 교실

실제 공장이나 물류창고에서 로봇을 수천 번 반복 훈련한다면 어떨까요? 장비를 계속 가동하는 비용은 물론, 작업 중 사고와 안전 문제도 감당해야 합니다. 기업들이 디지털 트윈과 시뮬레이션에 주목하는 이유입니다. 현실의 작업장을 가상공간에 구현하면 로봇은 실제 현장에서 재현하기 어렵거나 위험한 상황까지 반복해서 경험할 수 있습니다.

미국 엔비디아는 산업용 로봇과 설비를 디지털 트윈으로 구현해 가상환경에서 시뮬레이션합니다. 국내에서는 NC AI가 현대로템과 함께 무인 장비와 로봇이 마주할 여러 상황을 가상으로 만들고, 학습과 검증에 활용하는 피지컬 AI 통합 시뮬레이터를 개발하고 있습니다. 가상공간은 현실의 제약을 줄이면서 로봇이 다양한 조건에 대응하는 방법을 익히게 하는 또 하나의 훈련장이 되는 셈입니다.

물론 가상 데이터만으로 모든 것을 가르칠 수는 없습니다. 유튜브 같은 인간 행동 영상은 사람이 도구를 다루고 작업을 수행하는 모습을 폭넓게 보여주지만, 2차원 영상만으로 물체의 무게나 마찰력 같은 물리적 특성까지 파악하기는 어렵습니다. 반대로 실제 로봇의 시연·원격 조작 데이터는 물체를 보고 집고 옮기는 과정에서 영상과 관절 움직임, 위치·자세 정보를 담을 수 있습니다.

그래서 핵심은 한 가지 데이터에 의존하지 않는 것입니다. 인간 행동 영상에서 작업의 맥락을 배우고, 실제 로봇 데이터로 현실의 움직임을 익히며, 시뮬레이션으로 다양한 조건과 예외 상황을 반복 검증하는 식입니다. 서로 다른 데이터가 가진 빈틈을 보완할수록 로봇은 더 넓은 환경에 대응할 가능성이 커집니다.

피지컬 AI 시대의 경쟁력은 로봇에게 어떤 일을 맡기느냐만으로 결정되지 않습니다. 사람의 경험을 어떻게 데이터로 바꾸고, 현실에서 얻기 어려운 경험을 어떻게 가상공간에서 가르칠 것인가가 중요해집니다. 결국 로봇을 잘 만드는 일만큼이나, 로봇이 잘 배우도록 설계하는 일이 중요해지고 있습니다.

Reference

한국경제: https://www.hankyung.com/article/202609221680i