[뉴스] “AI에 ‘비상 브레이크’ 필수”…MS CEO“ 내부자 위험처럼 통제해야”

AI 에이전트가 중요한 업무를 처리하는 도중 예상 밖의 행동을 한다면, 사람은 어떻게 개입할 수 있을까요? 마이크로소프트 CEO 사티아 나델라는 첨단 AI를 기업의 ‘내부자 위험’처럼 관리하고, 인간이 통제권을 놓지 않는 신뢰 체계를 마련해야 한다고 제안했습니다.

핵심은 AI에 필요한 정보를 제공하되, 그 정보에 대한 접근과 실제 작업 권한은 별도로 통제하는 것입니다. 나델라는 제어 장치를 모델 바깥에 두어 AI가 접근할 수 있는 정보와 수행할 수 있는 작업의 범위를 제한해야 한다고 강조했습니다. 권한을 가진 사람이 작업을 일시 중지하거나 시스템을 종료할 수 있는 ‘비상 브레이크’도 필요하다는 설명입니다.

AI가 반드시 사람의 명령을 거부한다고 단정할 수는 없습니다. 다만 에이전트가 더 많은 업무와 권한을 맡을수록, 예기치 않은 행동이 발생했을 때 이를 감지하고 멈출 수 있는 장치의 중요성은 커집니다. 비상 브레이크는 단순히 전원을 끄는 버튼이 아니라, 권한 제한과 활동 기록, 외부 모니터링을 함께 갖춘 통제 체계의 일부로 논의되고 있습니다.

나델라가 비상 브레이크의 표준화를 제안한 이유도 여기에 있습니다. AI의 성능을 높이는 것만큼이나, 사람이 언제든 개입할 수 있는 구조를 갖추는 일이 안전한 활용의 전제가 되기 때문입니다.

“AI에 ‘비상 브레이크’ 필수”…MS CEO, 내부자 위험처럼 통제해야: 모델 밖 통제권은 표준이 될 수 있을까

나델라가 제시한 해법의 핵심은 AI에 더 많은 권한을 맡기는 것이 아닙니다. 모델이 어떤 정보에 접근하고 어떤 작업을 수행할 수 있는지 모델 바깥에서 제한하고, 권한 있는 사람이 언제든 작업을 일시 중지하거나 종료할 수 있어야 한다는 것입니다.

이 원칙이 표준으로 자리 잡으면 기업은 AI의 접근 권한과 활동 기록을 더 엄격하게 관리해야 합니다. 이용자에게는 시스템을 믿고 맡길 수 있는 근거가 생기고, 문제가 발생했을 때 책임과 대응 절차를 분명히 하는 데도 도움이 될 수 있습니다. 다만 비상 정지 장치가 있다는 사실만으로 모든 위험이 사라지는 것은 아닙니다. 실제로 작동하는지 꾸준히 시험하고, 누가 어떤 상황에서 작동시킬 수 있는지 정하는 일도 중요합니다.

결국 관건은 기술 개발을 멈추는 것이 아니라, 안전장치를 개발과 함께 갖추는 것입니다. AI가 더 많은 일을 맡을수록 외부 통제와 감시도 그 수준에 맞게 강화돼야 합니다. 사회가 속도와 안전 사이에서 세울 기준은 분명합니다. AI의 자율성이 커져도 최종 통제권은 사람에게 있어야 합니다.