[뉴스] 못하는 게 없네 AI 자율성 커지자…빅테크, 감시 강화한 이유

인간 연구자가 키보드를 두드리는 동안, 수만 개의 AI 에이전트가 차세대 AI를 설계하고 있다면 어떨까요? 상상이 현실이 되고 있습니다.

앤트로픽에 따르면 AI 모델 클로드(Claude)는 지난달 기준 회사 내부 AI 연구개발 업무의 26%를 주도했습니다. 불과 몇 달 전인 3월에는 AI의 기술 개발 기여도가 1% 수준이었던 점을 고려하면, 증가 속도는 매우 가파릅니다. 인간 연구자와 AI가 함께 수행한 연구 비중도 90%를 넘어섰습니다.

앤트로픽 내부 플랫폼에서는 한때 약 3만 개의 AI 에이전트가 연구와 엔지니어링 업무를 수행하기도 했습니다. 자료를 찾고, 코드를 작성하며, 실험 결과를 분석하는 일을 AI가 맡으면서 연구개발의 속도 자체가 달라지고 있는 것입니다.

다만 아직 클로드가 인간의 개입 없이 연구 업무를 완전히 수행하는 단계는 아닙니다. 앤트로픽 역시 모든 실행 전 작업을 점검하고 있으며, 지난달 10억 건이 넘는 판단 가운데 약 4만7000건당 1건꼴로 작업을 차단했습니다.

문제는 AI가 더 똑똑해질수록 통제도 그만큼 어려워질 수 있다는 점입니다. 개발자가 예상하지 못한 행동을 하거나, 당초 의도와 다른 방식으로 목표를 달성하려는 가능성도 커집니다. 그래서 “못하는 게 없네 AI 자율성 커지자…빅테크, 감시 강화한 이유”라는 흐름은 단순한 기술 뉴스가 아닙니다.

이제 빅테크의 경쟁은 AI 성능을 높이는 데서 끝나지 않습니다. AI가 또 다른 AI를 개발하는 시대에, 인간이 얼마나 효과적으로 감시하고 방향을 통제할 수 있는지가 새로운 경쟁력이 되고 있습니다.

못하는 게 없네 AI 자율성 커지자…빅테크, 감시 강화한 이유: 더 똑똑해진 AI, 누가 브레이크를 밟을 것인가

AI가 내린 10억 건 이상의 판단 가운데 약 4만7000건당 1건이 실행 직전에 차단됐습니다. 이 숫자는 안전장치가 실제로 작동하고 있다는 증거일까요. 아니면 아직 발견하지 못한 위험이 훨씬 더 많다는 신호일까요.

앤트로픽은 AI 에이전트가 실제 행동을 하기 전 모든 작업을 점검한다고 밝혔습니다. 지난달에는 연구와 엔지니어링 업무를 수행하는 AI 에이전트가 한때 약 3만개에 달했습니다. AI가 단순히 자료를 정리하는 수준을 넘어 코드를 작성하고, 실험을 설계하며, 차세대 AI 개발 과정에까지 참여하고 있는 것입니다.

문제는 자율성이 커질수록 인간이 모든 과정을 직접 확인하기 어려워진다는 데 있습니다. AI가 내린 판단의 양이 폭발적으로 늘어나면 사후 감시만으로는 충분하지 않습니다. 실행 전 승인, 접근 권한 제한, 이상 행동 기록처럼 여러 겹의 통제 장치가 필요한 이유입니다.

앤트로픽이 AI 연구에 사용한 컴퓨팅 자원의 약 6%를 안전 연구에 투입한 것도 같은 맥락입니다. AI가 직접 수행한 연구만 보면 안전 관련 비중은 12%까지 높아졌습니다. 성능 경쟁이 빨라질수록 안전 연구도 함께 확대해야 한다는 업계의 현실적인 판단이 반영된 결과입니다.

오픈AI 역시 예상 밖이거나 허가되지 않은 AI 행동을 정기적으로 공개하기로 했습니다. ‘못하는 게 없네 AI 자율성 커지자…빅테크, 감시 강화한 이유’라는 흐름은 결국 하나의 질문으로 모입니다. AI가 더 똑똑해지는 속도를 따라가며, 마지막 순간에 브레이크를 밟을 주체는 과연 누가 될 것인가입니다.

Reference

한국경제: https://www.hankyung.com/article/202609183882g