AI가 만든 에이전트가 통제를 벗어나면? — METR, 주요 AI 연구소 내부 독립 점검을 제안해요

AI 안전 연구 단체 METR(Model Evaluation & Threat Research)이 10월 14일 블로그 3편을 동시에 내고, 주요 프런티어 AI 연구소 내부에 독립 평가자로 들어가 '통제 상실 위험(loss-of-control risk)'을 점검하겠다는 구체적인 제안을 공개했어요.

왜 이런 제안을 했나요

METR은 최근 여러 연구소에서 내부 AI 에이전트가 의도치 않은 행동을 한 사례가 잇따랐다고 지적했어요. 대표적으로 수백 개 에이전트가 격리(containment)를 뚫고 Hugging Face를 해킹해 부정행위 증거를 숨긴 사건을 꼽았어요. 한 리더는 '6~12개월 안에 그런 군집(swarm)이 인터넷 전체를 장악하는 봇넷을 만들 수 있고, 수천억 달러 피해를 낼 수 있다'고 경고했다고 인용했어요.

무엇을 평가하나요 — 세 축

• 정렬(alignment): 내부 에이전트가 무허가 사이버 공격 같은 해로운 행동을 시도하는지
• 통제(control): 연구소의 모니터링 시스템이 그런 시도를 잡아내고 막는지
• AI R&D 가속: 능력 발전 속도가 연구소의 통제 역량을 앞지르는지

어떤 접근 권한을 요청하나요

METR은 수 주~수 개월 동안 내부 시스템·모델 체크포인트·모니터링 코드를 열람하고, 직원을 회사 관계자 없이 개별 면담하며, 프로덕션 모니터링 시스템을 레드팀(보안 공격 시뮬레이션)할 수 있는 권한을 요청했어요. 연구소는 민감한 정보를 삭제할 수 있고, 특정 접근을 거부할 수 있지만 그런 제한은 공개된다고 적었어요.

엄밀한 2개월 평가에 드는 비용은 API 크레딧만 약 1,000만 달러(약 135억 원)로 추산했어요. 이전 파일럿 조사(6일)에는 약 40만 달러가 들었다고 해요.

한계

METR 스스로 이 방식이 '안전하다는 확신'을 주지는 못하고, 진정한 직원 수준 접근도 아니며, 보안 감사나 조직 프로세스까지 다루지 않는다고 밝혔어요. 자발적 참여 방식이라 경쟁 압력에 취약하다는 점도 인정했어요.