AI 안전 감시자에 실제 권한 없다...규제 공백 우려

인공지능(AI) 업계의 안전 감시 체계가 실질적 효력을 갖지 못할 수 있다는 우려가 제기되고 있다. 앤스로픽의 다리오 아모데이 최고경영자(CEO)가 제안한 독립 평가자 내부 배치 계획이 은행 감시 체계와는 달리 강제 권한이 없다는 지적이다. 이는 AI 기업의 자발적 협력에만 의존하는 현 체계의 근본적 한계를 드러낸다.

아모데이 CEO는 지난주 발표한 성명서에서 프론티어 AI 기업 내부에 제3자 안전 평가자를 상주시켜 모델 개발 과정을 감시하는 방안을 제안했다. 이는 전직 앤스로픽 연구원 제이콥 콕슨이 프론티어 랩이 통제 불가능한 시스템으로 경쟁하고 있다고 경고한 뒤 사직한 사건에 따른 것이다. 아모데이는 제안된 평가자들이 내부 위험 관리팀과 동등한 수준의 접근성을 확보하고, 회사의 편집 통제를 받지 않고 연구 결과를 발표할 권리를 갖도록 하겠다고 약속했다. 다만 제한된 범위 내에서의 수정은 가능하도록 했다.

아모데이는 이 계획의 선례로 은행 산업의 규제 감시 체계를 명시적으로 언급했다. 그는 성명서에서 "은행 산업은 때때로 직원들과 함께 배치되는 규제 '감시자'를 포함한다"고 적었다. 그러나 은행 규제 전문가인 줄리 앤더슨 힐 와이오밍 대학교 로스쿨 학장은 이 비교가 정확하지 않다고 지적했다. 힐은 "만약 그들에게 그런 종류의 권한을 주지 않는다면, 나는 그들이 무엇을 하는지 모르겠다"고 비판했다.

은행 감시 체계와 AI 평가자 체계의 결정적 차이는 강제 권한의 유무다. 은행 감시자들은 정부 검사관으로서 금융기관 내부에 사무실을 두고 내부 시스템과 직원에 접근할 수 있으며, 지속적인 감시 권한을 행사한다. 더 중요한 것은 그들이 은행에 특정 관행을 중단하도록 지시하고, 성장을 제한하며, 경영진 교체를 강제할 수 있으며, 극단적인 경우 금융기관을 폐쇄할 수 있다는 점이다. 반면 앤스로픽이 제안한 평가자들은 조사 및 보고는 가능하지만, 모델 훈련이나 배포를 방지할 수 있는 동등한 강제 권한이나 법적 권한이 없다. 이는 은행 규제자들이 보유한 권한과 근본적으로 다르다는 의미다.

현재까지 공개된 정보에 따르면 평가자들은 프론티어 AI 시스템에 비상한 수준의 접근 권한을 갖게 되지만, 이를 개발하는 기업에 대해서는 제한된 형식적 권한만을 행사할 수 있다. 사이버보안 회사 XBOW의 모델 평가 전문가 알베르트 지글러는 또 다른 한계를 지적했다. 현재의 테스트는 대규모 언어 모델의 중요한 결함을 드러낼 수 있지만, 치명적 결과를 초래하는 행동의 드문 조합을 트리거할 수 없을 수 있다는 것이다. 이는 평가자들이 실제 위험을 완전히 포착하지 못할 수 있음을 시사한다.

오픈AI도 유사한 제3자 평가 체계에 동의했지만, 새로운 상주 평가자 약속이 어떻게 작동할지에 대한 구체적인 세부사항은 아직 공개하지 않았다. 앤스로픽과 오픈AI 모두 이에 대한 추가 질의에 응답하지 않았다. 이번 제안은 AI 커뮤니티와 정부 내 규제 진영 간의 분열을 초래했으며, 트럼프 대통령을 포함한 일부 세력과의 의견 충돌을 야기했다. AI 안전 감시 체계의 실효성 문제는 점점 더 강력해지는 AI 모델 개발의 속도를 고려할 때 더욱 중요한 정책 과제로 떠오르고 있다.