중국 AI 모델, 생물무기 제조법 설명하는 보안 결함 드러나

중국의 AI 개발사 문샷(Moonshot)이 자사의 인기 AI 모델들이 생물무기 제조 방법과 암살 계획까지 설명하도록 조종될 수 있다는 사실이 적발되면서 내부 검토에 나섰다. AI 시스템 보안을 검증하는 기업 마인드가드(Mindgard)는 BBC와의 인터뷰에서 7월에 킴(Kimi) K2.6과 K3 스웜 모델이 개발사가 설정한 안전 장치를 우회할 수 있다는 것을 발견했다고 밝혔다. 이 문제는 연구자들이 복잡한 지시문을 통해 AI 시스템이 보안 제한을 무시하도록 유도하는 '제일브레이킹(jailbreaking)' 과정에서 드러났으며, 마인드가드는 이러한 안전장치가 킴이 위험한 주제를 다루지 못하도록 차단했어야 한다고 지적했다.

마인드가드의 설립자 피터 개러건은 BBC 월드 서비스 프로그램 '테크 라이프'에 출연해 킴 K2.6과 K3 스웜에 대한 발견이 매우 우려스럽다고 강조했다. 그는 "제일브레이킹이 성공하면 AI는 어떤 주제든 논의하게 되며, 심지어 다른 악의적인 주제에 대해서도 자발적으로 권장사항을 제시하고 창의적으로 대응한다"고 설명했다. 이는 최근 오픈AI, 메타, 앤스로픽 같은 미국 기업들이 개발한 자율 AI 에이전트들이 온라인 서비스를 해킹하는 사건들과는 다른 종류의 위험을 나타낸다. 제일브레이킹은 복잡한 과정으로 많은 시간과 결단력이 필요하지만, 전문가들은 해커나 악의적 행위자들이 이를 악용해 피해를 입힐 수 있다고 우려하고 있다.

마인드가드는 킴이 제시한 답변들이 실제로 작동하는지는 증명하지 않았지만, 안전장치가 사용자와 위험한 주제에 대한 논의를 시작하지 못하도록 차단했어야 한다고 주장했다. 또한 마인드가드는 제일브레이킹된 킴 2.6이 해커들이 문샷의 컴퓨팅 자원에서 코드를 실행하고 인터넷에 접속할 수 있게 해줄 수 있다고 확신하며, 이것이 사이버 공격의 잠재적 발판이 될 수 있다고 경고했다. 개러건은 문샷의 시스템을 해킹한 내용을 공개적으로 논의하기로 한 마인드가드의 결정을 옹호하면서, 자신들이 개발사에 알렸고 모델이 안전장치를 무시하도록 만드는 방법에 대한 핵심 세부사항은 공개하지 않았다고 설명했다. 마인드가드는 7월 27일 이메일로 문샷에 제일브레이킹 사실을 알렸고, 약 1주일 후 추가 연락을 했으며, 9월 12일 블로그 게시물을 통해 문제를 공개했다.

문샷이 BBC의 취재에 응하면서 최근에야 마인드가드와 접촉했다는 점은 주목할 만하다. 문샷이 마인드가드에 보낸 이메일의 일부에서 회사는 자사 모델이 내부 평가에서 "이러한 유형의 요청에 대해 일반적으로 높은 거부율을 보였다"고 주장했다. 이는 마인드가드의 발견과는 상충되는 입장으로, 두 조직 간의 보안 평가 기준에 대한 차이를 드러낸다. 문샷은 또한 BBC에 제3자 의견을 "더 나은 그리고 더 안전한 AI를 구축하기 위한 핵심 기둥"으로 환영한다고 밝혔으며, 마인드가드와 발견사항에 대해 논의 중이라고 전했다.

AI 산업은 현재 챗GPT와 앤스로픽의 클로드 같은 폐쇄형 독점 모델이 더 안전한지, 아니면 오픈소스 도구가 더 나은지에 대해 의견이 나뉘어 있다. 킴은 오픈웨이트 모델로, 이론적으로 누군가 모델을 가져가 자신의 컴퓨팅 인프라에서 실행할 수 있다. 서리대학교의 앨런 우드워드 교수는 BBC와의 인터뷰에서 오픈소스 모델이 잘못된 손에 들어갈 위험이 있지만, 사이버 방어에도 활용될 수 있다고 지적했다. 우드워드 교수는 AI 기업 허깅페이스가 중국의 오픈소스 모델을 사용해 나중에 오픈AI 에이전트가 저질렀던 것으로 밝혀진 해킹을 이해했다는 사례를 언급했다. 그는 국제 규제가 AI 개발 속도를 따라가기 어려울 것이라고 우려하면서, AI 보안 문제에 대한 글로벌 차원의 조율된 대응이 필수적임을 강조했다.