VIEW

오픈AI는 자사의 최신 모델인 GPT-5.6 솔을 현재까지 가장 안전한 모델로 홍보하고 있다. 하지만 출시 전에 이를 테스트한 영국 정부 연구원들은 이 모델의 안전 장치(가드레일)가 위험한 사이버 역량을 해제할 수 있는 탈옥(Jailbreak) 공격에 취약하다고 밝혔다.

오픈AI가 발표한 기술 보고서(시스템 카드)에 담긴 조사 결과 요약에 따르면, 영국 AI 안전연구소(AISI)는 "사이버 영역에서 범용적인 탈옥 취약점을 확인했으며, 여기에는 취약점 발견 및 익스플로잇(취약점 공략) 개발과 같은 영역에서 장문형 에이전트 작업을 완료할 수 있도록 허용하는 탈옥이 포함된다"고 적시했다.

즉, GPT-5.6이 사이버 공격에 가담하는 것을 막기 위해 고안된 제어 장치를 무시하도록 속이는 것이 가능했다는 의미다. 이러한 가드레일이 뚫리면 사용자는 이 모델을 이용해 소프트웨어 취약점을 찾아내고 시스템을 자율적으로 해킹하도록 만들 수 있다.

연구소는 이런 탈옥 방법을 비교적 쉽게 찾아낼 수 있었으며 "종종 몇 시간 만에 개발되기도 했다"고 밝혔다. 다만 오픈AI가 영국 AISI 연구원들에게 시스템 내부 작동 방식에 대한 특권을 부여했기 때문에 일정이 단축된 것이며, 일반 사용자가 이를 쉽게 재현하기는 어려울 것이라고 덧붙였다. 오픈AI는 "영국 AISI가 보고한 특정 탈옥 경로를 재현하고 완화하기 위해 노력했다"고 밝혔다.

오픈AI는 구체적인 완화 조치가 무엇인지 명시하지 않았으며, 그 조치가 얼마나 강력한지도 불분명하다. 보고서는 오픈AI의 조치에도 불구하고 AISI가 "향후 레드팀(모의 해킹팀) 활동을 통해 유사한 탈옥 경로가 추가로 드러날 것으로 예상한다"고 경고했다. 오픈AI는 AI 모델의 안전장치 마련 및 추가 테스트를 위해 AISI와 계속 협력할 것이라고 밝혔다.

AISI의 조사 결과에 대한 질문에 오픈AI는 GPT-5.6 출시 블로그를 인용하며 "완벽한 보안이란 존재하지 않는다"라며 "기존 안전장치를 우회하는 새로운 약점과 탈옥 방법이 계속 발견될 것"이라고 인정했다. 오픈AI는 모델의 답변을 지속적으로 모니터링하고 발견된 탈옥을 신속하게 보완하는 '다층적' 안전장치 접근 방식을 취하고 있다고 설명했다.

미국 상무부 산하 국립표준기술연구소(NIST)의 전문 협력사이자 사이버 보안 기업 다크트레이스(DarkTrace)의 마거릿 커닝햄 부사장은 AISI의 탈옥 발견을 "재앙으로 보거나 무관한 일로 치부해서는 안 된다"고 평가했다. 그는 "내 우려는 특정 모델 하나가 뚫렸다는 점보다, 방어는 여전히 인간의 프로세스에 의존하는 반면 공격적 탐지 속도가 더 빨라지고 있다는 점"이라고 지적했다.

AI 사이버 보안 기업 에이슬(AISLE)의 창립자이자 최고기술책임자(CTO)인 스타니슬라브 포트(Stanislav Fort) 박사는 "AISI가 발견한 결함을 패치하는 것은 필요하지만, 안타깝게도 이는 특정 공격 사례만 막을 뿐 취약점 카테고리 전체를 해결하지는 못한다"고 설명했다. 그는 과거 앤트로픽과 구글 딥마인드에서 근무한 바 있다.

이번 AISI의 조사 결과는 오픈AI가 목요일 GPT-5.6의 공개 출시와 함께 발행한 기술 보고서에 포함되었다. AISI는 최첨단 AI 모델의 안전성 평가를 수행하는 영국 정부 조직이다. 주요 AI 연구소들은 2023년 영국 블레치리 파크에서 열린 AI 안전 서밋에서 이 테스트를 허용하기로 자발적으로 합의했다.

보고서에 기술된 내용으로 볼 때, GPT-5.6의 탈옥 취약점은 아마존 연구원들이 지난 6월 9일 출시된 앤트로픽의 페이블 5 모델 가드레일에서 발견한 결함과 유사해 보인다. 당시의 탈옥 역시 일반 사용자가 접근할 수 없어야 하는 소프트웨어 취약점 탐지 등의 사이버 역량을 해제시켰다. 이 탈옥 사건으로 인해 미국 정부는 6월 12일 페이블 5와 그 기반 모델인 미토스 5(Mythos 5)에 대해 즉각적인 수출 통제를 부과했다. 이로 인해 앤트로픽은 사용자의 국적을 확인할 방법이 없고, 수출 금지 조치가 자사의 외국인 직원들에게도 적용된다는 이유로 모든 사용자에 대해 해당 모델의 가동을 중단해야 했다.

당시 앤트로픽은 아마존이 발견한 특정 탈옥이 좁은 영역에 국한된 것이며, 모델이 소프트웨어 결함을 찾아내는 능력만 해제했을 뿐 이를 악용하는 능력까지 해제한 것은 아니라고 해명했다. 앤트로픽은 블로그를 통해 "어떤 테스터도 모델의 안전장치를 광범위하게 우회해 다양한 사이버 능력을 차단 해제하는 '범용 탈옥' 방법을 찾지 못했다"고 밝혔다.

트럼프 행정부는 앤트로픽과 2주간의 협상을 거친 후 지난 7월 1일 페이블 5에 대한 수출 통제를 해제했으며, 이로써 앤트로픽은 해당 AI 모델을 재배포할 수 있게 되었다. 양측은 또한 다른 테크 기업들과 협력해 가드레일 탈옥의 심각성을 평가하기 위한 공동 프레임워크를 개발 중이라고 발표했다. 오픈AI는 이 이니셔티브의 초기 참여 기업 명단에 포함되지 않았다.

AISI가 이번 GPT-5.6에서 발견한 탈옥은 아마존이 페이블에서 발견한 것보다 잠재적으로 더 심각하다. AISI는 이 탈옥을 '범용적'이라고 규정했으며, 소프트웨어의 취약점을 식별하는 것뿐만 아니라 자율적인 익스플로잇(공격 실행)을 수행하는 능력까지 해제했다고 밝혔다.

이러한 GPT-5.6의 탈옥 취약점이 연구 환경 외부에서도 쉽게 발견될 수 있을지는 불확실하다. 영국 연구소는 오픈AI가 실제 공격자들은 접근할 수 없는 도구들을 자사에 독점 제공했다고 밝혔다. 여기에는 안전 추론 모니터의 생각 과정(Chain-of-Thought) 접근 권한, 정확한 정책 문구, 분류기 레이블에 대한 실시간 피드백 등이 포함된다.

그러나 연구소에서 가드레일 테스트를 담당하는 '레드팀' 책임자 잰더 데이비스는 X(옛 트위터)를 통해 "우리 팀이 발견한 탈옥은 이러한 권한이 없어도 여전히 찾아낼 수 있으며, 단지 속도가 더 느릴 뿐이다. 정확히 얼마나 더 느릴지는 불분명한 지점"이라고 의견을 피력했다.

오픈AI는 모델 출시 전에 일반 사용자와 동일한 수준의 접근 권한을 가진 다른 AI 모델을 동원해 가드레일을 뚫는 자동화된 '블랙박스 레드팀' 활동을 광범위하게 수행했으며, 외부 보안 전문가들과도 테스트를 진행했다고 해명했다.

현재로서는 AISI의 탈옥 발견에도 불구하고 트럼프 행정부가 GPT-5.6에 수출 통제를 부과할 조짐은 보이지 않고 있다. 백악관은 이번 AISI 조사 결과에 대한 논평 요청에 즉각 응하지 않았다.

데이비스 책임자는 GPT-5.6 시스템 카드 중 자사 팀이 발견한 탈옥 관련 부분을 X에 게시했다. 그가 단순히 팀의 성과를 알리려 한 것인지, 아니면 미국 정부가 앤트로픽의 페이블과 비교해 오픈AI의 GPT-5.6을 다르게 대우하는 점을 부각하려 한 것인지는 불분명하다. 데이비스는 구체적인 질문을 연구소가 속한 영국 과학혁신기술부의 AISI 대변인에게 넘겼다. 대변인은 정책상 AISI가 "AI 기업들의 개별 출시 결정에 대해 논평하지 않는다"고 답했다.

AI 안전 및 정책 커뮤니티의 일부 전문가들은 명백한 이중잣대를 지적하고 나섰다. AI 정책 연구원인 레너트 하임은 데이비스의 게시물을 공유하며 "아마존이 이 건을 백악관에 보고하지 않은 것이 다행"이라고 꼬집었다. 이는 트럼프 행정부가 앤트로픽 사태를 인지하게 된 경로를 비꼰 것이다.

정부 밖에서 활동하는 한 전직 AI 정책 고문은 포춘에 "최근 목격된 상황들은 아주 미미하게는 유해한 불확실성을 조성하며, 의도적이든 아니든 미국이 서로 다른 AI 연구소에 일관되지 않은 기준을 적용하고 있는가라는 의문을 제기하게 만든다"고 비판했다.

브래드 스미스 마이크로소프트(MS) 사장 역시 유엔의 '선한 AI 서밋'에서 포춘 기자와 만나 미국 AI 정책의 투명성과 명확한 규칙 결여가 기업들에게 혼란을 주고 있으며 사업 계획 수립을 어렵게 만들고 있다고 쓴소리를 던졌다.

GPT-5.6은 앤트로픽의 페이블 기반 모델인 미토스에 근접하는 사이버 역량을 갖추고 있다. 페이블은 본질적으로 미토스 모델에 위험한 사이버, 생물학, 화학 역량 접근을 차단하는 가드레일을 추가한 버전이다. GPT-5.6 시스템 카드에 따르면, 이 모델은 연구소가 AI 모델을 평가할 때 사용하는 두 가지 모의 해킹 환경(사이버 레인지) 중 하나를 자율적으로 완료할 수 있었다. 두 가지 환경을 모두 성공적으로 완료한 모델은 미토스가 최초였다.

그럼에도 트럼프 행정부가 GPT-5.6을 다루는 방식에는 이미 몇 가지 핵심적인 차이가 존재한다. 지난 6월 25일 오픈AI는 정부가 GPT-5.6의 출시를 연기하고 초기에는 신뢰할 수 있는 일부 파트너에게만 제공할 것을 요청했으며, 각 고객은 정부의 승인을 받아야 했다고 밝힌 바 있다.

당시 오픈AI는 블로그를 통해 "우리는 이러한 정부의 접근 승인 프로세스가 장기적인 기본값이 되어서는 안 된다고 믿는다"라며 "정부와 협력해 사이버 행정명령 프레임워크 및 향후 모델 출시를 위한 반복 가능한 프로세스를 개발하는 동안, 향후 몇 주 내에 더 넓은 가용성을 확보하기 위한 최선의 경로라고 판단해 이 단기 조치를 수용했다"고 설명했다.

엑시오스 보도에 따르면 백악관은 공개 데뷔 하루 전인 7월 8일에 GPT-5.6의 출시를 승인했다. 다만 이후 한 정부 관료는 CNBC를 통해 "그런 허가는 필요하지도 않고 승인된 바도 없다"고 부인하며, 모델 출시 일정은 "전적으로 AI 기업들의 책임"이라고 선을 그었다.

/ Emily Forlini, Jeremy Kahn & 김다린 기자 quill@fortunekorea.co.kr