“스스로 진화하는 AI, 통제 못할수도” 앤스로픽의 경고
2026.06.05 17:44
“AI가 AI 자율설계하는 시대 코앞”
개발 속도조절 담은 국제 합의 촉구
오픈AI도 “인간 의도 따르게 해야”
메타는 경계하면서도 활용의지 보여
“지배력 유지 위해 공포 조성” 비판도
앤스로픽은 4일(현지 시간) 블로그에서 AI의 재귀적 자기 개선(recursive self improvement·RSI)을 통제하지 못하면 사회에 엄청난 혼란이 벌어질 수 있다며 개발 속도를 늦추거나 일시 중단할 수 있는 선택권을 담은 국제적 합의를 제안했다. 앤스로픽은 “스스로 구축하는 AI는 과학·의료 등 다양한 분야에 이익을 가져다줄 수 있지만 인간이 AI 시스템에 대한 통제력을 잃을 위험을 높일 수도 있다”고 경고했다.
AI의 재귀적 자기 개선이란 AI가 스스로 후속 모델을 완전히 자율적으로 설계·개발하는 것을 말한다. 챗봇이 처음 등장했을 때는 인간이 모든 단계를 주도했고 현재 에이전트 AI 역시 인간의 설계 안에서 스스로 업무를 찾아 해결한다. 반면 AI가 후속 모델에 필요한 코드와 알고리즘을 스스로 갖추면서 설계하고 개발하는 단계가 AI의 재귀적 자기 개선이다. AI 재귀적 자기 개선에 대한 관심이 높아지자 딥러닝 분야 최상위 학회 중 하나인 학습 표현에 대한 국제학술대회(ICLR)는 4월 처음으로 이를 주제로 워크숍을 개최했다.
앤스로픽의 최대 경쟁사인 오픈AI도 지난해 12월 블로그에서 “재귀적 자기 개선이 가능한 AI를 안전하게 개발하고 배포하는 방법을 연구하고 있다”며 “시스템이 인간의 의도를 일관되게 따르고 치명적인 행동에 나서지 않기를 원한다”고 강조했다.
구글 딥마인드 연구원인 모스타파 데가니는 인도의 플랫폼 오피스 차이를 통해 “거의 모든 주요 AI 연구소에서 재귀적 자기 개선이 조용히 일어나고 있다”면서 “아직 완전히 자동화는 아니지만 완전 자동화에 도달하는 방향이라는 점은 명확하다”고 말했다. 그는 수년 전만 해도 이론에 불과했기 때문에 AI의 자기 발전을 대부분이 알지 못한다고 지적했다.
다만 AI의 자기 발전을 바라보는 시각은 엇갈린다. AI 생태계에서 윤리를 가장 중시하는 앤스로픽과 달리 메타는 활용 가치도 높다는 입장이다. 마크 저커버그 메타 최고경영자(CEO)는 지난해 낸 AI 미래에 관한 정책 문서에서 “지난 몇 달 동안 우리의 AI 시스템이 스스로 개선되는 조짐을 봤다”면서 “새로운 안전 문제를 야기할 것”이라고 경고했다.
다만 메타는 3월 자사 홈페이지에 공개한 논문에서 ‘하이퍼에이전트’를 소개했다. 자사 AI의 재귀적 자기 개선에 대한 연구를 통해 AI 모델 개선에 활용하려는 의지를 나타낸 셈이다. 딥러닝 학회인 ICLR 워크숍에서도 참석자들 사이에 안전성에 대한 언급은 거의 없었다고 주최 측은 전했다.
일각에서는 앤스로픽이 ‘미토스 사태’와 같은 공포를 조장한다는 비판도 제기한다. 앤스로픽이 강력한 성능에도 치명적 보안 사고를 경계하며 미토스 공개를 제한한 뒤 공개 폭을 넓히자 마케팅 전략이 아니냐는 쓴소리가 나왔다. 이번 경고 역시 경쟁자들의 AI 모델 개발 속도를 늦추고 자신들의 독점적 지위를 최대한 유지하기 위해서라는 해석이다. AI 대부로 불리는 얀 르쿤은 현재 AI 주류인 대규모언어모델(LLM) 기반 모델로는 AI가 인간 수준의 지능을 실현할 수 없다고 반론을 폈다.
저작권 보호를 위해 본문의 일부만 표시됩니다.
원문 보기 →댓글 (0)
첫 번째 댓글을 작성해보세요!
재귀적 자기 개선의 다른 소식
모든 소식을 불러왔습니다