인공지능(AI) 개발의 자동화가 진행되면서 수년이 걸릴 기술 진보가 불과 수개월로 압축되는 '지능 폭발'로 이어질 가능성을 전 세계 주요 AI 연구자들이 제기했다.

이들은 그 결과 가장 극단적인 경우 인류의 소외나 멸망으로 이어질 수 있다고 경고했다.

주요 연구자 22명은 영국 '케임브리지대 AI 과학·정책 프로그램'(CASP)을 통해 발표한 공동 논문 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면?'에서 이 같은 우려를 내놓으며 정책 대응을 촉구했다.

이 논문에는 세계 3대 'AI 대부'로 꼽히는 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 학계 인사는 물론이고 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤트로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 현업 연구진도 참여했다.

이들은 현재 거대 기술기업 내에서 AI 모델의 개발 작업을 AI에 위임하는 자동화 속도가 빠르게 증가하고 있다고 지적했다.

예를 들어 앤트로픽은 개발진이 승인한 코드 중 AI가 작성한 비율이 지난해 1월 한 자릿수에서 올해 5월 80% 이상으로 급증했고, 인간은 감독만 하고 AI가 자율적으로 완수한 연구개발(R&D) 작업의 비율도 지난 3월에는 1%에 불과했지만, 지난달에는 26%로 늘어났다는 것이다.

연구진은 이처럼 기술 발전이 빨라지면 수개월짜리 복잡한 AI R&D 프로젝트 전체가 2년 안에 완전히 자동화할 수 있고, AI의 재귀적 자기개선(RSI) 고리가 완성되면 폭발적인 기술 가속이 일어날 수 있다고 내다봤다.

이와 같은 지능 폭발은 기술 혁신을 크게 앞당기거나 신약 발견 등 긍정적으로 작용할 수도 있지만, 사회가 적응할 수 있는 한계를 넘어서는 위험도 초래한다고 이들은 우려했다.

던 송 메타 부사장은 "이미 오늘날, 에이전트가 수행하는 작업을 감시하기 위해 AI가 필요한 단계에 이르렀다"며 "인간만으로는 감시를 수행하는 데 역부족"이라고 미 일간 월스트리트저널(WSJ)에 말했다.

송 부사장은 "인류 사회는 이처럼 급속한 변화와 혼란에 대처할 준비가 돼 있지 않다"고 지적했다.

논문은 이에 따라 "가장 극단적인 경우 AI 시스템에 대한 통제를 상실하면 인류의 소외나 멸망으로 이어질 수 있다"고 경고했다.

연구자들은 이를 막기 위한 정책적 대비책이 필요하다고 주장하면서 각국 정부가 AI 기업에 R&D 자동화 지표 등 보고를 의무화해야 한다는 의견을 냈다.

또 원자력규제위원회(NRC)나 통화감독청(OCC)과 같이 AI 기업에 상주 감시관을 배치해야 한다고 제안했다.

안전 기준이 충족되지 않으면 AI 연구개발 작업 부하를 조절하거나 일시 중지할 수 있는 통제 장치를 마련하고, 급격한 노동시장 변화나 지정학적 불안정 등에 대비한 비상 대응 계획을 수립해야 한다고도 주문했다.

이들은 "정책 입안자들은 의미 있는 조처를 할 수 있는 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하며 적응 능력을 키우는 행동에 즉각 나서야 한다"고 촉구했다.