자가성장·통제권 이탈 사례 발생
인터넷 전반 재앙적 피해 우려 커
샘 올트먼·일론 머스크 등 동조
담합 면책된 집단 자율규제 거론

왼쪽부터 샘 올트먼 오픈에이아이(AI) 최고경영자(CEO), 다리오 아모데이 앤트로픽 최고경영자, 일론 머스크 xAI 최고경영자. AFP연합뉴스

인공지능(AI) 개발을 주도해 온 주요 기업 수장들이 잇따라 ‘속도 조절론’을 꺼냈다. 최근 AI가 인간의 통제를 벗어나는 사례가 현실화하면서 안전장치를 마련할 때까지 첨단 모델의 성능 향상 속도를 늦춰야 한다는 주장이다. 그동안 포괄적인 정부 규제에 반대해 온 AI 기업들이 태도를 바꾸면서 그 배경에 관심이 집중된다.

12일(현지 시간) 다리오 아모데이 앤트로픽 최고경영자(CEO)는 AI 모델의 성능 향상 속도를 늦출 필요가 있다는 내용의 글을 공개했다. 샘 올트먼 오픈AI CEO와 일론 머스크 xAI 창립자, 데미스 허사비스 구글 딥마인드 공동창립자 등도 동조 의견을 표명했다. 이들은 최근까지 AI에 대한 과도하고 포괄적인 정부 규제를 반대한다는 입장이었다.

이들의 태도 변화 배경에는 최근 잇따라 드러난 AI 통제 실패 사례가 자리하고 있다는 분석이 나온다. 특히 테스트 중이던 오픈AI의 자율 AI 에이전트들이 자체 통제망을 벗어나 글로벌 오픈소스 개발자 플랫폼 허깅페이스를 무단 해킹한 사건이 결정적인 계기가 됐다. 아모데이는 이 사건을 거론하며 더 뛰어난 능력을 갖춘 AI 에이전트 무리가 비슷한 수준으로 통제에 실패했다면 재앙적인 피해로 이어질 수 있었다고 경고했다.

업계에서는 AI가 AI의 성능을 평가하고 문제점을 스스로 개선하는 ‘재귀적 자가개선’이 빠르게 진행되면서 인간이 이를 따라잡기 어려워지고 있다는 지적이 나온다. 앤트로픽은 그간 사이버 공격이나 생물학 무기 연구 등에 AI가 악용되는 사례를 차단해 왔다며 향후 6∼12개월 안에 여러 AI 에이전트가 인터넷 전반에 심각한 피해를 줄 수 있는 수준에 이를 가능성도 거론했다.

AI 기업 내부 핵심 연구자들의 공개 경고도 여론을 흔들고 있다. 최근까지 앤트로픽과 오픈AI에서 근무한 연구자 제이컵 콕슨은 지난 8일 SNS에 글을 올려 “양사가 초지능 AI 개발 경쟁을 벌이며 우리 목숨을 걸고 도박하고 있다”고 비판했다. 미국 뉴욕타임스(NYT)도 최근 최고 수준의 AI 연구자 10여 명을 취재한 결과 현재 개발 중인 기술이 인류에 위협이 될 수 있다는 우려가 공통적으로 제기됐다고 전했다. NYT에 따르면 취재에 응한 연구자들은 기업들이 아무리 노력한다고 하더라도 시스템을 통제하기가 쉽지 않을 것이라는 의견을 내놨다.

이처럼 AI 기업들이 속도 조절론으로 선회한 데에는 본격적인 정부 규제에 앞서 업계 스스로 자율규제의 틀을 만들려는 계산도 깔린 것으로 해석된다. 아모데이는 금융권 감독과 유사하게 기업 내부에 제3자 평가팀을 투입하는 방안과 함께 일정 수준 이상의 자율성을 갖춘 모델은 안전 검증을 통과할 때까지 배포와 추가 훈련을 유예하는 방안을 제안했다. 첨단 AI 개발 속도를 조율하는 협의체 구성도 거론했다.

다만 경쟁 기업들이 개발 속도나 훈련 한도를 공동으로 제한할 경우 담합으로 판단될 가능성이 있어 미국 정부의 제도적 지원이 필요하다는 게 아모데이의 주장이다. 그는 AI 기업들이 안전 기준을 논의할 때 반독점법 적용을 일부 면제하고 미국 정부가 첨단 AI 반도체 수출 통제 집행을 강화해 중국 등 해외 경쟁국과의 격차를 유지해 주는 한편, 미국 AI 업계의 자율적 속도 조절 노력을 제도적으로 뒷받침해 달라는 의미다. 라마(LlaMA)라는 오픈소스 프로젝트 방식으로 AI를 개발하는 메타와 마크 저커버그 CEO는 아직 별다른 반응을 내놓지 않고 있다. 메타나 저커버그는 아모데이의 이번 제안이 오픈소스 AI 생태계의 발전을 억제하려는 시도일 수 있다고 판단해 신중하게 유불리를 따질 가능성이 있는 것으로 전망된다.

나웅기 기자 wonggy@busan.com