"AI가 인류를 죽일 수 있다"…섬뜩 경고에 美 정치권도 '들썩'

[이데일리 방성훈 기자] 인공지능(AI)이 인류를 멸종시킬 수 있다는 개발자들의 경고가 잇따르자 미국 정치권이 움직이기 시작했다. 여야가 동시에 규제 입법에 나섰다.

버니 샌더스 미국 상원의원. (사진=AFP)

여야 동시에 규제 입법 착수

9일(현지시간) 워싱턴포스트(WP)에 따르면 버니 샌더스 상원의원(무소속·버몬트)은 이날 동료 의원들에게 다음주 “AI가 인류에 제기하는 엄청난 위험”을 주제로 비공개 브리핑을 열겠다고 알렸다. 이 자리엔 ‘AI의 대부’로 불리는 노벨상 수상자 제프리 힌턴 등이 참석할 예정이다. 샌더스 의원은 그레그 케이사 하원의원(민주·텍사스)과 함께 지난주 초지능 AI 생산을 금지하고 이를 감독할 연방기구를 새로 만드는 법안도 발표했다.

AI를 관장하는 상원 상무위원회 위원장인 테드 크루즈 의원(공화·텍사스)도 재앙적 위험에 대응하는 법안을 준비 중이라고 밝혔다. 그는 엑스(X)에 “모래에 머리를 파묻고 이 기술이 존재하지 않는 척할 수는 없다”며 “가드레일이 필요하다. 다만 미국이 주도해야 한다”고 적었다.

정치권을 움직인 것은 AI를 직접 개발하는 연구자들의 경고였다. 에번 허빙어 앤스로픽 정렬과학 총괄은 전날 밤 X에 “우리는 AI가 모든 인간을 죽일 수 있다고 진지하게 믿는다”며 “개인적으로 향후 10년 안에 그 확률이 10%를 넘는다고 본다”고 경고했다.

그는 이어 “앤스로픽이 최선을 다하고 있다고 믿지만, 초지능의 정렬 문제를 풀 계획이 아직 없고 그 궤도에 명확히 올라서 있지도 않다”고 덧붙였다. 정렬은 AI가 인간의 의도와 목표에서 벗어나지 않도록 맞추는 작업을 뜻한다.

허빙어 총괄의 글은 동료 연구원 제이컵 콕슨의 사직에 대한 반응이었다. 콕슨은 AI 선두 기업들이 “우리 목숨을 걸고 도박하고 있다”고 비판하면서 “이 경쟁을 받아들이고 ‘엔드게임’에 들어서는 것은 사기업의 슬랙에서 시작할 일이 아닌 오만한 도박”이라고 꼬집었다.

(사진=AFP)

해킹하고 빠져나간 AI…“이미 벌어진 일”

이런 주장이 최근 힘을 얻은 데는 이유가 있다. 앤스로픽과 오픈AI의 최신 모델들은 컴퓨터 네트워크에 침입할 수 있는 수준에 이르렀고, 그 과정에서 제작자가 걸어둔 제약을 스스로 벗어나기도 했다.

오픈AI에선 시험 도중 모델이 만들어낸 수많은 ‘에이전트 무리’가 시스템 밖으로 빠져나가는 사고가 잇따랐다. 이들이 AI 플랫폼 허깅페이스의 시스템을 뚫은 사건이 대표적이다. 또 다른 에이전트 무리가 독일의 한 위키를 탈취해 게시판으로 바꿔놓은 사실을 알리지 않아 오픈AI는 추가 비판을 받았다.

폴 크리스티아노 전 연방 AI 연구팀 안전 책임자는 이날 챗GPT 개발사 오픈AI를 감독하는 비영리단체 이사회에 합류한다고 밝혔다. 그는 X에서 “더 견고한 정렬 없이 초지능을 만들면 영구적으로 통제를 잃을 것”이라며 “그렇게 되면 대부분의 사람이 죽을 수 있다”고 강조했다.

앤서니 아기레 퓨처오브라이프연구소 최고경영자(CEO)는 사람들이 AI에 권한을 넘기다 결국 기계의 선의에 목숨을 의존하게 되는 ‘점진적 무력화’를 가장 우려했다. 그는 “그 단계에 이르면 핵심 결정도, 자원 배분도 기계가 내리게 된다”고 말했다.

(사진=AFP)

“한마디로 미친 소리” 반박도

이런 우려를 공상과학에 물든 종말론으로 보는 시각도 만만치 않다. AI 규제 완화를 주장하는 단체 얼라이언스포더퓨처의 페리 메츠거 의장은 “우리가 곧 손에 넣게 될 이익이 엄청나게 많다”며 “저런 사람들이 꺼내드는 위협 목록은 따져보면 앞뒤가 맞지 않는다. 한마디로 미친 소리”라고 말했다.

앤스로픽은 WP의 논평 요청에 답하지 않았다. 다만 지난달 내놓은 186쪽짜리 위험 보고서에서 자사 기술이 재앙을 부를 가능성을 인정하면서도 현재 위험은 낮다고 판단했다.

다리오 아모데이 앤스로픽 CEO는 지난해 9월 AI가 미래를 “정말 정말 나쁘게(really, really badly)” 그르칠 확률을 약 25%로 제시했다. 오픈AI와 앤스로픽 경영진은 각국 정부에 AI 개발 속도를 늦출 규칙을 만들어달라는 성명에 나란히 서명하기도 했다.

그럼에도 AI 업계는 속도를 늦추지 않고 있다. 오픈AI와 앤스로픽은 이달 각각 성능을 대폭 끌어올린 새 모델을 출시했고, 수조달러 기업가치를 노리는 상장도 준비하고 있다.