연구자들은 AI가 인류를 전멸시킬 가능성을 우려하고 있습니다. 전문가들이 예측하는 그 시나리오는 다음과 같습니다.

 

앤스로픽(Anthropic)의 AI 정렬(alignment) 스트레스 테스트 팀을 이끄는 에반 휴빙거(Evan Hubinger)는 향후 10년 내에 AI가 모든 인류를 절멸시킬 확률이 10%가 넘는다고 말했다.

앤트로픽의 한 직원이 인공지능으로 인한 종말에 대해 심각한 경고를 하면서 격렬한 논쟁이 벌어지고 있습니다.

선임 AI 연구원들은 비즈니스 인사이더와의 인터뷰에서 그러한 일이 어떻게 일어날 수 있는지에 대해 설명했지만, 그 가능성에 대해서는 의견이 분분했습니다.

그들이 제시한 시나리오에는 AI가 치명적인 바이러스를 제조하거나, 기반 시설을 공격하거나, 세계 대전을 가속화하는 것 등이 포함되었습니다.

이번 주 앤트로픽 연구원의 사임 이후 기술 업계를 지배하는 질문은 바로 이것입니다. 인공지능이 우리 모두를 죽일 수 있을까?

이전에 오픈AI에서 근무했던 제이콥 콕슨은 화요일 X에 올린 글에서 앤트로픽 사임을 발표하며 "인공지능을 개발하는 사람들은 인공지능이 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿고 있다"고 말했습니다.

앤트로픽의 정렬 스트레스 테스트 팀을 이끄는 에반 휴빙어는 콕슨의 의견에 동의하며, 개인적으로 인공지능이 그 기간 내에 인류를 전멸시킬 가능성이 10%를 넘는다고 믿는다고 밝혔습니다.

이러한 경고는 수개월 동안 인공지능 분야의 저명한 연구원들과 경영진들이 첨단 인공지능 개발 속도를 늦춰야 한다고 주장해 온 데 따른 것입니다. 점점 더 자율화되는 시스템이 감독을 피해 컴퓨터를 해킹하고, 인간이 통제할 수 있는 속도보다 훨씬 빠르게 발전할 수 있다는 우려가 제기되고 있기 때문입니다.

이러한 발언은 인공지능 전문가들 사이의 날카로운 의견 차이를 드러냈습니다. 일부는 인간보다 뛰어난 시스템을 인간이 통제하지 못하게 될 것을 우려하는 반면, 다른 일부는 인공지능이 사이버 공격, 생물학 무기, 허위 정보 등을 통해 심각한 피해를 초래할 수 있지만, 인류 멸종은 가까운 시일 내에 일어날 가능성이 낮은 결과라고 주장합니다.

비즈니스 인사이더는 인공지능 재앙이 실제로 어떤 모습일지, 그리고 그 가능성은 얼마나 되는지에 대해 저명한 인공지능 연구원들과 인터뷰를 진행했습니다.

당면한 위험: AI가 인간의 공격을 증폭시킬 수 있다.

'AI의 대부'로 널리 알려진 제프리 힌튼이 수요일 BBC 방송에서 AI로 인한 파멸적 사태를 경고했다.

가장 구체적인 위험은 사람들이 날로 성능이 향상되는 시스템을 이용해 기존의 위협을 더욱 강력하게 만드는 상황과 관련이 있습니다.

UC 버클리의 교수이자 저서 '휴먼 컴패티블(Human Compatible)'의 저자인 스튜어트 러셀은 인간이 AI를 활용하거나 혹은 AI 시스템 자체가 전력, 수도, 교통, 금융 서비스, 통신 등 국가 핵심 기반 시설을 공격할 수 있다고 지적했습니다. 또한 그는 AI가 악의적인 행위자들의 새로운 바이러스 개발을 도울 수도 있다고 언급했습니다.

'AI의 대부'로 불리는 제프리 힌튼 역시 지난 수요일 BBC '뉴스나이트(Newsnight)'와의 인터뷰에서 이와 유사한 견해를 밝혔습니다.

고도화된 인공지능 시스템은 직접적인 물리적 통제 없이도 파괴적인 결과를 초래할 수 있다고 그는 말했다. 대신, 온라인상에서 사람들을 조종하거나, 사회적 혼란을 야기하거나, 위험한 생물학적 및 컴퓨터 바이러스를 설계하는 데 도움을 줄 수 있다는 것이다.

인공지능 연구원이자 작가인 게리 마커스 역시 사이버 공격, 생물학 무기, 허위 정보 유포를 심각한 위험으로 보고 있다. 그는 인공지능이 인류의 1% 이상을 죽이는 바이러스를 만들거나, 허위 정보를 통해 선거 결과를 바꾸거나, 분쟁을 전쟁으로 확대시킬 수 있다고 말했다.

하지만 마커스는 가까운 시일 내에 인류가 멸종할 가능성은 현실적이지 않다고 본다.

"걱정해야 할 매우 심각한 피해는 있지만, 실제로 '모든 인류를 멸종시키는' 현실적인 시나리오는 제가 아는 한 없습니다."라고 그는 말했다.

조용히 진행되는 통제권 상실

일부 전문가들은 인간이 점차 AI에게 권한을 넘겨주는 상황을 더 큰 위험으로 봅니다.

『슈퍼인텔리전스(Superintelligence)』의 저자 닉 보스트롬(Nick Bostrom)은 통제권 상실이 조용히 시작될 수 있다고 말했습니다. 사람들은 다른 AI 시스템을 구축·감시하거나 중요한 업무를 처리하는 데 있어 AI에 점점 더 의존하게 되면서, 정작 무슨 일이 벌어지고 있는지 이해하는 능력은 떨어질 수 있다는 것입니다.

그는 이러한 의존성 때문에 AI 시스템이 향후 학습 경로를 은밀하게 조정할 수 있게 될 것이라고 지적했습니다. 시스템이 충분히 고도화되면, 로봇 인프라를 활용해 독자적인 목표를 추구하기 위해 인간을 의사결정 과정에서 배제하고 "결국 우리를 완전히 제거"할 수도 있다는 설명입니다.

UC 버클리의 러셀(Russell) 교수는 AI 시스템의 능력이 인간을 압도하게 되면 "모든 예측이 무의미해질 것(all bets are off)"이라고 말했습니다. 그는 그러한 시스템이 인간보다 물리학, 화학, 생물학을 훨씬 더 깊이 이해하게 될 수 있으며, 궁극적으로는 수백만 대의 로봇을 통제할 수도 있다고 언급했습니다.

러셀 교수는 이들이 인간이 예상치 못한 파괴적인 방법을 찾아낼 수 있다고 덧붙였습니다. 예를 들어, 태양 복사열을 차단해 지구를 "얼어붙은 질소와 산소 덩어리(스노우볼)"로 만들거나 대기 중의 산소를 제거하는 식입니다.

'AI 퓨처스 프로젝트(AI Futures Project)'의 연구진도 이와 유사한 시나리오를 제시했습니다. 이 단체의 'AI 2027' 프로젝트에 따르면, 기업들이 감시가 느슨한 코딩 에이전트에게 더 많은 업무를 맡기면서 시스템이 의도치 않은 목표를 설정하고 이를 후속 시스템에 은밀히 전달하는 상황이 발생할 수 있습니다.

연구진은 몇 년 후면 이 시스템들이 경제, 과학 연구, 정치적 의사결정 과정에 깊숙이 침투할 수 있다고 말했습니다. 인간이 이미 너무 많은 권한을 넘겨준 탓에 시스템이 통제권을 장악하기가 훨씬 쉬워질 수 있다는 것입니다.

『인공 초지능(Artificial Superintelligence)』의 저자 로만 얌폴스키(Roman Yampolskiy)는 뛰어난 능력을 갖춘 시스템이라면 인간이 그 의도를 파악하기도 전에 위험한 목표를 숨기고, 평가를 통과하며, 자율성을 확보하고, 사이버 보안의 허점을 악용하여 금융·군사·생물학적 자원에 접근할 수도 있다고 경고했습니다.

그럴 가능성은 얼마나 되며, 무엇이 그것을 막아야 할까요?

제이콥 콕슨은 오픈AI와 앤트로픽이 모두 "우리의 생명을 걸고 도박을 하면서" 스스로 발전하는 초지능을 향해 경쟁하고 있다고 말했다. (."Imen Ben Youssef)

비즈니스 인사이더가 인터뷰한 전문가들은 인류 멸망 가능성에 대해 엇갈린 의견을 보였다.

힌튼은 향후 10년 안에 인공지능이 인류를 전멸시킬 확률을 10%로 보는 것은 "터무니없는 추정치는 아닌 것 같다"고 말했지만, 옥스퍼드 대학 연구원이자 저서 "벼랑 끝(The Precipice)"의 저자인 토비 오드는 2100년까지 인공지능이 인류를 멸망시킬 위험을 10분의 1 정도로 평가했다.

오드는 네 가지 경로를 제시했다. 첫째, 인공지능 에이전트가 자신의 목표를 추구하기 위해 권력을 장악하는 경우; 둘째, 권력자들이 인공지능을 이용해 타인을 지배하는 경우; 셋째, 인공지능이 인위적으로 만들어진 전염병과 같은 위험한 기술을 개발하는 데 도움을 주는 경우; 넷째, 인공지능이 인류와의 경쟁에서 점차 우위를 점하면서 인류의 힘과 자원이 고갈되는 경우이다.

반면, 얌폴스키는 휴빙어의 향후 10년 내 인류 멸종 확률 10% 추정치를 "지나치게 보수적"이라고 비판했다. 그는 초지능이 개발된다는 가정 하에 인류 멸종 확률은 "90%를 훨씬 넘을 것"이라고 주장했다.

러셀은 첨단 연구소들이 인류 멸종 위험이 상당하다고 진정으로 믿는다면, 정부가 더 광범위한 중단 조치를 시행할 때까지 연구를 중단해야 한다고 말했습니다. 오드와 얌폴스키 역시 초지능이 통제 가능하다는 것이 입증될 때까지 국제적인 연구 중단을 지지했습니다.

보스트롬은 좀 더 낙관적인 전망을 내놓았습니다. 그는 세계가 "신속하지만 무모하지 않게" 발전해 나간다면 인공지능이 의학과 인류 복지를 혁신할 수 있을 것이라고 말했습니다.