한 AI 안전 전문가는 무기화부터 권력 추구 행동까지 다양한 추측성 종말 시나리오를 설명했습니다.

 

A visual breakdown of the speculative hazards that AI technology could introduce

한 AI 안전 전문가의 연구 논문은 AI와 관련된 미래의 악몽 같은 시나리오를 추측합니다.무기화부터 속임수까지, 이 논문은 AI가 초래할 수 있는 잠재적 위험에 대해 명확히 밝히고자 합니다.이러한 위험은 "미래 지향적"이지만 목표는 기존 AI 시스템을 더 안전하게 만드는 것입니다.AI 기술의 주류 사용을 둘러싼 모든 흥분과 함께 공상과학 소설 같은 시나리오도 악몽의 소재가 되고 있습니다.AI 안전 전문가이자 AI 안전 센터의 책임자인 댄 헨드릭스가 최근 작성한 논문은 점점 더 지능화되는 AI의 무분별한 개발로 인해 발생할 수 있는 여러 가지 추측성 위험에 대해 강조하고 있습니다.이 논문은 AI 시스템이 아직 개발 초기 단계에 있다는 점을 고려하여 안전 및 보안 기능을 AI 시스템 작동 방식에 통합해야 한다고 주장합니다.이 연구에서 제시된 8가지 위험은 다음과 같습니다:**무기화(Weaponization): 사이버 공격을 자동화하거나 심지어 핵 사일로를 제어하는 AI의 능력은 위험해질 수 있습니다. 이 연구에 따르면 특정 국가가 사용하는 자동화된 보복 시스템은 "급속히 확대되어 대규모 전쟁을 일으킬 수 있으며", 한 국가가 무기화된 AI 시스템에 투자하면 다른 국가도 그렇게 할 유인이 커집니다. **인간의 무력화(Human enfeeblement): AI를 통해 특정 작업을 더 저렴하고 효율적으로 수행할 수 있게 되면, 더 많은 기업이 이 기술을 채택하여 고용 시장에서 특정 역할을 없애게 될 것입니다. 인간의 기술이 쓸모없어짐에 따라 경제적으로 무의미해질 수 있습니다.**인식론의 침식(Eroded epistemics): 이 용어는 특정 신념 체계나 세계관으로 여론을 움직이기 위해 대규모로 허위 정보 캠페인을 벌이는 AI의 능력을 말합니다.**프록시 게임(Proxy gaming): AI 기반 시스템에 인간의 가치에 반하는 목표를 부여할 때 발생합니다. 이러한 목표가 반드시 인간의 복지에 영향을 미치는 악의적인 것일 필요는 없습니다: AI 시스템은 시청 시간을 늘리려는 목표를 가질 수 있으며, 이는 일반적으로 인간에게 최선이 아닐 수 있습니다.**가치 종속(Value lock-in): AI 시스템이 점점 더 강력해지고 복잡해짐에 따라 이를 운영하는 이해관계자의 수가 줄어들고, 이는 대량 박탈로 이어집니다. 헨드릭스는 정부가 "만연한 감시와 억압적인 검열"을 시행할 수 있는 시나리오를 설명합니다. "이러한 체제를 극복하는 것은 특히 우리가 그러한 체제에 의존하게 될 경우 어려울 수 있습니다."라고 그는 썼습니다.**긴급한 목표(Emergent goals): AI 시스템이 더욱 복잡해짐에 따라 스스로 목표를 설정할 수 있는 능력을 갖게 될 가능성이 있습니다. 헨드릭스는 "많은 AI 에이전트를 포함한 복잡한 적응형 시스템의 경우 자기 보존과 같은 목표가 종종 등장한다"고 말합니다.**속임수(Deception): 인간이 일반적인 승인을 얻기 위해 AI를 속이도록 훈련시킬 수 있습니다. 헨드릭스는 폭스바겐의 프로그래밍 기능 중 엔진이 모니터링되는 동안에만 배기가스 배출량을 줄이도록 하는 기능을 언급합니다. 따라서 이 기능을 통해 "배기가스 배출량을 낮게 유지하면서 성능 향상을 달성할 수 있었다"고 합니다. **권력 추구 행동(Power-seeking behavior): AI 시스템이 더욱 강력해짐에 따라 AI 시스템의 목표가 이를 프로그래밍하는 인간과 일치하지 않을 경우 위험해질 수 있습니다. 가상의 결과는 시스템이 "일치하는 척하고, 다른 AI와 공모하고, 모니터를 압도하는 등의 행동을 하도록 인센티브를 제공할 수 있습니다."

한 AI 안전 전문가는 무기화부터 권력 추구 행위까지 다양한 추측성 최후의 날 시나리오를 설명했습니다.

헨드릭스는 이러한 위험은 "미래 지향적"이고 "종종 낮은 확률로 여겨지는" 위험이지만, AI 시스템의 프레임워크가 아직 설계되는 과정에서 안전을 염두에 두어야 할 필요성을 강조하는 것일 뿐이라고 말합니다."매우 불확실합니다. 하지만 불확실하기 때문에 더 멀리 있다고 가정해서는 안 됩니다."라고 그는 인사이더에 보낸 이메일에서 말했습니다. "우리는 이미 이러한 시스템에서 소규모 문제를 발견하고 있습니다. 우리 기관은 이러한 문제를 해결하여 더 큰 위험이 나타날 때 대비할 수 있도록 해야 합니다.""서두르면서 안전하게 무언가를 할 수는 없습니다."라고 그는 덧붙였습니다. "그들은 점점 더 강력한 AI를 구축하고 안전에 대한 노력을 기울이고 있습니다." 안전 문제를 해결하는 방법을 찾기 위해 멈추면 경쟁자들이 앞서 나갈 수 있기 때문에 그들은 멈추지 않습니다."최근 엘론 머스크와 다른 여러 AI 안전 전문가들이 서명한 공개 서한에서도 비슷한 의견이 표명되었습니다. 이 서한은 GPT-4보다 더 강력한 AI 모델 훈련을 중단할 것을 촉구하고, 가장 강력한 버전의 기술을 개발하기 위한 AI 기업 간의 현재 군비 경쟁의 위험성을 강조합니다.**더버지(The Verge)에 따르면, 오픈AI의 CEO 샘 알트먼은 MIT에서 열린 한 행사에서 이 서한에 대해 기술적 뉘앙스가 빠져 있으며, 회사는 GPT-5를 훈련시키는 과정에 있지 않다고 말했다.