자이언트 AI 실험 일시 중지: 공개 서한

우리는 모든 AI 연구실에 GPT-4보다 강력한 AI 시스템 교육을 최소 6개월 동안 즉시 중단할 것을 요청한다.

인간과 경쟁하는 지능을 갖춘 AI 시스템은 광범위한 연구와 최고의 AI 연구소에서 인정한 바와 같이 사회와 인류에게 심각한 위험을 초래할 수 있다. 널리 승인된 아실로마 인공지능(Asilomar AI) 원칙에 명시된 바와 같이 고급 인공지능(Advanced AI)는 지구상의 생명 역사에 중대한 변화를 나타낼 수 있으며 이에 상응하는 보살핌과 자원으로 계획하고 관리해야 한다. 불행하게도 이러한 수준의 계획 및 관리는 이루어지지 않고 있다. 비록 최근 몇 달 동안 AI 연구실이 그 누구도, 심지어 제작자도 이해할 수 없는 더욱 강력한 디지털 마인드를 개발하고 배포하기 위한 통제 불능 경쟁에 갇힌 것을 보았음에도 불구하고 말이다. 예측하거나 안정적으로 제어해야 한다.

현대의 AI 시스템은 이제 일반적인 작업에서 인간과 경쟁하게 되고 있으며 우리는 스스로에게 질문해야 한다. 만족스러운 작업을 포함하여 모든 작업을 자동화해야 할까? 결국 우리를 능가하고, 똑똑하고, 구식이 되어 우리를 대체할 수 있는 비인간적인 마음을 개발해야 할까? 우리 문명의 통제력을 잃을 위험을 감수해야 할까? 그러한 결정은 선출되지 않은 기술 리더에게 위임되어서는 안 된다. 강력한 AI 시스템은 그 효과가 긍정적이고 위험을 관리할 수 있다는 확신이 있을 때만 개발해야 한다. 이러한 확신은 충분히 정당화되어야 하며 시스템의 잠재적 영향의 크기에 따라 증가해야 한다. 인공 일반 지능(AGI)에 관한 OpenAI의 최근 성명은 "언젠가는 미래의 시스템 교육을 시작하기 전에 독립적인 검토를 받는 것이 중요할 수 있으며, 새로운 모델을 만드는 데 사용되는 컴퓨팅의 증가율을 제한하는 데 가장 앞선 노력을 기울이는 것이 중요할 수 있다."것에 우리는 동의한다. 그 시점은 지금이다.

따라서 우리는 모든 AI 연구실에 GPT-4보다 강력한 AI 시스템 교육을 최소 6개월 동안 즉시 중단할 것을 요청한다. 이 일시 중지는 공개적이고 검증 가능해야 하며 모든 주요 행위자를 포함해야 한다. 이러한 중단을 신속하게 시행할 수 없다면 정부가 개입하여 유예 조치를 취해야 한다.

AI 연구실과 독립적인 전문가는 이 일시 중지를 사용하여 독립적인 외부 전문가가 엄격하게 감사하고 감독하는 고급 AI 설계 및 개발을 위한 일련의 공유 안전 프로토콜을 공동으로 개발하고 구현해야 한다. 이러한 프로토콜은 이를 준수하는 시스템이 합리적인 의심의 여지없이 안전하도록 보장해야 한다. 이것은 일반적으로 AI 개발의 중단을 의미하는 것이 아니라, 위험한 경쟁에서 벗어나 새로운 기능을 갖춘 예측할 수 없는 블랙박스 모델로 한 걸음 물러나는 것일 뿐이다.

AI 연구 및 개발은 오늘날의 강력한 최신 시스템을 보다 정확하고 안전하며 해석 가능하고 투명하고 견고하며 정렬되고 신뢰할 수 있으며 충실하게 만드는 데 다시 초점을 맞춰야 한다.

동시에 AI 개발자는 강력한 AI 거버넌스 시스템의 개발을 극적으로 가속화하기 위해 정책 입안자와 협력해야 한다. 여기에는 최소한 다음이 포함되어야 한다; AI에 전념하는 새롭고 유능한 규제 당국; 고도로 유능한 AI 시스템과 대규모 계산 능력 풀에 대한 감독 및 추적. 실제와 합성을 구별하고 모델 누출을 추적하는 데 도움이 되는 출처 및 워터마킹 시스템 강력한 감사 및 인증 생태계; AI로 인한 피해에 대한 책임; 기술 AI 안전 연구를 위한 강력한 공적 자금 지원; AI가 야기할 극적인 경제적, 정치적 혼란(특히 민주주의)에 대처할 수 있는 풍부한 자원을 갖춘 기관.

인류는 AI와 함께 번영하는 미래를 누릴 수 있다. 강력한 AI 시스템을 만드는 데 성공한 우리는 이제 보상을 거두고 모두에게 분명한 이익을 위해 이러한 시스템을 설계하며 사회에 적응할 기회를 제공하는 "AI 여름"을 즐길 수 있다. 사회는 잠재적으로 사회에 치명적인 영향을 미칠 수 있는 다른 기술을 중단했다. 여기서 할 수 있다. 기나긴 AI 여름을 즐기자.

일시 중지의 정책 결정

GPT-4를 넘어서는 대규모 언어 모델에 대한 6개월 지연 요청에 대한 레이 커즈와일(Ray Kurzweil)의 의견서

"GPT-4보다 더 강력한" AI에 대한 연구를 "일시 중지"하라는 공개 서한과 관련하여 이 기준은 너무 모호하여 실용적이지 않다. 그리고 제안은 심각한 조정 문제에 직면해 있다. 중단에 동의하는 사람들은 동의하지 않는 기업이나 국가보다 훨씬 뒤처질 수 있다. 의학 및 건강, 교육, 화석 연료를 대체할 재생 에너지원 추구 및 기타 여러 분야와 같은 중요한 분야에서 AI를 발전시키면 엄청난 이점이 있다. 서명하지 않은 이유는 이러한 중요한 연구 라인을 손상시키지 않는 보다 맞춤화된 방식으로 서명자의 안전 문제를 해결할 수 있다고 믿기 때문이다.

나는 2017년 아실로마 인공지능 원칙 회의(Asilomar AI Principles Conference)에 참가하여 윤리적으로 인공지능을 만들기 위한 지침을 만드는 데 적극적으로 참여했다. 그래서 나는 안전이 중요한 문제라는 것을 안다. 그러나 실제 위험을 피하면서 건강과 생산성에 대한 AI의 심오한 이점을 활용하려면 더 많은 뉘앙스가 필요하다.

— 레이 커즈와일

발명가, 베스트셀러 작가, 미래학자.