나는 삶의 미래 연구소(Future of Life Institute)가 GPT-5 및 유사한 대형 언어 모델의 개발을 중단해 달라는 청원서를 발표하는 것을 보고 크게 충격을 받지 않았다. 이 특정 조직의 관점은 2014년 일론 머스크의 천만 달러 기부로 설립된 이후로 분명해졌다. FLI의 리더인 맥스 테그마크(Max Tegmark)는 AI와 인류의 미래에 관한 많은 문제에 대해 확고한 이해를 갖고 있는 미묘한 사상가이지만, 조직의 편견은 항상 AI의 이점보다는 AI의 잠재적인 위험과 위험에 초점을 맞추는 것이었다.

머스크 자신은 고급 AI와 관련하여 매혹적으로 투명한 종류의 해리성 정체성 장애를 보여줬고 LLM이 인류를 몰살시킬 것이라는 경고를 울린 다음 트위터에서 자신의 생성 AI를 추진했다.

나는 이 청원서에 서명한 많은 사람들의 우려를 존중한다. 일부 서명자는 자체 AI 프로젝트가 따라잡는 동안 경쟁업체의 속도를 늦추려는 욕구로 인해 동기를 부여받을 수 있지만, 대다수는 아마도 GPT-4와 그 잠재적 후계자가 제기하는 위험에 대해 심각하게 우려하고 있을 것이다.

그러나 이 특정 AI 연구원/개발자/기업가는 확실히 이 청원서의 서명자에 포함되지 않는다.

나는 OpenAI가 LLM 기술을 출시하는 방식을 좋아하지 않는다. 나는 그들의 용기와 진취성을 존경하며, 샘 알트만(Sam Altman의 미래주의적 비전은 나의 비전과 상당 부분 중복된다. 그러나 나는 고급 AI가 좀 더 완전히 공개된 방식으로, 분산화되고 민주적인 통제하에 출시되는 것을 보고 싶다. 이는 OpenAI가 원래 설립되었을 때의 수사에 더 부합하다.

OpenAI의 GPT 시스템은 이 모든 경보를 받을 가치가 없다. 패닉 상태에서 잊혀 진 한 가지 사실을 강조할 가치가 있다. 대규모 언어 모델은 AGI가 되지 않을 것이다. 즉, 인간 수준 AGI를 지원하는 데 필요한 인지 아키텍처가 전혀 부족하다. 이 사실은 대다수의 AI 연구자들에게 분명하다. LLM은 대부분의 언어 작업에서 더 전통적이고 소규모이며 전문화된 머신러닝 모델을 능가하지 못한다. 그들은 몇 가지 흥미로운 창발 현상을 보여 주지만 모든 흥미로운 창발 현상이 동일하게 생성되는 것은 아니다. 인간 수준 AGI에는 상당히 다른 형태의 창발이 필요하다.

 

2004~2005년에 '인공 일반 지능'이라는 용어를 소개했을 때 나는 정교한 모방과 보상 극대화보다는 연민을 핵심으로 하는 개방형 사고 시스템에 더 초점을 맞추기를 바랬다.

위험 균형 조정 및 관리

현재 LLM이 제기하는 위험을 살펴보면 문제는 실제로 인간의 심리와 경제 조직에서 비롯된다는 것을 알 수 있다.

그렇다, LLM은 현재 가끔 말도 안되는 내용을 조작하지만 이는 사람들이 자신이 사용하는 것이 모든 버그와 단점을 암시하는 초기 단계 소프트웨어 도구라는 사실을 잊어버린 경우에만 문제가 된다. 예, LLM은 일부 일자리를 제거하지만 이는 사회가 방해를 받는 사람들에게 일자리나 복지를 제공하지 않는 경우에만 문제가 된다.

이러한 위험 중 어느 것도 심각한 긴급 상황은 아니며 LLM의 좋은 잠재력에 의해 균형을 이룬다. R&D를 금지하거나 늦추라는 요구는 생물무기나 여행가방 핵무기 같은 것에 대한 올바른 대응이다. 복잡한 장점과 과장된 단점이 있는 기술에는 적합하지 않다.

이러한 모든 위험에 대한 궁극적인 해결책은 LLM과 상호 작용하고 그 결과를 처리하는 인간의 인식과 공감을 높이는 것이다. 사람들이 의식 수준을 높이고 정부와 업계가 혼란을 처리하는 방법을 추론하는 동안 기술 개발을 일시 중지하는 것은 현실이 작동하는 방식이 아니다. 기술은 심리적, 사회학적 환경과 얽혀서 발전해야 한다. 다른 사람들이 전진하는 동안 한 쪽 다리를 멈추는 것은 불가능하다.

 

빅 테크의 비AGI LLM에 대한 올바른 반응은 당황한 청원이나 법적 금지가 아니라 민주적/분산형/유익한 실제 AGI 시스템이 문제를 해결하고 빅 테크 보다 빠르게 움직일 수 있도록 하는 것이다. OpenAI의 최근 움직임은 인상적이었지만, 인간의 이익을 핵심으로 설계하고 교육한 실제 개방형 AGI로 대응할 수 있는 여지는 여전히 많다.

프로액션 원칙

이상한 새로운 상황에 직면했을 때 감정적 반사에 따라 후퇴하기 쉽다. 그러나 명확한 사고에 의존하는 것이 더 현명하다. 신기술과 그 의미에 대해 생각하는 데 광범위하게 유용하다고 생각하는 개념 중 하나는 철학자 맥스 모어(Max More)가 표현한 "프로액셔너리Proactionary 원리"이다.

“기술적으로 혁신할 수 있는 사람들의 자유는 인류에게 매우 가치 있고 심지어 중요하기까지 하다. 이는 제한 조치가 제안될 때 다음과 같은 몇 가지 필수 사항을 의미한다. 대중의 인식이 아닌 이용 가능한 과학에 따라 위험과 기회를 평가한다. 제한 자체의 비용과 포기한 기회의 비용을 모두 고려한다. 영향의 확률과 크기에 비례하고 기대 값이 높은 측정값을 선호한다. 사람들의 실험, 혁신, 발전의 자유를 보호하라.”

GPT-4+를 둘러싼 현재의 소동은 사회의 사전 예방적 부문과 예방적 부문 사이의 분열의 시작일 수도 있다.

선제적 원칙은 기술 개발을 중단하는 데에는 상당한 명분이 필요하다는 것이다. 잠재적인 나쁜 결과에 대한 두려움은 분명해야 한다. 왜냐하면 돌연변이된 킬러 바이러스에 있기 때문이다.

'GPT 일시중지' 청원자들은 분명한 위험을 보여줬는가? 그들의 공개 서한에는 다음과 같이 적혀 있다.

“현대 AI 시스템은 이제 일반적인 업무에서 인간과 경쟁하게 되었고, 우리는 스스로에게 질문해야 한다. 기계가 우리의 정보 채널을 선전과 허위로 가득 채우도록 해야 할까? 만족스러운 업무를 포함해 모든 업무를 자동화해야 할까? 결국 우리보다 수적으로 더 많고, 더 똑똑하고, 쓸모없고, 우리를 대체할 수 있는 비인간적 정신을 개발해야 할까? 우리는 문명에 대한 통제력을 상실할 위험을 감수해야 할까? 그러한 결정은 선출되지 않은 기술 리더에게 위임되어서는 안 된다. 강력한 AI 시스템은 그 효과가 긍정적이고 위험을 관리할 수 있다는 확신이 있는 경우에만 개발되어야 한다.”

이것은 모두 우리가 사회로서 생각해야 할 중요하고 변혁적인 것들이다. 하지만 “이것을 진전을 멈춰야 하는 긴급상황으로 받아들여야 하나?”라는 기준으로 생각하면 영국 친구들이 “약한 차”라고 부르는 느낌이다. 이는 인터넷 자체, 휴대폰, 그리고 빠르게 발전하는 현대 기술 분야의 수많은 측면에 대해 사람들이 제기할 수 있는 불만과 크게 다르지 않다.

합리적인 비유는 현대 서구 민주주의 국가의 표현의 자유이다. 어떤 경우에는 언론의 자유에 대한 권리가 실제적 고려로 인해 무시된다는 것이 인정된다. 그러나 이러한 재정의는 매우 극단적인 상황에서만 허용된다.

예를 들어 미국에서는 붐비는 극장에서 '불'을 외치는 것을 금지하는 데 대부분의 사람들이 동의한다. 하지만 누군가가 불법적이거나 부도덕한 일을 하게 만들 수 있는 것처럼 보이는 발언을 금지하지 않는다는 점도 인정된다.

선제적 원칙은 대화하는 모든 사람을 살인적인 정신병자로 명백히 바꾸는 LLM이나 일반 주방 재료로 폭탄을 저렴하게 3D프린팅하려는 3D 프린터 금지에 대해 이의를 제기하지 않는다. 그러나 일부는 총을 인쇄할 수 있지만 범용 3D 프린터 금지를 옹호하지는 않는다.

그러나 선제적 원칙은 다음과 같이 말한다. "외견상 좋은 측면과 명백히 나쁜 측면이 복잡하게 혼합되어 있고 이와 관련된 즉각적이고 큰 치명적인 위협이 없는 흥미로운 신기술을 두려워하지 말고 일시 중지하라."

이는 LLM 또는 AGI와 관련된 단기 및 장기 위험을 무시한다는 의미는 아니다. 단지 "결국 위험한 것의 씨앗이 될 수 있다"거나 "사람들이 긍정적인 방법과 함께 위험한 방법으로 사용할 가능성이 있다"는 것은 기술을 금지하는 충분한 이유가 되지 않는다는 것을 의미한다.

 

좁은 AI의 확장

LLM이 엄청나게 강력하고 파괴적이라고 가정하기보다는 이러한 시스템이 무엇을 할 수 있고 무엇을 할 수 없는지 명확하게 살펴보겠다.

이전 AI 시스템에 비해 LLM은 매혹적인 동물이다. 이전에는 아직 존재하지 않는 인공 일반 지능 시스템(인간의 방식으로 경험을 넘어 창의적으로 일반화할 수 있는 능력, 그리고 궁극적으로 훨씬 더 강력함)을 하나의 특정 영역에서만 유능하게 사용할 수 있는 "협소한 AI" 시스템과 대조하는 것이 간단했다. 체스를 두거나 자동차를 운전하는 것과 같은 것이다.

LLM은 이러한 좁은/일반 구분을 위반했다. 그들의 능력은 상당히 광범위하다. 경험 기반을 넘어 지능적으로 추론할 수 있기 때문이 아니라 훈련 기반이 정말 거대하고 인간 노력의 거의 모든 측면을 포괄하기 때문이다.

전체 웹에서 훈련된 LLM은 어떤 작업을 요청받을 때 웹 어딘가에 설명된 유사한 요청 및 작업에 대한 메모리를 찾은 다음 이러한 메모리에서 얻은 결과를 종합하면 된다. 요청이 이미 웹에 설명된 것과 매우 유사하다면 이는 잘 작동한다. 그러나 웹은 너무 커서 결과가 광범위한 인텔리전스이다.

따라서 LLM은 여전히 "좁은 AI" 방법론을 따르지만, 너무 큰 훈련 데이터베이스에서는 그들의 행동이 일반적으로 보인다. 그러나 훈련 데이터 이상으로 큰 도약을 할 수 없다는 점에서 여전히 "좁다".

인간 사회는 근본적으로 새로운 과학 이론, 새로운 음악 장르, 완전히 새로운 형태의 감정적 관계를 발명한다. LLM 사회가 어떻게든 건설될 수 있다면, 이 일을 할 수 없을 것이다. 이전에 이미 수행된 작업에 대해 비교적 적당한 변형을 계속 재활용할 뿐이다.

물론 대부분의 인간은 결코 새로운 장르의 음악을 발명하거나 새로운 과학 이론을 구상하지 않을 것이다. 그러나 일부 인간은 그렇게 하며 이것이 문화를 발전시키는 원동력이다. 그리고 모든 어린 인간 아이들은 일상적인 훈련과 경험을 넘어서 큰 도약을 한다.

 

 

LLM의 정확한 기능과 한계는 아직 확실하게 알려져 있지 않다. 그러나 이용 가능한 증거는 다음과 같은 면에서 강력한 한계가 있음을 시사한다.

-진정한 독창적 창의성.

-매우 새로운 상황을 다루기

-신중하고 독창적인 추론의 사슬이 지속되는 것

누군가는 무엇이든 누구에게나 진정한 자율적 위협이 되기 위해서는 이러한 능력과 일종의 대리인이 필요하다고 주장할 수도 있다. 자율적이지 않고 근본적으로 창의적이지 않은 시스템으로서 LLM의 위협은 Reddit, arXiv.org 또는 TikTok의 위협과 거의 유사하게 간주되어야 한다. 물론 모두 미친 사람이나 악의적인 사람들을 도울 수 있는 잠재력을 가지고 있다. 나쁜 일을 하고 순진한 사용자를 혼란스럽게 한다. 이 모든 것에는 긍정적인 면도 있다.

이러한 한계를 보여주는 예시로서 1900년까지 음악 교육을 받은 LLM이 그 이후에는 교육을 받지 못했다고 상상해 보라. 재즈가 발명될 수 있을까? 아니다. 서아프리카의 리듬과 클래식 음악의 코드 진행을 함께 하라고 하면 일종의 폴리리듬적인 모차르트가 나올 수도 있지만 듀크 엘링턴이나 존 콜트레인은 나오지 않을 것이다.

또 다른 예로, 인지 과학자 게리 마르쿠스(Gary Marcus)는 다음과 같이 말한다. “사람들은 GPT가 언어 데이터로부터 과학적 원리(예: 그림자 작동 방식)를 추론할 수 있다고 주장한다. 증명해 보라. X년 이전의 텍스트에 대해서만 LLM을 교육하고 X년 이후에 발견된 단일 과학적 원리를 발견할 수 있음을 보여주라.” 근본적인 LLM 과학적 창의성에 대한 그러한 시연은 제공되지 않았다. 그리고 마르쿠스와 마찬가지로 나는 기본 아키텍처를 근본적으로 업그레이드하여 더 이상 LLM이 아니지 않는 한 그러한 시연이 불가능하다고 강력히 의심한다.

현재 가장 많은 방송 시간을 얻는 LLM 제한은 현재 세대의 시스템이 진실과 "환각"을 구별할 수 없다는 것이다. ChatGPT 및 Bard와 같은 시스템은 무엇이 무엇인지에 대한 기본 수준의 이해가 없기 때문에 마치 그것이 진실인 것처럼 큰 자신감을 가지고 내용을 구성하고 표현한다.

 

나는 현재의 LLM 패러다임이 이 문제에 대해 어느 정도 진전을 이룰 수 있다고 생각한다. 딥 러닝의 선구자 요슈아 벤지오(Yoshua Bengio)와 그의 학생 에드워드(Edward J. Hu)는 최근 AI의 심층 신경망 종에 속해 환각과 의미를 구분할 수 있는 LLM을 만드는 방법에 대한 몇 가지 합리적인 아이디어를 설명하는 블로그 게시물을 작성했다. 그들의 아이디어는 실행 가능해 보이지만, LLM 접근 방식을 넘어 논리 정리 증명자(논리 정리 증명자)와 같은 다른 종류의 AI 방법과 LLM을 통합하면 궁극적으로 더 강력한 진실 말하기 및 진실 생성 시스템을 얻게 될 것이라고 생각한다. 명시적 추상적 상징적 추론) 및 진화 프로그램 학습자(새로운 아이디어와 절차를 생각해 내기 위해 자연 선택 과정을 모방).

제한된 창의성 문제와 긴 추론 체인을 효과적으로 구성할 수 없는 문제는 AI 아키텍처를 근본적으로 변경하지 않으면 해결하기 어려운 것으로 입증될 것이다.

Microsoft 과학자들의 최근 논문에서는 GPT-4가 "AGI의 불꽃"을 보여준다고 주장한다. "AGI"에 대한 공식적인 정의가 없기 때문에("불꽃"에 대한 공식적인 정의가 없다는 점은 말할 것도 없고) 이 주장은 위조될 수 없다. 그들이 보여주는 것은 GPT-4가 출현과 일반화의 몇 가지 흥미로운 예를 보여준다는 것이다.

인간의 일반 지능에 비해 여기의 한계는 매우 엄격하다는 것이 분명해 보인다. 하지만 GPT-5나 GPT-6이 훨씬 더 인간과 유사한 형태의 일반 지능을 보여줄 수 있을까?

GPT-5나 GPT-6가 수많은 멋진 새 기능을 선보일 것이라는 데에는 의심의 여지가 없다. 그러나 시스템의 훈련 데이터를 넘어서는 상당한 창의적 도약을 이룰 수 없다는 것이 거의 확실해 보인다.

 

LLM에서 AGI까지

일부 전문가는 LLM이 AGI로 가는 황금 길에 있다고 생각하고, 다른 전문가는 기본적으로 AGI 진행을 방해하는 속임수라고 생각한다. 나는 중간 지점에 있다. LLM은 AGI가 아니며 AGI로 업그레이드할 수 없다. 하지만 LLM은 잠재적으로 더 나은 인지 아키텍처를 보유하고 보다 추상적인 형태의 학습 및 추론을 갖춘 AGI 시스템의 중요한 구성 요소가 될 수 있다.

요즘 내 AGI R&D의 주요 초점은 풍부한 인지 아키텍처를 갖춘 AGI 시스템의 매우 중요한 "패턴 인식 및 합성" 로브인 LLM에 베팅하는 시스템인 OpenCog Hyperon이다. OpenCog Hyperon은 신경망과 논리, 진화 및 기타 AI 방법을 공통의 거대한 분산 그래프(실제로는 메타그래프) 지식 기반으로 결합한다. 다양한 AI 방법은 모두 동일한 거대하고 살아있는 지식 그래프의 일부이며, 모두 자신이 살고 있는 그래프를 수정하여 학습, 추론 및 생성을 수행한다. 목표 지향적인 활동과 혼란스러운 자기 조직이 혼합되어 이루어지는 연결이다.

요슈아 벤지오(Yoshua Bengio)의 작업과 내 팀의 작업 외에도 다양한 생물학적 현실주의 수준의 다양한 종류의 신경망, 다양한 수학적 및 개념적 기반을 기반으로 한 논리 시스템, 복잡한 자기 조직화 등 다양한 아키텍처를 추구하는 활발한 AGI R&D 커뮤니티가 있다. 시스템 및 자체 재작성 코드베이스 등. 이러한 접근 방식 중 다수는 보다 풍부한 시스템의 구성 요소로서 LLM을 적절한 방식으로 사용할 수 있다.

그러나 이러한 경우 지금 LLM 개발을 일시 중지하는 것은 "AGI가 세계를 장악하기 직전에 AGI를 중지"하는 문제가 아니다. 왜냐하면 LLM은 AGI가 아니며 AGI일 수도 없기 때문이다. 일시 중지는 AGI로 가는 길의 R&D 단계이기도 한 유용한 상용 도구만 중지할 뿐이다.

GPT-n 시스템 교육을 일시 중지하거나 금지하면 그다지 강력하지 않은 것에 대한 과잉 반응이 될 수 있으며 훨씬 더 강력하고 흥미로운 AGI 지향 개발을 향한 진행 속도가 훨씬 더 느려질 수 있다.

 

 

유익한 AGI의 놀라운 장점

OpenAI CEO/창립자 샘 알트만(Sam Altman)과 나는 여러 가지 핵심 사항에서 의견이 다르지만 AGI 시스템이 인류를 위해 좋은 일을 해야 한다는 엄청난 잠재력에는 동의한다. 그는 “AGI의 장점이 너무 크기 때문에 사회가 AGI의 발전을 영원히 멈추는 것이 가능하거나 바람직하지 않다고 생각한다. 대신 사회와 AGI 개발자는 이를 올바르게 구현하는 방법을 찾아야 한다.”

수학자 IJ Good은 1965년에 “최초의 초지능 기계는 인류가 만들어야 할 마지막 발명품”이라고 말했다. 초인적인 능력을 갖춘 AGI는 어떤 발명품을 만들 수 있을까? 아마도 암, 사망, 정신 질환 치료, 기후 변화 해결, 우주 여행, 마인드 업로딩, 값싼 음식, 핵융합 에너지와 같은 작은 일들… 누구도 생계를 위해 일하지 않고 사람들이 사회에 집중할 수 있는 풍요의 시대, 영적, 예술적, 지적 성취. …

장수-의학 측면만 보면, 매일 약 13만명이 노화 관련 질병으로 사망하고 있다. 약간 초인적인 AGI가 이 문제에 큰 타격을 줄 수 있다는 데에는 의심의 여지가 거의 없는 것 같다. AGI 연구원인 조샤 바흐(Joscha Bach)는 다음과 같이 말했다. “AGI를 만들면 사람들이 죽을 확률은 10%일 수 있지만, AGI를 만들지 않으면 사람들이 죽을 확률은 100%이다. 특히 당신.”

 

악의적이거나 무관심한 AGI의 위험

공상 과학 영화는 사람을 노예로 삼거나 고문하려는 AGI 로봇과 관련된 매우 가능성이 낮은 시나리오에 초점을 맞추는 경향이 있지만, 심각하지만 편집증적인 미래주의 이론가 커뮤니티는 악의적인 AGI보다 무관심한 AGI에 대해 더 걱정하는 경향이 있다.

특이점주의 철학자 엘리에제 유드코프스키(Eliezer Yudkowsky)는 2006년에 내가 주최한 첫 번째 연례 AGI 연구 컨퍼런스에서 이렇게 말했다. “AI는 당신을 사랑하지 않는다. AI는 당신을 미워하지 않는다. 그러나 그것은 당신의 원자를 다른 용도로 사용할 수 있다.”

이것은 결국 우리가 집을 짓고 싶은 땅의 흙 속에 터널을 파는 개미에 대해 우리가 취하는 경향이 있는 태도이다. 우리는 그 개미를 미워하지도 않고 고문하고 싶지도 않지만, 한 마리씩 조심스럽게 옮겨 놓을 필요도 없다.

그러나 우리는 곤충 종의 멸종을 방지하기 위해 노력하고 있으며, 적어도 많은 사람들이 그렇게 하고 있다. 또한 모든 종류의 동물이 제한적인 광활한 야생 지역에서 번성할 수 있도록 지원하고 장려한다.

유드코프스키는 최근 더 큰 LLM 모델 교육을 중단하는 것만으로는 "충분하지 않다"고 강력하게 주장하는 기사를 작성했다. 그는 정부가 거의 모든 AGI나 첨단 AI R&D를 폭력적으로 탄압하기를 원하며, 심지어 국제 AGI 반대 협약을 위반하는 불량 정부가 운영하는 서버 팜을 폭격할 것을 제안하기도 한다.

유드코프스키의 이데올로기는 AGI 시스템이 아직 알려지지 않은 고도로 세련되고 구체적인 AGI 윤리 이론에 따라 만들어지지 않는 한 거의 확실하게 인류를 파괴할 것이라는 것이다. 일론 머스크(Elon Musk), 스티븐 호킹(Stephen Hawking), 닉 보스트롬(Nick Bostrom) 및 일반적으로 매우 총명한 다른 많은 개인들이 다양한 시기에 유사한 주관적 신념을 공언해 왔다. 그러나 나는 이 개념을 지지하는 합리적인 주장과 유사한 것을 본 적이 없다.

이 아이디어를 지지하는 사람들은 종종 "인간이 소중히 여기는 매우 특정한 가치에 관심을 갖는 무작위로 선택된 지능 시스템의 가능성은 거의 0이다"라고 말한다. 이것은 사실일 수도 있고 아닐 수도 있지만, 또한 관련성이 없다. 왜냐하면 우리는 무작위로 선택된 지능형 시스템을 만드는 것이 아니기 때문이다. 우리는 어느 정도 자체적으로 모델링된 인지 아키텍처를 사용하여 시스템을 만들고 있으며, 그런 다음 이러한 시스템을 가르치고, 훈련하고, 키우고 있다. 우리만의 문화와 사회.

AGI가 인류를 멸종으로부터 구하는 시나리오가 있다. 생물 무기에 대한 백신, 유성에 대한 방어막, 기후 변화에 대한 기술을 설계할 수 있다. AGI 없이 우리가 멸종되는 시나리오가 있다. 이는 적어도 AGI가 인류의 멸종으로 이어지는 몇 가지 시나리오만큼 가능성이 높다. 어떤 시나리오 세트가 우리 정책의 지침이 되어야 할까? 인류의 생존과 번영을 위해 AGI의 위험과 이점의 균형을 맞추는 것은 객관적이고 합리적인 방식으로 수행하기 매우 어려운 일이다. 사전 예방적 구분과 사전 예방적 구분을 정확하게 되돌린다.

 

아직 AGI 기술이 도입되지 않은 기술의 이점과 위험

앞서 살펴보았듯이 LLM 연구를 일시 중지한다고 해서 반드시 AGI로의 경로가 느려지는 것은 아니다. 왜냐하면 LLM은 실제 AGI에 적합한 아키텍처가 아니기 때문이다. GPT-5가 GPT-4보다 전체적인 AGI 아키텍처에서 더 나은 뇌엽 역할을 할 수 있다면 GPT-5에 대한 작업을 일시 중지하면 AGI로의 경로가 느려질 수 있다. 반면, GPT-5를 작업하는 천재 기술자들이 거대한 언어 모델을 훈련하는 대신 다른 형태의 AGI R&D로 리디렉션된다면 인간 수준(그리고 초인적) AGI 시스템을 향한 발전이 가속화될 가능성이 높다.

그러나 AGI 발전에 대한 논쟁의 여지가 있는 기여 외에도 더욱 강력한 LLM이 사회에 제공할 수 있는 많은 이점이 있다는 것은 분명한 것 같다. 이에 대한 감동적인 예는 "ChatGPT가 개의 생명을 구하고 수의사도 식별할 수 없는 정확한 진단을 제공한다."와 같은 뉴스 보도에서 찾을 수 있다. 이는 LLM의 궁극적인 장점 중 하나를 보여준다. 즉, 연구 및 의학에 사용하고 웹 검색 엔진 및 기타 기존 도구의 사용을 보완한다.

현재 LLM으로 인해 잠재적인 단기 위험도 있다. 순진한 사용자가 이러한 모델의 환각 경향을 인식하지 못하고 이러한 시스템이 말하는 모든 것을 진실로 받아들이는 경우, 우리는 LLM이 주도하는 가짜 뉴스 및 기타 허위 정보를 현재의 (이미 터무니없는) 수준을 훨씬 넘어서는 수준으로 늘릴 가능성이 있다.

BS를 생성하는 AI 챗봇은 우리가 '탈진실 세계'로 빠져드는 속도를 가속화할 위험이 있다. 현재 LLM의 좋은 적용과 나쁜 적용에 대한 흥미로운 예에서, ChatGPT를 사용하여 신약 발견을 도왔던 일부 화학 연구자들은 상황을 바꾸고 생물 전쟁 환경에서 사용할 새로운 화학 물질을 검색하는 데 도움을 주기로 결정했다. ... 재미있고 선정적인 헤드라인으로 이어지는 "AI는 단 6시간 만에 40,000개의 새로운 화학무기를 제시했다."

처음에는 무섭게 들리지만 조금만 생각해보면 훨씬 덜하다.

첫째, 화학 무기로 사람들에게 해를 끼치려는 정신병자나 테러리스트의 경우 위험한 화학 물질에 대한 정보 부족이 병목 현상이 되는 것이 아니다. 전쟁 물질을 구입하는 것이 병목 현상이 되는 것이다.

또한 해당 논문에 언급된 새로 발견된 잠재적 생물무기는 모두 알려진 물질의 변형이다(교육 데이터를 변경하는 것이 LLM이 하는 일이기 때문이다). 따라서 합성을 수행하도록 고용된 회사는 곧 그것이 생물무기일 가능성이 있다는 것을 분명히 인식하고 이를 거부할 것이다. 합성해 보라.

이제 훈련 데이터(LLM이 아님)를 뛰어넘어 창의적인 도약을 할 수 있는 AGI는 의심할 여지 없이 무시무시한 새로운 화학무기와 그보다 더 나쁜 물질을 생각해낼 수 있다. 우리가 거기에 도달할 때(십년이 아니라 몇 년이 걸릴 수 있음)에는 이 AGI의 유익한 방향이 핵심이 될 것이다. 하지만 이것은 우리가 GPT-4에 직면하고 있는 상황이 아니다. OpenAI가 근본적으로 다른 종류의 인지 아키텍처를 구축하고 이를 "GPT" 레이블 안에 넣지 않는 한 GPT-5 또는 GPT-6에 직면한 상황도 아닐 것이다.

 

 

다가오는 AI가 주도하는 경제 혼란

LLM과 관련된 더욱 분명하고 현실적인 위험은 LLM이 엄청난 수의 일자리를 없애는 소프트웨어 시스템의 핵심 구성 요소가 될 가능성이 높다는 것이다.

연구원들은 "미국 인력의 약 80%가 LLM 도입으로 인해 작업 업무의 최소 10%가 영향을 받을 수 있다"고 추정했다. GPT-4가 최종 제품이었다면 이는 정확한 추정일 수 있지만, 후속 시스템과 기술이 출시됨에 따라 이는 매우 과소평가되었음을 알게 될 것이다.

하지만 일하지 않고도 살 수 있도록 하는 것은 버그가 아니라 기능이라고 생각한다. 사람에게는 생계를 위해 일하는 것보다 보람 있고 유익한 일이 더 많다.

사회는 AGI와 로봇이 지불이나 인력 노동 없이도 공장을 계속 운영할 수 있는 세상에 적응해야 한다. 이러한 경제적, 정치적 변화는 반드시 기술 변화와 동시에 발생해야 한다. AI 개발을 일시 중지하고 경제 시스템을 재정비한 다음 AI 개발을 다시 시작하는 것은 실행 가능하지도 현실적이지도 않다. AI가 현실 세계에 미치는 영향이 커지면 필요한 경제 메커니즘의 세부 사항이 명확해질 것이다.

LLM이 발전하고 AGI가 자리를 잡기 시작하면서 피해를 입을 가능성이 가장 높은 사람들은 개발도상국의 실직 근로자들이고, 일자리가 사라진 사람들을 위한 UBI는 그렇게 빨리 오지 않을 것이다.

그러나 6개월 동안 또는 얼마나 오랫동안 더 큰 LLM 교육을 일시 중지한다고 해서 갑자기 주요 기업 AI 이니셔티브를 통제하는 기업의 상사와 기술 형제가 개발 도상국을 위한 UBI를 추진하기 시작하게 될지는 알 수 없다.

나는 주요 AI 낙관론자이며 AGI(LLM을 구성 요소로 포함)가 영광스러운 풍요의 시대를 가져올 가능성이 있다고 믿지만 전환기에 개발 도상국의 혼란과 고통에 대해 걱정한다. 그러나 LLM 교육을 잠시 중단하는 것이 우리 집단의 가까운 미래에 발생할 수 있는 매우 혼란스러운 측면을 해결하는 데 어떻게 도움이 될지는 모르겠다. 내 생각에는 LLM의 도움으로 더 나은 집단적 태도와 가치 체계를 위한 공감적 합리성을 달성함으로써 이 과도기의 어려움이 완화될 수 있을 것 같다.

LLM R&D 속도를 늦추는 데 따른 비용 및 이점

그렇다면 삶의 미래 연구소(Future of Life Institute)의 청원서에서 알 수 있듯이 서구의 거대 기술 기업이 대규모 LLM R&D를 실제로 중단한다면 무엇이 잘못되거나 옳을까?

-제대로 될 수 있는 것: AI 팀을 다른 종류의 훨씬 더 나은 AGI R&D에 재배치한다면 AGI에 대한 더 많은 진전이 있을 수 있다(그러나 그럴 가능성은 낮다. 더 좁고 단기적인 이익 지향적 활동으로 용도가 변경될 가능성이 더 높아 보인다). ).

-잘못될 수 있는 점: GPT-4를 중단하면 최고의 AI 채팅 시스템이 진부하고 환각적이어서 더 똑똑한 모델만큼 유익하지 않은 지점에서 LLM 개발이 일시 중지될 수 있다. 거의 모든 산업에 존재하는 LLM의 유익한 적용이 느려질 것이다.

-잘못될 수 있는 또 다른 문제: 미국이 속도를 늦추면 중국은 대규모 LLM 개발에서 상당히 쉽게 미국을 추월할 수 있다. 그리고 간첩).

확실히 중요한 형태의 AI 개발을 일시 중지하면 일시 중지에 따라 플레이하는 사람이 뒤쳐지게 될 뿐이며 최전선에 머물면서 기술을 안내하는 역할을 수행할 수 있는 능력이 희생된다.

에릭 레이몬드(Eric S. Raymond)는 이 점을 매우 강조했다. “​​유예의 실제 효과는… AGI를 늦추는 것이 아니다. AGI가 즉시 X-위험(실존 위험)이 되는 일종의 임계값이 있다면 우리는 단순히 권력 경쟁 때문에 거기에 도달하게 될 것이다. 모라토리엄의 유일한 효과는 (a) 대중이 연구실에서 무슨 일이 일어나고 있는지 전혀 모르고, (b) 가장 강력한 AI에 대한 모든 통제권이 가장 비밀스럽고 편집증적인 권력 추구자들에 의해 유지되도록 하는 것이다.”

 

AGI 분산화의 중요성

OpenAI가 설립된 정신을 기억해 볼 가치가 있다. 초기 자금 제공자 일론 머스크가 2016년에 언급한 바와 같이, “우리는 AI 기술을 민주화하고 이를 널리 사용할 수 있도록 해야 한다. 이것이 바로 여러분, 나, 그리고 나머지 팀이 OpenAI를 만든 이유는 AI 기술 확산을 돕기 위한 것이었다. 소수의 손에 집중되지 않는다.”

머스크는 이제 개방적이고 민주적인 AI와 AGI를 추진하려는 이러한 시도가 전통적인 방식으로 운영되는 고전적인 거대 기술 회사인 Microsoft와 극도로 긴밀한 금융 및 개발 관계를 맺는 상당히 전통적인 영리 조직으로 바뀌었다는 점에 분명히 불만을 표하고 있다. 현대 자본주의는 이에 수반되는 모든 복잡한 윤리적 문제를 안고 있다.

그는 또한 이제 LLM의 진행을 일시 중지할 것을 요구하고 있다. 하지만 2016년 머스크 버전이 더 나은 관점을 갖고 있다고 생각한다. 신흥 AGI가 긍정적이고 유익한 인간 가치를 갖도록 가르치려면 개방적이고 민주적이며 분산된 방식이 필요하다.

실제로, 일론 머스크는 대자본가로서 6개월 동안 개발을 중단한다고 해서 우리가 뉴저지 고등학교에서 “똥 같은 차이”라고 불렀던 것이 되지 않을 것이라는 점을 알만큼 현대 자본주의를 잘 이해할 것이라고 생각할 것이다. 현재 시스템의 본질은 대부분의 혁신이 무료로 또는 정부 자금을 통해 창출된 후 부유한 주주의 이익을 위해 거대 기술 기업에 의해 탈취된다는 것이다. 우리에게는 전혀 다른 방식으로 첨단 기술의 변혁적 영향에 대처할 수 있는 가치 체계의 변화가 필요하다. 그렇지 않으면 실제 위협은 동일하게 유지될 것이며 지금으로부터 6개월 또는 10년 후에도 실질적으로 달라지는 것은 아무것도 없을 것이다.

기업과 정부의 이익이 강력한 기술을 통제하는 것은 흔한 일이지만, 냉혹한 규칙은 아니다. 예를 들어 인터넷이나 Linux에서는 그렇지 않았다. 기업과 국가는 이를 사용하는 방식에 큰 역할을 했지만 다른 많은 사람들도 마찬가지이다. 개방형 분산형 네트워크에는 많은 힘이 있으며, 우리는 AGI의 개발 및 배포에 이 힘을 적용해야 한다.

이는 물론 내가 2017년에 설립한 이후 SingularityNET 생태계를 이끌어온 SingularityNET 분산형 AI 플랫폼, NuNet 분산형 컴퓨팅 리소스 플랫폼, Hypercycle 원장 없는 AI 맞춤형 블록체인 등의 존재 이유로 이어진다. 앞으로. 이제 우리는 중앙 집중식 컨트롤러, 소유자 또는 규제 기관 없이 분산형 컴퓨터 네트워크에서 거대한 AI 시스템을 실행할 수 있는 기술적 역량을 갖추고 있다.

분산화는 본질적으로 유익하지 않다. 모든 종류의 혼란, 파괴 및 어리석음을 조장하는 데 사용될 수 있다(이 모든 것은 오늘날의 블록체인 세계에서 상당한 수준으로 볼 수 있다!). 그러나 잘 설계된 분산형 시스템은 민주적 거버넌스와 통제의 원칙을 구현할 수 있으며, 이것이 인간 가치의 보다 자비롭고 보편적인 측면을 존중하는 AGI 시스템을 만드는 최선의 경로라고 믿는다. 지금 이런 종류의 시스템을 구축하는 것은 진전을 멈추기 위해 쓸데없는 연극적 노력을 하는 것보다 자원을 훨씬 더 잘 사용하는 것이다.

민주주의는 또한 복잡하고 미묘한 개념이며, AI 진행을 조정할 수 있는 일종의 민주적 거버넌스는 정치 대표를 선출하는 방법과 동일하지 않을 가능성이 높다. 현대 민주주의 주 정부에는 느린 응답 시간, 다수의 독재 및 방해 행위와 같은 현상이 발생하는 경향을 포함하여 잘 알려진 문제가 많이 있다. 공동체의 관점의 다양성과 관점의 다양성을 신중하게 설명하는 거버넌스라는 의미에서 민주주의의 근본적인 본질에 관해 많은 깊은 생각이 있어왔다. Hannah Arendt부터 Fred Dallmeyr 및 유동 민주주의 운동과 같은 보다 최근의 사상가에 이르기까지 가능한 한 많은 것을 포함하는 종합적인 결론에 도달한다.

블록체인 커뮤니티는 금융, 소프트웨어, 데이터 관리 및 기타 활동을 조정하는 다양한 종류의 커뮤니티 운영 분산형 자율 조직(DAO)을 통해 이러한 다양한 형태의 민주주의를 탐구하는 데 관심을 보였다. 분산화가 잘 작동하도록 만드는 것과 마찬가지로 여기에는 확실히 사소한 과제가 있지만 이는 고급 AI 시스템의 출시 최적화를 넘어서는 이유로 직면할 가치가 있는 과제이다.

따뜻한 AGI로 가는 길

거의 모든 사람들이 우리가 구축한 AGI 시스템이 인간의 핵심 가치를 발휘하기를 원한다는 데 동의할 것이다. 하지만 이것이 정확히 무엇을 의미하는지는 불분명하다. 특히 인간의 가치는 문화에 따라 매우 다양하고 시간이 변화함에 따라 크게 진화하기 때문이다. AGI 시스템을 서기 1500년이나 심지어 1975년의 특정 하위 문화의 인간 가치에 고정시키는 것은 유독 많은 사람들을 기쁘게 하지 않는 것이다. 우리가 정말로 원했던 것은 시간이 지남에 따라 우리와 우리의 가치가 발전함에 따라 우리와 함께 발전할 수 있는 AGI 시스템이다.

인간의 가치는 AGI 시스템에 프로그래밍할 수 있는 종류의 것이 아니다. 초기 초기 단계 AGI 시스템과의 협력 활동을 통해 대부분의 협력이 필요하다. 교육, 의료, 과학, 공룡 예술과 같은 분야에서 초기 AGI 시스템과 함께 건강하고 포용적인 방식으로 협력하는 것은 긍정적인 인간 가치를 개척하는 젊은 AGI를 성장시키는 데 가장 중요한 부분이 될 것이다.

미래의 AGI 시스템이 가치가 있다고 생각하지 않는 경우 연민의 종류와 같은 문제를 생각할 때, 명확한 마음을 유지하고 대략적인 것에 영향을 미치지 않는 것이 특히 중요하다. 이 인간의 마음이나 원래 소속 AI 시스템과 비교하면 어느 정도 도움이 되지 않고 잘못된 정보가 있을 수도 있다. 공학적 AGI 시스템에 의해 추출되는 조직의 적 능력은 어느 정도 도움이 되는 것이다.

인간은 생물학의 깊은 곳에서 기원하는 연민과 연결을 생성, 현재 하드웨어와 관련된 것을 기반으로 구축된 엔지니어링 AGI를 위해서이다.

연민과 이해는 다양한 방식으로 핵심의 존재하기는 하지만 지성은 분류되는 사실이다(적어도 주요 부분에서 이해하지 못하는 것을 위해 좋은 일을 하는 것은 아니라는 것이다).

그러나 다양한 예외자들은 연민과 합의이 마음, 우주, 존재의 본질적인 측면을 주장한다고 주장한다. 나는 이러한 의견에 동의하며 연민과 예외의 이러한 존중하는 측면이 AGI 시스템에 동의할 수 있다고 확신한다.

이 분야의 명제를 검증할 수 있는 검증(또는 반박)할 수 있는 장치는 아직 없지만, 인간에 비해 초지능적일 뿐만 아니라 믿을 수 있는 많은 기계를 설계할 수 있는 이러한 시스템이 이상한 할 필요가 있다는 것이 있었다. 인간이 일하는 방식은 그들의 연민으로 이루어진다.

다른 사람의 마음을 생성하고 다른 사람의 마음과 자신의 속성을 유추할 수 있는 능력과 예외를 갖고 AGI 시스템을 만들면 인간 볼 수 있는 것보다 다른 사람의 이해에 대한 이해와 한계가 훨씬 더 작은 이해 관계 기계를 만든다. 그럴 수도 있다.

나는 모든 AGI나 초인적 AGI에 대해 초연민이 자동으로 말하지 않는다고 생각하지 않는다. 내가 생각하는 것은 목표 시스템뿐만 아니라 개념적 구성 요소의 초기 조립에도 시스템에 적합하도록 하는 것이다. 그리고 AGI 시스템의 초기 학습/경험에도 연민이 접근할 수 있어야 한다고 생각한다. 마틴 부버(Martin Buber)가 "나-너(I-Thou)" 관계라고 서로 관련되어 있다.

우리의 시스템이 AGI로 발전함에 따라 우리 인간 AI의 공간은 자신의 능력을 확장할 수 있고 개인 및 집단의 합리성을 확장할 수 있는 공생 시스템(Mindplex와 같은)을 확장할 수 있다. 우리에게 필요한 것은 인간과 AGI가 지식, 활동력, 블록 블록 발전의 관계에서 다음 시대로 힘을 실어줄 것이다. 우리가 AI의 능력을 확장하고 개발함에 따라 인간의 의식을 장려하는 방식으로 확장되어야 한다. AI 개발을 중단한다고 해서 이를 달성할 수는 없다. 인류에게 개방형 AI를 개발할 수도 있다.

이 모든 것은 명백히 이야기하거나 노력하기에는 규모가 어려운 일이지만, 나만이 중요하지 않은 상황에 있을 수 있다고 한다.

 

열어보라. 종료하려고 시도하거나 실패하지 말라.

전설적인 미래학자이자 AI 개발자인 레이 커즈와일(Ray Kurzweil)은 2029년까지 인간 수준의 AGI에 도달하고 2045년에는 근본적으로 초인적인 AGI를 갖춘 기술적 특이점에 도달할 것이라고 예상했다. 나는 항상 2029년 날짜가 합리적이라고 생각했다. 인간 수준이고 근본적으로 초인간적인 AGI는 나에게 비현실적으로 보였다.

AGI가 똑똑한 인간 수준에서 컴퓨터 공학, 수학, 엔지니어링을 수행할 수 있게 되면 코드베이스를 근본적으로 리팩토링하고 새로운 하드웨어를 설계하고 지능을 대대적으로 업그레이드하는 데 최대 몇 년이 걸릴 것 같다. — 그런 다음 거품을 내고 헹구고 반복해야 한다.

GPT-4가 무엇을 할 수 있는지 살펴보고 우리 팀의 OpenCog Hyperon과 같은 보다 강력한 아키텍처 또는 연례 AGI 연구 컨퍼런스에 참여하는 AGI 연구 커뮤니티가 추구하는 다른 접근 방식에 따라 AGI 구축의 진행을 가속화할 수 있는 잠재력에 대해 생각한다. 2006년부터 조직해왔다. 나는 레이 커즈와일의 추정이 비관적이라고 생각할 이유가 없다고 생각한다.

실제로 이것이 옳고 우리가 실제로 특이점의 직전에 있다면 분명히 약간의 주의와 경고가 필요하다. 우리는 악의적인 AGI에게 먹히거나 악성 나노머신에 의해 회색 점액으로 변하는 것을 원하지 않는다. 그러나 우리는 또한 이해해야 한다. 우리를 어떤 종류의 특이점으로 이끄는 기술이 분석하기 어려운 장점과 단점으로 인해 이상하고 복잡하게 느껴질 것이라는 점은 거의 불가피하다. 그것이 혁명의 본질이다.

엄청난 풍요의 잠재력과 함께 "미지의 미지"로 가득한 미지의 영역으로 이동할 때 우리는 사전 예방이 아니라 사전 대응을 해야 하며, 이러한 사전 조치와 광범위한 응용 프로그램에 적용되는 개방적이고 민주적이며 분산된 시스템에 초점을 맞춰야 한다. 인간의 이익을 위해

이러한 전반적인 맥락에서 LLM 교육에 대한 작업을 일시 중지한다는 개념은 다소 벗어난 것 같다. LLM 교육은 AGI로 가는 길이 아니며, 일시 중지한다고 해서 불쾌한 AGI로 가는 길을 막는 것도 아니고, 지속적인 AGI 발전으로 인한 주요 글로벌 사회 및 윤리적 문제를 해결하는 것도 아니다. 더 큰 LLM 자체의 위험은 분명히 장점보다 크지 않으며, 확실히 사전 대응적 원칙 사고 방식의 맥락에서 금지 및 제한을 정당화할 만큼 명확하지 않다.

컴퓨터 과학자 스캇 애런슨(Scott Aaronson)도 청원서에 서명하지 않은 이유를 설명하면서 비슷한 점을 아주 분명하게 밝혔다. 위로. 그러나 GPT-5 또는 GPT-4.5 훈련으로 시작하여 내 아이들과 모든 탄소 기반 생명체의 갑작스러운 죽음으로 끝나는 인과 관계 이야기는 여전히 내 노화에 비해 너무 많은 격차가 있고 메울 수 없는 뇌가 부족하다. 물론 내 상상 속에서 스토리를 완성할 수도 있지만, GPT-5로 시작해서 다양한 자연의 어리석음으로부터 구원받은 세계로 끝나는 스토리도 똑같이 완성할 수 있다. 좋든 나쁘든 첫 번째 이야기가 두 번째 이야기보다 분명히 1000배 또는 1,000,000배 더 가능성이 높은 이유를 알 수 있는 '베이즈크래프트'가 부족하다.”

첨단 기술을 글로벌 인류 사회와 심리학에 긍정적으로 통합할 수 있도록 사람들의 의식, 윤리 및 연민을 고양시키는 것이 윤리와 위험 측면에서 모호한 복잡한 기술의 개발을 일시 중지하거나 금지하는 것보다 훨씬 더 가치 있는 관심의 초점이 될 것이다.

하지만 나는 GPT-4/5의 일반적인 주변에 다소 미묘한 문제가 소용돌이치고 있다는 점을 인정한다. 그리고 특허적으로 AGI가 아닌 환경에서도 이러한 성격의 약간 미묘한 문제가 발생하고 있다는 점은 주목할 만하다고 생각한다. 오늘날 우리가 보고 있는 훈련 데이터 중심 소프트웨어 시스템이다. 앞으로 몇 년은 기술적으로뿐만 아니라 사회학적으로도 매우 흥미로운 시기가 될 것이 확실하다.

특이점, 준비가 되었던 안되었든 간에 이제 다가온다.