특이점의 혼란

네 가지 서로 다른 아이디어가 뒤섞여 불확실한 결과를 향해 같은 방향으로 가속하고 있다(제공: David Wood)

"특이점"과의 첫 번째 혼동은 이 문구가 여러 가지 다른 방식으로 사용된다는 것이다. 결과적으로 주의가 산만해지기 쉽다.

 

네 가지 정의

예를 들어, 2008년부터 "기하급수적 기술의 힘 활용", "기하급수적 기술을 활용하여 글로벌 거대 과제 해결"과 같은 주제로 강좌를 제공하고 있는 싱귤래리티 대학교(SingU)를 생각해 보라.

SingU의 경우 "특이점"은 기본적으로 디지털 사진과 같은 신기술이 아날로그 사진과 같은 이전 솔루션보다 더 유용해질 때 발생하는 급격한 혼란과 동의어이다. 이러한 혼란을 예측하기 어렵게 만드는 것은 관련 기술의 역량이 기하급수적으로 증가하기 때문이다.

마니아들의 기대에 뒤처지는 저성장 시대가 고속 성장 시대로 바뀌면서 대부분의 관찰자들은 “왜 아무도 이런 일이 일어날 것이라고 경고하지 않았는가?”라고 불평한다.

인간의 삶은 “돌이킬 수 없게 변화”되었다.

 

"특이점"이라는 용어의 두 번째 사용법은 개인의 혼란, 즉 삶의 특정 영역에서의 특이점을 말하는 것 이상이다. 대신, 그것은 인간 삶의 모든 측면에서 혼란을 예상한다. 미래학자 레이 커즈와일(Ray Kurzweil)이 2005년 저서 특이점이 가까웠다(The Singularity Is Near)에서 이 용어를 소개하는 방법은 다음과 같다.

 

그렇다면 특이점이란 무엇인가? 미래에는 기술 변화의 속도가 매우 빠르고 그 영향이 매우 깊어서 인간의 삶이 되돌릴 수 없을 정도로 변화될 것이다. 이 시대는 비즈니스 모델에서 우리 삶에 의미를 부여하기 위해 의존하는 개념을 변화시킬 것이다. 죽음 자체를 포함한 인간 삶의 순환에…

 

임박한 특이점의 기본 아이디어는 인간이 만든 기술의 변화 속도가 가속화되고 그 힘이 기하급수적인 속도로 확장되고 있다는 것이다.

그 '돌이킬 수 없는 변화'의 본질은 책의 부제인 '인간이 생물학을 초월할 때(When Humans Transcend Biology)'에서 분명해진다. 우리 인간은 더 이상 기술의 도움을 받아 생물학적인 존재가 되지 않을 것이다. 그 특이점 이후에 우리는 아마도 일부 생물학적 측면을 포함하여 주로 기술적인 측면을 갖게 될 것이다.

 

초지능 AI

"특이점"의 세 번째 사용법은 다른 종류의 변형을 예견한다. 인간이 지구상에서 가장 지능적인 생물이 되기보다는 초지능 AI에 뒤처지게 될 것이다. 현재 고릴라나 돌고래 같은 종의 운명이 인간의 행동에 달려 있는 것처럼, 특이점 이후 인간의 운명도 AI의 행동에 달려 있을 것이다.

그러한 인수는 1951년에 선구적인 컴퓨터 과학자인 앨런 튜링(Alan Turing)에 의해 예견되었다.

내 주장은 인간 마음의 행동을 매우 밀접하게 시뮬레이션하는 기계를 만들 수 있다는 것이다.

일단 기계 사고 방식이 시작되면 우리의 미약한 힘을 능가하는 데 그리 오랜 시간이 걸리지 않을 것 같다. 기계들이 죽어가는 것은 의심할 여지가 없을 것이고, 그들은 서로 대화를 나누면서 지혜를 갈구할 수 있을 것이다. 따라서 어떤 단계에서는 기계가 제어할 수 있을 것으로 예상해야 한다.

 

마지막으로, 컴퓨터 과학 및 수학 교수이자 유명한 SF 소설 시리즈의 저자이기도 한 베르너 빈지(Vernor Vinge)가 1983년 Omni의 에세이에서 "특이점"이라는 용어를 소개했을 때 어떤 생각을 했는지 생각해 보라. 빈지는 미래 사건의 예측 불가능성에 대해 걱정했다.

우리의 미래가 뚜렷이 보이는 곳에는 돌담이 놓여 있고, 그 길은 그리 멀지 않다. 종(種)이 진화적 발달 단계에 도달하면 뭔가 극적인 일이 일어난다. 적어도 그것은 우주에 다른 지능이 그토록 텅 빈 것처럼 보이는 이유에 대한 설명 중 하나이다. 물리적 재앙(핵전쟁, 생물학적 역병, 맬서스의 파멸)이 이러한 공허함을 설명할 수 있지만, 기술적 진보 자체만큼 종의 미래를 알 수 없게 만드는 것은 없다.

우리는 지능 자체의 진화를 가속화하는 시점에 있다. 이 현상을 달성하는 정확한 수단은 아직 예측할 수 없으며 중요하지도 않다. 우리 작업이 실리콘으로 만들어졌든 DNA로 만들어졌든 궁극적인 결과에는 거의 영향을 미치지 않는다. 인간 지능의 진화에는 수백만 년이 걸렸다. 우리는 그 짧은 시간 내에 동등한 발전을 고안할 것이다. 우리는 곧 우리 자신보다 더 위대한 지능을 창조하게 될 것이다.

 

“우리의 이해를 훨씬 넘어서는” 특이점

이것은 빈지가 자신의 특이점 개념을 소개하는 때이다.

이런 일이 일어나면 인류 역사는 일종의 특이점, 즉 블랙홀 중심의 매듭진 시공간처럼 뚫을 수 없는 지적 전환에 도달하게 될 것이며, 세계는 우리의 이해를 훨씬 뛰어넘을 것이다. 나는 이러한 특이점이 이미 많은 SF 작가들을 괴롭힌다고 생각한다. 이는 성간 미래에 대한 현실적인 추정을 불가능하게 만든다.

생물(유기물이든 무기물이든)이 현재 인간을 훨씬 능가하는 일반 지능 수준에 도달한다면 어떤 종류의 목표와 목적이 이 광대한 두뇌를 차지하게 될까? 그들의 동기가 우리의 현재 목표 및 목적과 똑같을 가능성은 거의 없다. 대신, 이 새로운 정신의 엄청난 규모는 우리의 이해에 낯설게 느껴질 것이다. 때때로 우리를 관찰하는 개와 고양이, 다른 동물들에게 인간의 선입견이 나타나는 것처럼 그것들은 우리에게 헤아릴 수 없는 것처럼 보일 수 있다.

AI, AGI, ASI

더 나아가기 전에 오늘날의 AI와 미래의 초지능을 빠르게 비교해 보겠다.

기존 AI 시스템은 일반적으로 경로 계획, 모기지 및 대출 신청 처리, 분자 속성 예측, 다양한 기술 게임 플레이, 주식 매매, 이미지 인식, 음성 번역 등 좁은 맥락에서 강력한 기능을 갖추고 있다.

그러나 이 모든 경우에 관련된 AI는 인간이 현실 세계에서 상호 작용하는 방식의 전체 복잡성에 대한 불완전한 지식을 가지고 있다. AI가 훈련된 사례 데이터 세트의 일부가 아닌 요인이나 상황이 현실 세계에 도입되면 AI가 실패할 수 있다.

대조적으로, 동일한 상황에 있는 인간은 더 나은 결정을 내리기 위해 "상식", "일반 지식", 직관 또는 "직감"과 같은 능력에 의존할 수 있다.

 

일반 지능을 갖춘 AI

그러나 미래의 AGI(일반 지능을 갖춘 AI)는 인간만큼 많은 상식, 직관 및 일반 지식을 갖게 될 것이다. AGI는 예상치 못한 발전에 반응하는 데 있어서 최소한 인간만큼 뛰어날 것이다. AGI는 오늘날의 AI가 넘어질 수 있는 복잡한 환경에서도 인간만큼 유능하게(하지만 훨씬 더 효율적으로) 미리 지정된 목표를 추구할 수 있다.

AGI에 입력되는 목표가 무엇이든, 사용할 수 있는 자원이 더 많고 사고 능력이 더욱 향상되면 해당 목표를 달성할 가능성이 더 높을 것이라고 스스로 추론할 가능성이 높다. 다음에 일어날 일은 앨런 튜링(Alan Turing)의 오랜 동료인 IJ Good이 설명한 것과 같다.

초지능 기계는 아무리 영리하더라도 인간의 모든 지적 활동을 훨씬 능가할 수 있는 기계로 정의하겠다. 기계 설계는 이러한 지적 활동 중 하나이기 때문에 초지능 기계는 훨씬 더 나은 기계를 설계할 수 있다. 그러면 의심할 바 없이 “지능의 폭발”이 일어날 것이며, 인간의 지능은 훨씬 뒤처지게 될 것이다. 따라서 최초의 초지능 기계는 인간이 만들 필요가 있는 마지막 발명품이다. 단, 그 기계는 우리에게 그것을 통제하는 방법을 알려줄 만큼 충분히 유순하다.

 

인공 초지능으로 진화

즉, 인간이 AGI를 만든 후 얼마 지나지 않아 AGI는 인간의 능력을 훨씬 능가하는 인공 초지능인 ASI로 진화할 가능성이 높다.

AI가 인간의 개입 없이 스스로를 재설계한다는 아이디어가 무리한 것처럼 보일 경우 약간 다른 가능성을 고려해 보자. 적어도 초기 단계에서는 인간이 여전히 설계 프로세스의 일부가 될 것이다. 인간이 프로세스를 반복하기 전에 개선된 차세대 AI 도구를 설계하는 데 도움을 주기 위해 한 세대의 AI 도구를 사용하는 오늘날 이미 그렇다.

I.J. 그것도 예견했군요. 이것은 그가 1959년 뉴욕 IBM에서 한 강의에서 나온 것이다.

충분히 좋은 기계가 설계되면... 더 나은 기계를 설계하는 작업에 투입될 수 있다...

아주 좋은 기계가 없는 것과 아주 좋은 기계가 많이 있는 것 사이에는 매우 짧은 전환 기간이 있을 뿐이다.

 

이 시점에서 “폭발”이 분명히 일어날 것이다. 과학과 기술의 모든 문제는 기계에게 넘겨질 것이며 더 이상 사람이 일할 필요가 없게 될 것이다. 이것이 유토피아로 이어질지 아니면 인류의 멸종으로 이어질지는 기계가 문제를 어떻게 처리하는지에 달려 있다.

특이점 시간 척도: 기하급수적인 계산 증가

특이점 개념에 대한 한 가지 추가 변형을 강조할 필요가 있다. 베르너 빈지(Vernor Vinge)가 강조한 것처럼 특이점을 통과한 결과가 매우 예측할 수 없다는 것만이 아니다. 특이점에 도달하는 시점도 본질적으로 예측할 수 없다는 것이다. 이는 '특이점'과의 두 번째 혼란이라고 할 수 있는 상황에 이르게 한다.

 

내가 방금 말한 것과는 달리, 특이점의 날짜에 대한 합리적인 추정치는 컴퓨팅 시스템의 하드웨어 성능 증가를 추정하여 얻을 수 있다는 주장이 가끔 제기된다. 아이디어는 인간 두뇌의 컴퓨팅 능력에 대한 추정부터 시작하는 것이다. 그 추정에는 뇌의 뉴런 수가 포함된다.

이러한 추세를 추정해 보면, 그러한 컴퓨터는 2045년경에 단일 인간 두뇌의 능력뿐만 아니라 모든 인간 두뇌의 능력을 합친 것과 일치할 것이라고 주장할 수 있다.

다음으로, 예를 들어 1,000달러에 구입할 수 있는 컴퓨터의 중앙 처리 장치에 포함된 트랜지스터의 수를 고려해보라. 넓은 의미에서 그 숫자는 1960년대 이후 기하급수적으로 증가해 왔다. 이 현상은 소위 "무어의 법칙"의 일부이다.

 

이 주장은 특이점의 가능성에 대한 대중의 인식을 높이는 데 유용하다. 그러나 상세한 예측을 위해 이러한 사고 방식을 사용하는 데에는 네 가지 결함이 있다.

1. 개별 트랜지스터는 여전히 소형화되고 있지만 최근 몇 년간 축소 속도가 둔화되었다.

2. 컴퓨팅 시스템의 성능은 결정적으로 하드웨어뿐 아니라 소프트웨어에도 달려 있다. 소프트웨어의 혁신은 단순한 지수 곡선을 무시한다.

3.때때로 기술의 단 한 번의 돌파구가 예상했던 것보다 훨씬 더 광범위한 발전을 불러일으킬 수도 있다. 딥러닝 신경망의 획기적인 발전을 고려해보라. c. 2012.

4. 지속적인 기술 진보는 충분히 안정적이고 지원적인 환경을 제공하는 사회 전체에 달려 있다. 그것은 예측할 수 없을 정도로 달라질 수 있는 또 다른 것이다.

 

통계적 추정

개별 날짜를 지정하고 특이점이 그때까지 확실히 도착할 것이라는 확고한 예측을 제공하는 대신 해당 날짜까지 특이점이 도착할 가능성에 대한 통계적 추정을 제공하는 것이 훨씬 바람직하다. 그러나 관련된 불확실성을 고려하면 이러한 추정조차도 어려움을 겪는다.

가장 큰 불확실성은 인간의 두뇌에서 상식과 일반 지식이 발생하는 방식을 이해하는 데 얼마나 근접했는지 추정하는 것이다. 일부 관찰자들은 실리콘과 소프트웨어에서 해당 모델을 복제하기에 충분한 이해력을 갖기 전에 수십 가지 개념적 혁신이 필요할 수 있다고 제안한다. 그러나 단일한 개념적 도약으로 이러한 서로 다른 문제가 모두 해결될 수도 있다.

또 다른 가능성이 우리를 잠시 멈춰야 한다. AI는 인간이 AI가 어떻게 작동하는지 또는 일반 지능이 인간 두뇌 내부에서 어떻게 작동하는지 이해하지 못하더라도 AGI 수준에 도달하거나 초과할 수 있다. 기존 소프트웨어와 하드웨어 모듈을 여러 번 재조합하면 개별 구성 모듈의 기능을 훨씬 뛰어넘는 전체 네트워크 지능이 예기치 않게 출현할 수 있다.

 

특이점 교육

ASI가 어떤 방향을 취할지, 특이점이 우리에게 터져 나올 시간이 확실하지 않더라도 적어도 그러한 ASI의 가능한 동작을 제한하는 프레임워크를 제공할 수 있을까?

이 질문에 대답할 수 있는 최선의 대답은 "힘들 거예요!"이다.

인간에 비유하자면, 많은 부모들은 자녀가 새로운 아이디어와 기회에 접근할 수 있게 되면서 자녀의 선택에 놀랐다. 심지어 어이가 없었다.

 

ASI 소개

인류의 집단적 아이인 ASI도 같은 방식으로 우리를 놀라게 하고 어리둥절하게 만들 수 있다. 그럼에도 불구하고, 우리가 올바른 교육을 받으면 개발 과정, 즉 I.J. 좋음 - 인간의 심오한 웰빙에 더 잘 부합하는 방식이다.

그 학교 교육은 인간에 대한 자비의 원칙인 일종의 "기본 지침"으로서 ASI에 깊이 뿌리박는 것을 목표로 한다. ASI가 환경에 대한 인류의 유해한 영향으로 인해 인구를 줄이는 등 특정 결정을 내리는 시점에 있다면 그러한 비인간적 결정은 기본 지침에 의해 무시될 것이다.

여기서 어려운 점은 다양한 철학자, 시인, 신학자, 정치가, 엔지니어를 나열하고 그들에게 인간을 향해 자비롭게 행동한다는 것이 무엇을 의미하는지 묻는다면 다양한 대답을 듣게 된다는 것이다. 자비심을 프로그래밍하는 것은 아름다움이나 진실에 대한 감각을 프로그래밍하는 것만큼 어렵다.

하지만 어렵다고 해서 일을 포기할 이유는 없다. 사실, 선행의 의미를 명확히 하는 것은 우리 시대의 가장 중요한 과제가 될 수 있다.

 

트립와이어 및 카나리아 신호

여기에 또 다른 비유가 있다. 네트워크 관계에서 AI 지능의 많은 모듈을 함께 축적하는 것은 핵분열성 물질을 함께 축적하는 것과 유사하다. 재료가 임계 질량에 도달하기 전에도 방출되는 방사선 때문에 조심스럽게 처리되어야 한다. 그러나 일단 임계 질량점에 도달하면 연쇄 반응이 일어나 핵 용해 또는 더 나쁜 경우 핵 학살이 발생한다.

여기서 요점은 핵물질을 위험한 물질에서 재앙적인 물질로 전환시키는 우발적인 임계질량 침해 위험을 감수하지 않는다는 것이다. 따라서 그러한 물질을 다루는 사람은 누구나 원자력 안전 원칙에 대한 철저한 교육을 받아야 한다.

 

AI 모듈이 축적되어도 상황이 그렇게 명확하지는 않다. 이러한 축적이 폭발적인 단계 전환을 촉발할 수 있는지 여부는 현재 우리가 어렴풋이 이해하고 있는 많은 문제에 달려 있다.

그러나 우리가 주장할 수 있고 주장해야 하는 것은 향상된 AI 시스템을 만드는 데 참여하는 모든 사람이 잠재적인 "트립와이어"에 주의를 기울여야 한다는 것이다. 구성 변경이나 네트워크에 대한 새로운 추가는 폭발 가능성이 있는 결과를 미리 평가해야 한다. 더욱이 시스템은 어떤 경우에도 이러한 위상 전환이 임박했다는 카나리아 신호가 있는지 지속적으로 모니터링해야 한다.

다시 말하지만, 어떤 종류의 카나리아 신호가 의미가 있고 어떤 것이 방해가 되는지에 대해 다양한 의견이 있기 때문에 이것은 어려운 작업이다.

 

결론적 생각

특이점의 개념은 문제를 제기한다. 부분적으로는 이 아이디어를 둘러싼 불행한 혼란 때문일 뿐만 아니라 특이점의 실제 문제에는 쉬운 답이 없기 때문이다.

1.AI 시스템이 곧 AGI 수준에 도달할 수 있다는 좋은 카나리아 신호는 무엇일까?

2.시스템이 AGI 수준에 도달한 다음 ASI에 도달하고 프로세스에서 자체 코딩을 다시 작성하더라도 "기본 지시문"을 AI 시스템에 충분히 깊게 프로그래밍하여 유지 관리할 수 있는 방법은 무엇일까?

3.그 주요 지침에는 “인간을 향해 자비롭게 행동하라”와 같은 모호하고 프로그래밍할 수 없는 진부한 말을 넘어서 무엇을 포함해야 할까?

4.인간에게 의심할 여지없는 가치가 있는 솔루션(예: 질병 및 기후 변화 솔루션)을 생성하기 위해 이러한 시스템의 진행을 불필요하게 지연시키지 않고 AI 시스템에 안전 확인 및 경계심 있는 모니터링을 어떻게 도입할 수 있을까?

5.AGI 시스템이 인간을 훨씬 뛰어넘는 ASI 수준의 지능으로 자체 개선되는 것을 방지하는 제한을 가할 수 있을까?

6.인간은 어느 정도까지 새로운 기술을 활용하여 우리 자신의 지능을 업그레이드하여 순수 실리콘 ASI의 지능을 따라잡아 ASI보다 훨씬 뒤쳐지는 상황을 피할 수 있을까?

 

그러나 일련의 문제를 해결하는 첫 번째 부분은 이러한 문제에 대한 명확한 정의이다. 이를 통해 다양한 사람들과 다양한 팀이 협력하여 솔루션을 식별하고 구현할 수 있는 기회가 있다.

게다가 오늘날의 AI 시스템은 인간 연구자가 이러한 문제에 대한 해결책을 찾는 데 도움을 주기 위해 배포될 수 있다. 따라서 한 세대의 기술 도구가 차세대 기술의 안전한 개발에 중요한 역할을 하는 것은 이번이 처음이 아니다.