종이 클립이 되고 싶은가? 이것은 비유가 아니라 닉 보스트롬(Nick Bostrom)의 선구자 책인 초지능의 중심 주제이다. 그 책에서 그는 AI에 대한 잘못된 부팅 지침 뒤에 숨어 있는 재난에 대해 경고한다. 종이 클립을 생산한다는 다소 무해한 목표를 맡은 AI는 확인하지 않은 채 방치하면 지구상의 모든 사용 가능한 광물을 종이 클립으로 바꾸고, 일단 완료되면 먼 세계로 성간 우주선을 설치하고 전체 우주를 편리한 종이 정리함으로 균질화하기 시작할 수 있다.
끔찍한가? 그렇다. 바보 같은가? 생각만큼 많지는 않다. 보스트롬의 사고 실험은 머신러닝의 핵심 문제를 직접적으로 공격한다. 목표를 어떻게 적절하게 설정할까? 프로그래밍 논리가 인간에게 필연적으로 이익이 되도록 어떻게 보장할까? AI 화재에 대한 우리의 프로메테우스적 노력은 스스로 진화하고 지각력이 있는 기계가 지시를 너무 문자 그대로 받아들이거나 안전 장치를 완전히 다시 작성하는 악몽 같은 환상으로 가득 차 있다. 스카이넷의 잘못된 해결책은 결코 멀지 않으며 문학 사상가, AI 개발자 및 기술 전문가에게 공평하게 말하면 해결책이 반드시 필요한 것은 아니더라도 항상 문제를 인식해 왔다.
학습 기계에는 리소스가 필요하다.
문제는 머신러닝이 연구하기 쉽지 않다는 것이다. 가장 똑똑한 사람들이 감독하는 엄청난 처리 능력, 거대한 데이터세트, 강력한 물류가 필요하다. AI 연구를 적극적으로 추진하려는 의지가 뭉친 유일한 주체는 기업, 특히 실리콘밸리의 거대 기술 기업들이다. 대학은 선구적인 노력을 기울이지만 종종 민간 및 공공 보조금으로 자금을 지원받으며 졸업생은 대기업에 컨베이어 벨트를 제공한다. 간단히 말해서, AI의 모든 발전은 기업 연구실에서 나올 가능성이 높으며, 따라서 AI의 윤리적 구성은 주로 이익 추구를 위해 수행될 것이다.
잠재적인 문제는 분명하다. 인터넷 접속, 경계가 제대로 정의되지 않음, 배포할 자본, 선조 조직의 이익 증대를 위한 단일 목표를 갖춘 고급 AI는 매우 빠르게 통제할 수 없게 될 수 있다. 어느 날 저녁 이 일을 맡은 CEO는 아침에 일어나 AI가 경쟁사를 상대로 광범위한 소송을 제기하고 대차대조표 이익을 소폭 증가시키기 위해 막대한 비용을 들여 해당 분야의 우량주를 매도했다는 사실을 알게 될 수도 있다. 이는 최선의 시나리오이다. 최악의 경우 – 음, 당신은 클립이 된다.
무한히 파괴적인 이익 추구
자본주의의 끊임없는 이윤 인센티브는 전 세계적으로 세계적인 사회적 트라우마의 원인이 되어 왔다. 더 저렴한 식수를 위한 환경 모독부터 사용자 데이터를 더럽히는 정치를 통한 권력 중개에 이르기까지, 빠른 이윤을 위해 공공 인프라와 연금을 약탈하는 임대 자본가에 의한 공공 서비스의 전반적인 파멸은 사실이다. 확실히 자본주의는 가장 넓은 개념에서 하나의 시스템으로 '작동'하며, 그렇다. 기여에 대한 보상과 혁신 촉진에 큰 역할을 한다. 그러나 우리 모두는 그 결함을 알고 있다. 우리 삶의 모든 측면에서 이윤폭을 계속 늘리는 것에 대한 단일하고 억압적인 초점은 결국 인간 복지를 위한 밑바닥을 향한 경쟁으로 이어지고, 생산 수단을 소유한 사람들이 점점 더 많은 부를 축적함에 따라 끔찍한 부의 불평등으로 이어진다. 그렇게 하면 사회적 혼란이 결코 뒤처지지 않을 것이다. 자본주의가 원래의 경쟁 중심의 개선에서 뒤틀린 부 추출 게임으로 왜곡하고 구부러지는 방식은 AI가 이익이라는 단일 전제를 취하고 그래프를 무한대로 추정할 경우 발생할 일의 그림자일 뿐이다. 기업체는 우리가 생각할 수 있는 가장 강력한 기술, 즉 자신의 목적에 맞게 사회를 다시 작성할 수 있는 기술의 적절한 관리자가 아닐 수도 있다.
헤게모니 가능성; 영원한 불평등
이것은 극단적인 공상과학 공포 조장처럼 들릴 수도 있다. 종말과 함께하는 기술 중독자의 집회. 그렇다면 좀 더 평범한 사례를 생각해 보자. AI를 가진 사람은 누구든지 공격할 수 없는 경쟁 우위를 갖고 있으며, 이는 결국 그들에게 힘을 부여한다. Bard, ChatGPT, Bing은 챗봇이지만 정교한 명령 및 제어 AI 기술을 개발하는 회사가 있다. 안면인식으로 CCTV 데이터베이스를 탐색할 수 있는 AI. 개인의 신용과 데이터를 스냅샷하여 판결을 내릴 수 있는 AI이다. 당신을 위해 법적 소송에 맞서 싸울 수 있는 AI. 전쟁을 할 수 있는 AI. 디지털 시대의 새로운 생산 수단, 사이버 공간에서의 전쟁을 위한 새로운 무기, 유리 고층 빌딩의 기술 자손이 통제한다.
이러한 AI가 모두 독점적이고 크롬 금고에 잠겨 있다면 특정 개체는 우리 사회의 측면에 대한 고유한 통제권을 갖고 자신의 이점을 유지하려는 직접적인 동기를 갖게 된다. 견제와 균형이 없는 기업 AI는 섀도우 프록시 전쟁에 참여할 수 있고 참여할 것이다. 우리의 데이터, 정보 및 관심을 위해. 이미 알고리즘을 통해 이런 일이 일어나고 있다. 해당 알고리즘이 경영진의 승인 없이 '생각'하고 '변경'할 수 있을 때까지 기다리라(감각에 대한 주장을 허용하지 않더라도). 너무 멀리 가기까지는 그리 오랜 시간이 걸리지 않을 것이다. 처리 능력, 데이터, 하드웨어와 같은 리소스는 정보화 시대의 석유가 될 것이며 국가는 강력한 기업 앞에서 쇠퇴할 것이다. 사이버 공간에서 무한한 영향력을 지닌 글로벌 재벌. 영원히 고착된 극심한 불평등.
오픈 소스 AI의 필요성
따라서 AI 인프라에 대한 오픈 소스 액세스가 필수적으로 필요하다. 현재 오픈 소스 AI 붐은 Big Tech 유인물을 기반으로 구축되었다. 대기업이 모델, 데이터 세트 및 리소스에 대한 액세스를 취소하면 AI를 둘러싼 혁신이 크게 어려움을 겪을 수 있다. 그들은 심지어 라이벌 행위자들이 진보를 훔쳐 사악한 목적으로 부패시키는 것을 경계하는 국가들에 의해 위임될 수도 있다.
그러나 마찬가지로 그들은 경쟁 우위를 잃을까 두려워 그렇게 할 것이다. 그렇게 한다면 그들만이 사회적 양심이 결여된 제대로 보정되지 않은 인센티브로 우리의 일상을 통제하는 미래 AI의 설계자가 될 수 있다. 우리 모두는 대규모 시스템의 관료주의가 상식에 어긋나고 이를 방지하기 위해 비용이 많이 들고 비효율적인 인간 개입이 필요할 때 무슨 일이 일어나는지 보았다. 그 복잡한 시스템이 CEO이고 그 결정이 최종적이라면 어떻게 될까? 우리는 GlaDos에서 Neuromancer의 Wintermute, SHODAN에 이르기까지 기업 AI가 미쳐 날뛰는 것에 대한 수많은 문학적 표현을 보았다. 즉, 세계의 데이터 시스템에 대한 명성 있는 액세스, 광적인 계획의 원동력이다. 특이점이 탄생하면 요람 주위에 모인 사람이 미래를 정할 것이다. 모두 대화에 참여하자.
