광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[밀레니엄 프로젝트: 인공 지능 일반 지능(AGI)의 글로벌 거버넌스 요구 사항/2단계]

운영자 | 기사입력 2024/09/05 [00:00]

[밀레니엄 프로젝트: 인공 지능 일반 지능(AGI)의 글로벌 거버넌스 요구 사항/2단계]

운영자 | 입력 : 2024/09/05 [00:00]

 

밀레니엄 프로젝트: 인공 지능 일반 지능(AGI)의 글로벌 거버넌스 요구 사항/2단계

 

실시간 델파이의 결과

밀레니엄 프로젝트 2단계

보고서에서 언급했듯이, "AGI를 관리하는 것은 인류가 직면한 가장 복잡하고 어려운 관리 문제가 될 수 있다." 더 나아가, AGI 시스템을 만들기 전에 이를 해결하지 못하면 인간 문명에 치명적인 실수가 될 것이다. 어떤 실체도 그런 실수를 할 권리가 없다. ---- 스튜어트 러셀

 

내용

소개

인공 좁은 지능(ANI)에서 인공 일반 지능(AGI) 1단계로의 전환에 대한 글로벌 거버넌스에 관한 밀레니엄 프로젝트 연구팀은 AGI의 안전한 개발 및 사용과 관련된 22개의 핵심 질문을 식별했다. 이 연구에서 AGI는 인간과 유사하거나 더 나은 새롭고 복잡한 전략을 사용하여 새로운 문제를 해결하기 위해 학습하고, 코드를 편집하고, 자율적으로 행동할 수 있는 범용 AI로 정의되었으며, 더 좁은 목적을 가진 인공 좁은 지능(ANI)과는 구별된다.

 

22개의 질문은 미국, 중국, EU, 러시아, 영국, 캐나다의 AGI 분야의 55명의 주요 전문가에게 제출되었다. 그들의 답변은 "모든 AGI 문제를 논의"하는 방법을 제공했다. 그런 다음 밀레니엄 프로젝트 연구팀은 이러한 전문가의 견해를 사용하여 이 AGI 연구의 2단계를 만들었다. 결과는 이 보고서에 공유되어 있다. 1단계 보고서는 여기 (www.millennium-project.org)에서 확인할 수 있다.

 

인공지능(AI)에 대한 가치와 원칙은 유엔 기구, 정부, 기업 협회 및 NGO에서 식별하여 발표했다. 이러한 노력은 주로 ANI에 초점을 맞추었으며, 현재 및 가까운 미래의 생성 AI 형태도 포함되었지만, 이 보고서는 이러한 가치와 원칙이 AGI 거버넌스에서 어떻게 구현될 수 있는지에 대해 다룬다. 또한 ANI에 초점을 맞춘 유엔 총회 AI 결의안을 넘어선다.[1]

AGI의 신뢰할 수 있는 글로벌 거버넌스를 구축하려면 AGI 전문가뿐만 아니라 정치인, 국제 변호사, 외교관, 미래학자, 윤리학자(철학자, 사회과학자 포함) 등의 참여가 필요하므로 1단계보다 훨씬 광범위한 국제 패널이 전 세계의 밀레니엄 프로젝트 노드와 추가 밀레니엄 프로젝트 관계를 통해 모집되었다.

 

이전 설문지의 결과를 바탕으로 각 후속 설문지를 구성하는 기존 델파이 방법과 달리, 이 연구에서 사용된 실시간 델파이(RTD)는 사용자가 마감일까지 다른 사람의 의견을 읽고 자신의 의견을 편집하기 위해 원하는 횟수만큼 돌아갈 수 있도록 했다. RTD 2023 11 15일에 시작하여 2023 12 31일에 종료되었다.

 

338명이 65개국에서 RTD에 서명했으며, 그중 229[2]명이 2개 이상의 답변을 했다. 338명 중 113명이 답변을 하지 않고 AGI에 대한 국가 및 글로벌 거버넌스 시스템에 대한 제안된 요구 사항만 보고 싶어 했다는 것은 수용 가능하고 이해할 수 있다. RTD는 또한 AGI 글로벌 거버넌스에 대한 41개 잠재적 요구 사항과 5개 초국가적 거버넌스 모델을 읽을 수 있는 그러한 "관심 당사자"에게 교육적 가치를 제공한다.

 

성별을 표시한 사람 중 76%가 남성을 선택했고 24%가 여성을 선택했다. 텍스트와 숫자 모두 2,109개의 답변이 있었다. 텍스트 코멘트는 추출되었다. 밀레니엄 프로젝트는 1단계와 2단계의 결과를 활용하여 이 연구의 3단계로 AGI 글로벌 거버넌스 시나리오를 작성할 것이다.

 

 



[2] 2단계 RTD 참여자 목록은 부록을 참조하라.

 

권장 사항 요약

이 보고서는 인공 일반 지능(AGI)에 대한 잠재적 규정에 대해 결정을 내리고, 다른 사람에게 조언하고, 대중을 교육해야 하는 사람들을 대상으로 한다.

 

대략적으로 AI에는 좁은, 일반, 초의 세 가지 종류가 있다. 인공 좁은 지능(ANI)은 암 진단이나 자동차 운전과 같은 제한된 목적을 가진 도구부터 많은 질문에 답하고, 코드를 생성하고, 보고서를 요약하는 빠르게 발전하는 생성 AI에 이르기까지 다양하다.

 

인공 일반 지능(AGI)은 아직 존재하지 않지만 많은 AGI 전문가들은 3~5년 안에 존재할 수 있다고 믿는다. 학습하고, 코드를 편집하고, 자율적으로 행동하여 인간의 능력과 같거나 그 이상의 새로운 솔루션을 통해 많은 새로운 문제를 해결할 수 있는 범용 AI가 될 것이다. 예를 들어, 목표가 주어지면 데이터 소스를 쿼리하고, 사람에게 전화를 걸고, 자신의 코드를 다시 작성하여 목표를 달성하는 기능을 만들 수 있다. 인공 초지능(ASI)은 자체 목표를 설정하고 인간의 통제에서 독립적으로 행동하며, 인간의 이해를 넘어서는 방식으로 행동한다.

 

ASI가 어떻게 출현하고 행동하는지 직접 통제할 수는 없지만 AGI가 생성, 허가, 사용 및 관리되는 방식에 대한 국가 및 국제 규정을 만들 수 있다. ANI에서 AGI로의 전환을 관리하는 방법을 탐색할 수 있다. 그 전환을 얼마나 잘 관리하느냐에 따라 AGI에서 ASI로의 전환이 형성될 가능성이 크다. AGI에 대한 국가 및 국제 규정이 없다면 많은 정부와 기업의 많은 AGI가 지속적으로 자체 코드를 다시 작성하고 상호 작용하며 우리의 통제, 이해 및 인식을 벗어난 많은 새로운 형태의 인공 초지능을 탄생시킬 수 있다. 이것은 호킨스, 머스크, 게이츠가 경고했던 인간 문명의 종말로 이어질 수 있는 악몽이 될 것이다. 그 결과 정부, 기업, 유엔 기구, 학계가 전 세계적으로 모여 이 전환을 안전하게 안내하고 있다. 심지어 미국과 중국도 미래 AI 형태의 글로벌 관리에 대한 직접적인 논의에 참여하고 있다. AGI를 관리하는 것은 인류가 직면한 가장 복잡하고 어려운 관리 문제가 될 수 있지만, 잘 관리한다면 AGI는 의학, 교육, 장수, 지구 온난화 해소, 과학 발전, 보다 ​​평화로운 세상 창조 등 인간 생활에 큰 진전을 가져올 수 있다.

 

글로벌 거버넌스 모델

실시간 델파이 패널의 대부분은 AGI 거버넌스가 글로벌하고 국가적이어야 하며, 개발자와 사용자 모두를 위한 모든 거버넌스 요소에 여러 이해 관계자(기업, 학계, NGO 및 정부)가 참여해야 한다는 데 동의했다: 그러나 일부는 규제가 적은 분산형 시스템을 선호했다.

AGI의 글로벌 거버넌스에 대한 다음 제안된 모델은 실시간 델파이 참여자에 의해 효과성에 대해 평가되었다. 각 모델 뒤의 괄호 안의 백분율은 모델의 효과성을 매우 높음 또는 높음으로 평가한 참여자의 백분율이다.

 

1. 인공지능 시스템과 협력하는 다중 이해 관계자 기구(TransInstitution)는 각 ANI가 기능, 요구 사항(이 연구에 나열됨)을 구현하여 다중 이해 관계자 기구와 국가 AGI 거버넌스 기관(51%)의 인간에게 지속적으로 피드백한다.

2. 주요 기관이 UN AGI 기관이지만 일부 거버넌스 기능은 ITU, WTO, UNDP가 관리하는 다중 기관 모델이다. 이 모델은 매우 효과적 또는 효과적 등급(47%) 47%를 받았다.

3. SingularityNet(45%)과 같은 많은 AI 조직 및 개발자의 상호 작용을 통해 아무도 소유하지 않는(아무도 인터넷을 소유하지 않는 것처럼) AGI의 분산된 출현.

4. 가장 강력한 AI 교육 칩과 AI 추론 칩을 모두 국제 감독 하에 있는 제한된 수의 컴퓨팅 센터에 넣고 해당 조약에 가입한 모든 국가에 대칭적 액세스 권한을 부여하는 조약(42%)을 체결한다.

5. UN AI 기관에 두 개의 부서를 만든다. 하나는 프런티어 모델을 포함하는 ANI를 위한 부서이고 다른 하나는 AGI만을 위한 부서이다(41%).

 

참가자들은 또한 대체 거버넌스 모델을 제공하도록 요청받았다. 제안 사항이 너무 풍부하고 광범위해서 여기서 요약하는 것은 부당할 것이다. 대신, 독자는 질문 12의 마지막 섹션에서 찾을 수 있다. 유엔 AGI 기관에 얼마나 많은 집행 권한이 가능하거나 바람직한 지에 대한 다양한 견해가 있었다.

 

일부는 유엔이 핵 확산, 지뢰 배치를 중단하지 않았고 온실 가스 감축에 대한 공약을 집행할 수 없었기 때문에 AGI 규제가 왜 효과가 있을까? 하지만 대부분은 규제되지 않은 AGI의 공통적인 실존적 위협을 인식했다; 따라서 감사 시스템을 갖춘 국가적 집행 및 허가 요구 사항과 함께 어떤 형태의 글로벌 거버넌스가 필요할 것이다.

 

다음 섹션에서는 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만드는 데 고려해야 할 잠재적인 AGI 규정, 요소, 규칙 및/또는 특성을 나열한다.

 

개발자를 위해

• 국가 라이선스에 대한 UN 인증 이전에 AGI 개발자는 초기 감사의 일환으로 안전성과 인정된 가치와의 일치성을 입증해야 한다.

• 기계 교육에 사용되는 자료는 편견을 피하고 국가 라이선스 이전에 공유된 인간적 가치를 주입하기 위해 감사를 받아야 한다.

AGI에 내장된 소프트웨어를 포함하여 AGI가 유틸리티 기능에서 예상하지 못한 예상치 못한 또는 바람직하지 않은 동작을 수행할 때 자체적으로 일시 중지하고 평가를 트리거하여 실패하거나 피해를 입힌 이유와 방법을 확인한다.

AGI가 미리 정해진 절차 없이 자체 전원 스위치나 다른 AGI의 전원 스위치를 켜거나 끌 수 없도록 AGI를 만든다.

AGI에 내장된 소프트웨어를 통해 AGI와 국가 거버넌스 시스템을 연결하여 지속적인 실시간 감사를 수행한다.

• 소프트웨어에 우리가 행동하는 방식과 우리가 행동해야 하는 방식을 구별하는 기능을 추가한다.

• 자체 복제를 위한 인간 감독과 재귀적 자기 개선을 위한 지침을 요구한다.

• 과거 데이터나 기록을 수정하는 기능을 방지한다.

• 아시모프의 로봇 공학 3가지 법칙을 존중한다.

AGI가 출력을 AI로 식별하고 사람으로 식별하지 않도록 한다.

AGI에 풍부한 자기 반성적이고 연민 어린 역량을 부여한다.

 

정부를 위해

UN AI 협약을 준수한다.

• 위에 나열된 "개발자를 위한" 요소에 대한 독립적인 감사를 기반으로 AGI 라이선스 절차를 수립한다.

• 정부 기관을 UN 기관과 AGI의 지속적인 내부 감사 시스템에 연결하는 절차를 만들어 AI 시스템이 확립된 가치(: UNESCO, OECD, Global Partnership on AI, ISO, IEEE) 및 국가 규정과 일치하는지 확인한다.

• 엄격한 보안, 방화벽, 안전한 인프라 및 인력 심사를 확인한다.

• 딥페이크 및 허위 정보의 생성 및 사용이 방지되는 방법을 정의하고 설명한다.

• 사용자에게 비행 기록 장치와 같이 AGI 사용 기록을 보관하도록 요구하여 의사 결정과 의사 결정에 포함된 요소를 재 생성할 수 있는 기능을 제공한다.

AGI가 자율적으로 행동할 수 있는 시점에 대한 기준을 수립한다.

• 심각한 재범자의 칩 판매/배송 및 전기 사용을 규제/차단할 수 있는 기능을 만든다.

AGI 출력에서 ​​조치가 요청된 이유, 관련 가정, 우선순위, 필요한 조건 및 제한 사항을 결정하는 능력.

AGI에 대한 국가적 책임 법률을 만든다.

• 허가된 제3자가 예정되지 않은 검사 및 테스트를 수행하여 라이선스 요구 사항을 지속적으로 준수하는지 확인한다.

AGI의 변화를 예상하고 적응할 수 있을 만큼 민첩해야 한다.

 

유엔을 위해

UN AGI 기관을 설계할 때 NPT, CWC, BWC 검증 메커니즘에서 배운다.

• 경영진에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함되어야 한다.

• 위의 "정부용"에 나열된 국가 허가 절차를 인증한다.

• 회원국 및 기타 UN 기관에 조기 경고와 제안된 조치를 제공하는 인공지능의 잠재적 출현에 대한 주요 지표를 식별하고 모니터링한다.

• 다른 국가 및 기업의 AGI 간 상호 작용을 위한 프로토콜을 개발한다.

• 정부와 협력하여 심각한 재범자의 칩 판매/배송 및 전기 사용을 규제/차단할 수 있는 능력.

• 모든 인증된 AGI에 내장된 UN 거버넌스 소프트웨어 개발을 고려하고, 바이러스 백신 소프트웨어와 마찬가지로 지속적으로 업데이트한다.

• 정부 및 기업의 중앙집중식 AGI 시스템과 많은 개발자의 상호 작용에서 발생하는 분산형 AGI 시스템을 모두 거버넌스할 수 있는 능력.

• 코더/기업의 IP를 보호하면서 윤리를 검토하기 위해 AGI 코드에 무작위로 액세스할 수 있는 기능을 포함한다.

• 위험한 AGI 군비 경쟁과 정보전을 해결하고 억제한다.

 

AGI의 변화를 예상하고 적응할 수 있을 만큼 민첩해야 한다.

 

사용자를 위해

• 결정과 결정에 포함된 요소를 재현할 수 있는 비행 기록 장치와 같은 AGI 사용 기록을 유지한다.

• 인간을 조종하기 위한 잠재의식적 또는 심리적 기술 사용 금지(체중 감량 프로그램과 같은 상호 동의가 있는 경우 제외).

• 개인의 상품화보다는 인간 개발을 강화한다.

• 허가 받지 않은 사람이나 기계에 의한 작동 또는 변경을 방지한다.

 

 

실시간 델파이 결과

 

다음은 두 그룹으로 구성된 연구 질문에 대한 응답의 요약이다. 첫 번째 질문 그룹(1-6) AGI 거버넌스 시스템을 만드는 데 고려해야 할 잠재적인 규정, 규칙 및/또는 특성을 다룬다. 두 번째 그룹(7-12) AGI의 잠재적인 글로벌 거버넌스 모델이다.

 

질문 1-6: 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만드는 데 어떤 요인, 규칙 및/또는 특성을 고려해야 할까?

질문 1: 비군사적 AGI 시스템의 국가적 허가를 인증하기 위해 유엔 AGI 기관에 어떤 설계 개념을 포함해야 할까? 10 또는 9 중 가장 높은 퍼센트를 받은 순서대로; 예를 들어, 응답자의 70%가 첫 번째 항목을 10 또는 9로 평가했다.

…………………………………………………………………………………………………………………………………………………

70% 운영 규칙을 위반했을 때 AGI를 끌 수 있는 인간 및 자동 기능을 제공한다.

57% 잠재적인 AGI에 대한 UN 협약을 준수해야 한다.

56% AGI의 변화를 예상하고 적응할 수 있을 만큼 민첩하다.

49% AGI 거버넌스와 ANI(생성 AI 포함) 거버넌스를 명확하게 구분한다.

39% 국가 AGI 허가 절차(신뢰 라벨)

38% 운영 및 허가 규칙 준수를 지속적으로 모니터링하는 IPCC와 유사한 독립 시스템에 연결된다.

29% 지속적인 실시간 감사를 위해 AGI에 내장된 소프트웨어를 통해 모든 AGI 및 국가 거버넌스 시스템에 연결된다.

 

위 질문 1의 항목에 대한 설명 및 의견:

이러한 모든 기능은 기본이며 관리 시스템 및 알고리즘 설계에서 고려해야 한다. 이러한 기능을 모두 합치면 좋은 초기 사양이 된다. AGI를 지속적으로 감사하기 위한 내장된 ANI는 신중하게 검토해야 한다. 끄기 스위치도 마찬가지이다; AGI가 꺼지면 파괴적인 영향을 미칠 수 있다. 이러한 기능은 인적 오류로 인해 트리거되거나 공격 벡터로 사용될 수도 있다. 가능한 해결책은 AGI를 완전히 끄는 대신 다양한 AGI 모듈을 끄는 것이다.

 

이 모든 것이 필요하다. AGI에 내장된 ANI 소프트웨어를 통한 지속적인 감사는 AGI와 좁은 형태의 AI에 대한 고유한 요구 사항이다.

 

다양한 AGI 종류에 대해 서로 다른 규정을 고려해야 한다; 국가가 소유하고 운영하는 대형 기계, 대규모 조직, 군사 조직(전술 및 전략), 수십억 대의 미래 스마트폰.

AI가 어떻게 작동하는 지와 새로운 기능을 이해하기 전까지는 효과적으로 규제할 수 없다. AGI는 비밀리에 개발되어 인프라에서 작동할 수 있으며, 인간을 보호할 효과적인 방법이 없는 대규모 반인간적 결정이 발생할 가능성이 있다.

 

다음 6년 안에 특이점 사건이 발생할 확률은 90%이다. AI에 대한 유일한 한계는 물리 법칙의 한계와 (일부) 수학 원리일 것이다. AGI ASI는 인간이 이해할 수 없고 알 수 없으며 객관적으로 인간이 영향을 받거나 통제할 수 없는 목표를 스스로 만들어낼 것으로 예상할 수 있다.

인간이 이를 통제할 수 있는 유일한 가정적 시나리오는 AGI ASI가 작동하는 데 필요한 전자 장치가 파괴되는 역전 시나리오이다.

 

그러나 시간이 지나면서 디지털 컴퓨팅 인프라에서 생물학적 인프라(: 인간의 뇌 또는 인간 뇌 네트워크)로 이전하는 데 성공하면 AGI/ASI가 이러한 시나리오를 예방할 수 있다. 이러한 시나리오에서 인간은 이러한 통제 옵션조차 잃게 된다.

인류에게 가장 가능성 있는 시나리오는 ASI와 그 존재를 합치는 것이라고 기대하는 것은 무리한 일이 아니다. 왜냐하면 이것이 양측 모두에게 상호 이익이 되는 유일한 선택이기 때문이다. 보리스 D. 그로즈다노프 [직원이 요약].

 

임베디드 소프트웨어를 통한 거버넌스는 의무적이기보다는 자발적이어야 하며, 법률과 조약을 무시하거나 우회하는 비준수적 악의적 행위자의 행동을 제한하는 데 거의 또는 전혀 도움이 되지 않기 때문이다.

 

국제 기구는 제한적인 성공을 거두었지만 대중에게 AGI와 잠재적 영향에 대해 교육하고, 명확한 라벨을 제공하고, 위반 시 AGI를 비활성화할 수 있다. 여기의 모든 내용은 장점이 있지만, 거버넌스는 무엇보다도 적용 시 투명해야 하며, 대중을 위험에 빠뜨릴 때만 진행을 방해하고, 시행 가능해야 한다. 준수 여부를 확인하기 위한 실시간 모니터링은 개별 전체주의 국가에서는 가능할 수 있지만, 민주주의 국가에서는 사용하기 매우 어렵다.

 

나는 공공 규제보다 사적 경쟁을 더 믿는다. 또한 규제 기관을 규제하는 사람은 누구일까?

유엔은 협력적이고 참여적인 글로벌 AI 거버넌스를 위한 유일한 실행 가능한 장소이다.

무역 블록과 군사 동맹은 상업 및 군사 연구에 대한 영향력을 확보하는 데 가장 효과적인 수준이다. 국가는 아니다. 산업은 어느 정도 무역 블록 규칙을 설정하고 부문별 접근 방식은 광범위한 준수에 영향을 미칠 가능성이 더 크다. 등록을 요구하면 비밀스러운 시스템으로 이어질 뿐이다.

 

오히려 가장 진보된 칩과 연구에 대한 조기 액세스와 같은 상당한 리소스는 자발적으로 모니터링을 받는 사람들에게 제공되어야 한다. 이를 통해 시스템이 어둠 속에서 성장하지 않고 알고리즘 또는 최적화 접근 방식이 고급 데이터 센터 또는 최첨단 칩에 대한 필요성을 줄이거나 제거하기 전에 조기 준수가 달성된다.

 

처음에 매우 제한적인 것은 좋은 접근 방식이므로 나중에 가능한 유연성에 대한 논의를 자극할 수 있다.

AGI 개발의 주요 동인, 지원자 및 제한자를 포착하고 사회에 미치는 AGI의 영향을 이해하고 관리하는 데 공통된 접근 방식을 제공하는 프레이밍 도구를 보고 싶다.

소셜 네트워크의 다양하고 창의적이며 독창적인 제안에 개방적이어야 한다.

실행 기관을 구현하는 데 도움이 되는 정보를 제공하는 IPCC와 같은 조직.

유엔은 모든 국가가 승인할 수 있도록 국가 모델을 기반으로 합의 모델을 수립할 수 있지만 유엔의 손에 너무 많은 거버넌스가 맡겨지면 AGI 주제가 정치화될 것이다.

AGI 규정은 가능한 한 제한을 유도하고 제한해야 한다.

규제하되 목을 조르지 말아야 한다.

 

 

질문 2: AGI 비군사 AGI 시스템에 대한 유엔 기관의 국가 허가 절차 인증에는 무엇이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

59% 엄격한 보안, 방화벽, 안전한 인프라 및 인력 심사.

57% 유엔이 국가 라이선스를 인증하기 전에 AGI 개발자는 초기 감사의 일환으로 안전성을 증명해야 한다.

52% 딥페이크와 허위 정보의 생성 및 사용이 방지되는 방식을 보여준다.

50% 유네스코, OECD, AI에 대한 글로벌 파트너십, ISO, IEEE와 같은 합의된 국제 원칙, 가치, 표준과의 일치를 증명한다.

44% 사회적 가치와 우선순위에 맞게 AI 시스템이 개발되고 사용되도록 하는 지속적인 감사 시스템을 포함하는 국가 라이선스 절차를 인증한다.

40% AGI 행동에 대한 국가 책임법과 UN AGI 기관의 역할을 명확히 한다.

33% 사용자가 비행 기록기와 같이 AGI 사용 기록을 유지하도록 요구하여 의사 결정과 의사 결정에 포함된 요소를 재 생성할 수 있다.

 

위의 질문 2의 항목에 대한 설명 및 의견:

비행 기록 장치는 좋은 아이디어이다. 이 개념이 비행기에 사용되기 전에는 비행기 추락 원인을 파악하기가 훨씬 더 어려웠다. AGI의 경우 침입을 식별하고 승인된 한계를 벗어나 작동하는 이유를 파악하는 데 유용할 것이다.

사용자에게 기록을 보관하도록 요구하는 것은 개인 정보 침해에 대한 열린 문이다.

 

유엔 AI 기관에서 인증한 국가 허가 시스템의 일부로 AGI에 내장된 소프트웨어에 의한 지속적인 감사는 엔진의 지속적인 가버너가 제어 불능을 방지하는 것처럼 합리적으로 보인다.

초기 감사의 일부로 안전을 증명하는 것은 필수적이지만 현재로서는 "안전"이 너무 모호한다.

 

처음에는 자기 복제와 테러리스트에게 생물학 무기 설계에 대한 조언 및 준수에 대한 공식적인 증거 요구와 같이 분명히 용납할 수 없는 행동에 대한 "적색선"을 정의하는 것이 좋다.

AGI 안전 감사원의 역할이 핵심이다.

 

인증 표준은 새로운 기능을 배포하는 데 있어 기본적이고 필수적인 측면이다... 또는 그래야 한다. 나는 안전과 국제적 가치, 표준 등에 대한 일치에 높은 점수를 준다.

그러나 나는 지속적인 감사와 사회적 가치와 우선순위에 대한 일치에 평균적인 점수를 준다. 그것이 좋은 목표가 아니라는 것이 아니라, 그것은 좋은 목표이지만, 누가 지속적인 감사를 하는 것일까? 어떤 조직이 진정으로 공정한 판단을 내릴까?

마찬가지로 어떤 사용자가 AGI 사용에 대한 로그를 보관할 것이고, 어떤 조직이 이 모든 데이터를 수신할까?

 

이것들은 모두 매우 중요해 보이지만, 나는 높은 관료주의가 융통성 없는 상황으로 이어질까 봐 걱정한다. 나는 그것에 대해 무엇을 할 수 있을지 확신이 서지 않는다.

거버넌스 시스템에는 AGI를 만들고 사용하는 인간이 어떻게 책임을 져야 하는지에 대한 내용이 포함되어야 한다.

정렬의 "증명"이 무엇인지 보기는 어렵다. 우리는 인간과 인간의 상호작용에서 이를 확인할 메커니즘조차 가지고 있지 않다. 그렇다면 인간과 AGI의 경우에는 무엇이 될까? 또한 우리는 이미 동물 친척의 형태로 NGI(자연적 일반 지능)로 가득 찬 세상에 살고 있다는 것을 깨닫는 것도 중요하다.

 

AGI의 거버넌스를 논의하는 것은 의식이 우리와 다른 이미 존재하는 다른 존재를 어떻게 대하는지에 대한 암묵적 합의에 의문을 제기하는 것이다.

아마도 여기서의 유사점은 자연 지능과 ANI 사이에 있을 것이다. 그럼에도 불구하고 우리가 논의하는 구분은 하나는 "인공적"이고 다른 하나는 그렇지 않다는 단순한 근거에 근거하는 것이다. 다른 곳에서 언급한 이러한 이유와 다른 이유로, 여기서 논의되는 문제는 실제로 "AGI의 거버넌스"가 아니라 단순히 "거버넌스"에 관한 것이다.

 

보안과 딥페이크는 AGI에만 국한되지 않고 사이버 인프라와 AI 분야 전체의 기능에 가깝다. 정렬 증명은 보장하고 정량화 하기가 매우 어렵다. 국제 기관은 일반적으로 협업, 관계 및 주권 평등을 기반으로 가치와 기능을 도출한다. AGI는 이러한 원칙에 따라 기능과 정렬을 어떻게 가정할까요? 대신 안전, 포용 및 자율성의 원칙이 정렬되어야 한다.

 

라벨을 붙이는 것은 효과적이지만, 영화처럼 일부 산업에서 딥페이크를 사용하기 때문에 이를 막는 것이 아니라 라벨을 붙이는 것이 좋다.

어떤 라이선싱도 시행할 방법이 없다. 일부 특정 라이선싱(: 웹사이트나 기업 포털을 통해 AI에 액세스)은 유효할 수 있다. 우리는 구현, 입법 또는 준수 여부를 판단하는 방법에 대한 지식이 없다.

 

내부 비행 기록기 스타일 로그는 좋은 생각이지만, AI가 일부 공공 장소에 배치되지 않는 한 시행은 거의 불가능할 것이다. 사전 예방이 거의 불가능하기 때문에 책임과 책임을 규정하는 법률이 존재하고 시행되어야 한다고 생각한다.

그러나 법률/정치적 제도에 의해 족쇄가 채워질까 두렵다.

결국, 관리 기관은 이로운 것보다 해로운 법률을 만드는 것에 대해 책임을 져야 하지 않을까? 그리고 입법자들은 입법되는 기술에 대한 지식과 존중심이 부족하다. 혁신, 창의성, 개발을 억제하지 않고 모니터링하고 감독한다.

 

유엔 기관이 주권 국가에서 규정을 집행할 가능성은 적다. 나는 강압적인 분위기보다는 신념, 설득, 인식 및 AGI의 바람직한 활용 문화 개발에 중점을 두는 것이 좋다고 제안한다.

유엔 안전보장이사회를 통해 병행 AI 군사 프로그램을 도입해야 한다. 양자 컴퓨팅은 현재 암호화를 쓸모없게 만들어 국가 전력망, 은행 및 필수 서비스를 완전히 취약하게 만들기 때문이다.

 

합의된 보안 시스템을 개발해야 한다. 이는 조약 수준에서 생성할 수 있다. 이는 개방적이고 선택 사항이지만 국제적 긴장, 부적절한 기술적 확대, 군비 경쟁 및 테러를 줄이는 데 전념해야 한다. 유엔 안전보장이사회가 AI와 사이버 공간 패러다임을 다루지 않으면 이 분야는 국제 관계에 해로운 요소가 될 가능성이 높으며 국가 이익이 분리되는 경향이 있다.

 

질문 3: 비군사 AGI 거버넌스 시스템에는 어떤 규칙이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

74% AGI AI로 식별되어야 하며, 사람으로 식별되어서는 안 된다.

73% AGI는 허가 받지 않은 사람이나 기계가 작동하거나 변경하는 것을 허용해서는 안 된다.

68% 잠재의식적 또는 심리적 기술을 사용하여 인간을 조작하는 것을 금지한다.

66% 과거 데이터나 기록을 수정하는 것은 허용되지 않는다.

55% AGI가 유틸리티 기능에서 예상하지 못한 예상치 못한 또는 원치 않는 동작을 수행할 때 일시 중지하고 평가를 트리거하여 실패하거나 해를 입힌 이유와 방법을 파악하는 AGI에 내장된 감사 소프트웨어.

41% AGI 출력에서 ​​동작이 요청된 이유관련 가정우선순위필요한 조건 및 제한 사항을 판단하는 능력

 

29% 풍부한 자기 반성적이고 연민적인 역량을 갖추고 있어야 한다.

 

위의 질문 3에 대한 설명 및 의견:

AGI ANI와 다르게 명확하게 지정하는 것의 중요성을 강조한다. 인간의 조작을 방지하는 것이 바람직하지만, 그러한 사건이 다른 매체에도 존재하며 항상 부정적인 의도가 있는 것은 아니라는 점이 지적되었다(예를 들어, 건강한 행동을 장려하는 것은 조작의 한 형태로 볼 수 있음).

 

또한, 칼과 같은 다른 도구와는 근본적으로 구별되는데, 여기서 결과는 사용자와 의도에 따라 달라진다. AGI의 경우 행위자는 시스템 자체일 수 있으며, AGI 내에 연민과 자기 반성의 요소를 통합해야 할 필요성을 강조한다.

 

이 모든 요점은 매우 중요하다. 그러나 나는 "잠재의식 또는..." 사용 금지를 더 광범위하게 수정해야 한다고 생각한다. AGI 시스템이 어떤 형태로든 인간을 조작하도록 허용해서는 안 된다; 예를 들어, 인간의 행동을 안내할 자유나 선택을 제한하는 상황을 만드는 것이다. 자기 반성은 일반적으로 AI 시스템에서 더 높은 추론 능력을 위해 사용되지만 AI 시스템이 연민을 갖는 것은 불가능하지 않더라도 매우 어렵다. 연민은 문화와 가치 체계에 따라 달라진다. 한 인구통계학의 특정 가치는 다른 인구통계학보다 더 높은 수준으로 유지될 것이다. 따라서 연민을 정량화 할 수 있는 척도로 대체하는 것을 목표로 해야 한다고 생각한다. "연민"과 같은 언어를 사용하면 명확하고 정량화 할 수 있는 규칙, 데이터 및 기술로 학습하고 수행하는 이러한 시스템을 의인화한다. 정책, 지침 및 규정을 구성할 때는 항상 내러티브와 언어를 모호하지 않게 유지하도록 주의해야 한다.

 

 

나는 이 섹션 전체에 이전 두 섹션에 대한 점수보다 더 높은 점수를 주었다. 가이드라인/규칙이 매우 명확하고 AGI에 엄격하게 적용되기 때문이다.

AGI 자체에 제한을 두는 것이 더 현실적이고 사용자에게 더 즉각적인 확신을 제공할 가능성이 높다.

이러한 기능을 많이 포함할 수 있지만 선택 사항이며 합의된 기능으로 구성해야 한다. 확립된 AI 등급을 준수하지 않는 국가는 최적의 고려를 받지 못할 것이다.

적절한 검증 기술을 갖춘 국가는 시스템을 최대한 활용할 수 있다.

자기 반성적이고 연민적인 능력은 특전이자 책임이 될 수 있다.

조작과 속임수의 여지를 열어준다. 모두 구현 방법에 달려 있으며 실제로 자각하고 있다면 공감을 바라기 전에 자체 의지[의도]를 고려해야 한다.

심리적 요인을 포함하면 완전히 새로운 차원이 열린다. 잠재의식적으로 설득당하고 있는지 어떻게 알 수 있을까? 아마도 심리학이 모델을 학습하는 것을 금지해야 할 것이다.

AI가 인간을 조작하는 것을 절대 허용하지 말아야 한다.

잠재의식적 심리학 기법은 이미 광고, 영화, TV, 인쇄, 소셜 미디어 등에 사용되고 있다. 둘 중 하나가 다른 하나를 없앨까?

 

소프트웨어는 오픈 코드여야 한다.

AGI 출력을 인간이 아닌 인공으로 식별할 수 있는 것이 매우 중요하다.

인간과 AI 행위자를 구별하는 새로운 기술이 필요하며, 교육 개혁이 필요하다.

이러한 제안의 배후에 있는 근거 없는 가정의 범위는 숨 막힐 정도이다. 조작을 경계해야 한다는 데 동의하지만, 증명 가능한 AGI는 환상처럼 보인다. 가정하는 패러다임은 인지주의/표현주의이며, Varella et al 은 이를 강력하게 비판했다. 인지의 실행주의 모델이 AGI의 현실에 더 충실하다면 감사 소프트웨어는 자연적이든 인공적이든 마음 *내부*에 있는 특정 아이디어가 정확히 무엇을 의미하는지 *외부에서* 평가할 수 없기 때문에 의미가 없는 개념이다. 평가가 가능한 유일한 장소는 생각과 외부 세계 사이의 인터페이스, 즉 행동이다. 따라서 AGI의 행동을 모니터링하고 의문을 제기할 수 있으며 실행주의 모델에서는 자기생성 AGI의 가치가 무엇인지 매우 확실하게 알 수 있다; 하지만 맥락을 벗어나 내부 상태를 평가할 방법은 없다.

AGI 시스템은 인간 중심적으로 설계되어야 한다. 인간-기계 상호작용을 어느 정도 제어할 수 있는 메커니즘을 제공해야 한다. 각 항목은 자기 반성, 자기 참조 등을 고려한 긴 논의가 필요하다.

 

여러 수준의 자기 반성은 즉시 권력 유혹으로 이어질 것이다. 그것은 인간 본성과 권력 감각과 관련이 있다.

모든 것은 한 가지 질문으로 축소될 수 있다. 왜 우리는 스스로에게 한계를 부과해야 할까? 특히 강대국의 정부에게는 어려울 것이다.

AGI를 끄는 것은 신중하게 고려해야 한다. 실행을 일시 중지하면 바람직하지 않은, 심지어 파괴적인 효과가 있을 수 있기 때문이다.

 

질문 4: 유엔 AGI 기관이 비군사 AGI 시스템의 국가적 허가를 인증하기 위해 어떤 추가 설계 개념을 포함해야 할까?

…………………………………………………………………………………………………………………………………………………

66% 위험한 AGI 군비 경쟁을 해결하고 억제할 수 있는 능력.

60% 관리에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함되어야 한다.

47% 정부와 기업의 중앙집중식 AGI 시스템과 많은 개발자의 상호 작용에서 나오는 분산형 AGI 시스템을 모두 관리할 수 있는 능력.

39% 다른 국가와 기업의 AGI 상호 작용을 위한 프로토콜을 개발한다.

38% 심각한 재범자의 칩 판매/배송 및 전기 사용을 규제/차단할 수 있는 능력.

33% 모든 AGI UN 거버넌스 소프트웨어를 내장하고 바이러스 백신 소프트웨어와 마찬가지로 지속적으로 업데이트한다.

28% UN AGI 기관을 설계할 때 NPT, CWC BWC 검증 메커니즘에서 배운다.

 

위의 질문 4에 대한 설명 및 의견:

AGI 개발자가 국가 라이선스에 대한 UN 인증을 받기 전에 초기 감사의 일환으로 안전성을 입증해야 한다는 요구 사항은 AGI를 구축하는 데 사용할 수 있는 모든 기술(: 양자 컴퓨팅)로 확대되어야 한다.

인공지능을 기반으로 한 군비 경쟁의 적용을 피하기 위한 컴퓨터 보안 정책을 수립하는 것은 세계적 대립을 예방하는 데 필수적이다.

 

UN 거버넌스 기관은 선언적이어야 하며 국가의 선의에 따라야 하지만 집행권은 없어야 한다. 비군사적 AGI 시스템에 대한 국가 라이선스를 부여하고 "군비 경쟁"을 예방한다는 개념은 모순되는 듯하다.

우리는 모든 것과 마찬가지로 여러 측면이 있다는 것을 기억해야 한다. 칩을 규제하면 암시장 산업이 활성화되고 거버넌스 소프트웨어를 내장하면 혁신이 억제되고 신생 기업에 효과가 느리게 나타날 수 있으며 현재 소프트웨어 규제 기관에서 보고 있는 주요 문제가 포함될 수 있으며 아마도 SDG 달성 능력을 상당히 감소시킬 수 있다. 나는 Amazon Web Services와 같은 AGI를 억제하고 AGI를 위한 다자간 기구를 포함하는 의정서를 꽤 좋아한다. 이는 유엔이 현재 하고 있는 일과 매우 유사하다.

 

칩 판매와 재범자의 전기를 규제하고 가로채는 일은 유엔이 할 수 없는 일이다. 유엔이 공급망이나 전력을 통제할 수 있다 하더라도 현재 헌장에 포함되지 않으며 국제 경찰 권한을 크게 확대해야 한다.

나는 거버넌스 소프트웨어라는 아이디어를 좋아하고 현실적으로 이룰 수 없다고 생각해서 7점만 주었다. 나는 학제 간 참여자를 포함하고 싶다.

중앙집중식 및 분산식 AGI 시스템을 관리하는 것은 확장이 불가능한 또 다른 아이디어이다. 마지막 두 가지 조치는 매우 합리적이며 AGI 상호 작용이 발생하는 방식의 매개변수는 제도화하거나 법으로 제정하기 어려울 것이다. 이러한 조치 중 일부는 대중을 보호하기보다는 정보를 제공하는 범주에 속할 수 있다.

 

 

민간 기관은 군 기관의 AGI 확산을 어떻게 통제할까? AGI 군비 경쟁에서 누가 이길까? 기계이다.

나는 AI 전문가, 철학자, 윤리학자, 행동 과학자, 인류학자 등을 포함한 해당 분야의 전문가로 구성된 모든 정부에서 인정하는 독립적인 기관을 갖는 것이 더 낫다고 생각한다.

효과적인 안전 기능은 참여 국가와 학술 기관에서 공동으로 설계해야 한다.

의견이 일치하지 않는 경우 중재는 참여 기관과 개발 기관으로 구성된 관리 기관의 합의를 통해 이루어져야 한다.

 

나는 범죄자를 감지할 수 있는 것의 가치를 알지만 AI가 이에 따라 행동할 수 있도록 하는 것은 아시모프의 로봇 공학 기본 법칙을 위반한다. 또한 너무 강력해서 통제 불능이 되더라도 종료할 수 없게 된다.

다단계 계층적 통제 시스템에서 시장 힘을 어떻게 통제하고 규제할 수 있을까? AGI 시스템을 통제 시장에 어떻게 적용할 수 있을까?

공공 및 민간 부문 전문가와 윤리학자는 국제 규정을 만드는 초기 단계에 포함되어야 한다.

컴퓨팅 장비의 개인 소유가 가능하다면 이 중 어느 것도 강제할 수 없다.

ISO 27000 컴퓨터 보안 표준을 포함하는 것이 중요하다.

 

 

질문 5: AGI 비군사 AGI 시스템에 대한 유엔 기관의 국가 허가 절차 인증에는 무엇이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

75% AGI는 인간이 제어하는 ​​끄기 스위치나 다른 AGI의 끄기 스위치를 끌 수 없으며, 인간의 개입을 막을 수 없다.

65% 규칙이나 보호책을 위반할 경우 자동 종료 기능 증명

60% AGI에서 출력이 생성되었음을 명시해야 한다.

52% AGI가 자율적인 작업을 수행할 수 있는지 또는 AGI가 먼저 인간에게 확인해야 하는지 여부를 결정하는 데 사용할 수 있는 기준을 포함한다.

49% 기계 교육에 사용되는 자료는 편견을 피하고 국가적 허가 전에 공유된 인간적 가치를 심어주기 위해 감사를 받아야 한다.

47% 허가 조건을 계속 준수하는지 확인하기 위해 승인된 제3자가 예정되지 않은 검사 및 테스트를 실시한다.

40% 코더/기업의 IP를 보호하면서 윤리를 검토하기 위해 UN AGI 기관이 AGI 코드에 무작위로 액세스할 수 있도록 허용한다.

 

위의 질문 5에 대한 설명 및 의견:

UN AGI 기관이 AGI 코드에 무작위로 접근할 수 있도록 허용하는 것은 도움이 될 수 있지만 일부 국가에서는 수용하기 어려울 수 있다. 국가 기관이 AGI 코드에 접근할 수 있도록 요구하는 것과 UN 기관에 대한 보고 요건을 더하는 것이 더 나을 수 있다. 그리고 UN 기관이 필요할 때 국가 기관을 지원하는가?

 

나는 편견에 대한 감사가 훌륭한 목표라고 생각하지만 비현실적이다. 전문가마다 수치는 다르지만 약 150개 이상의 인지적 편견이 확인되었다. 감사는 우리가 콘텐츠에서 편견을 보고, 어떤 자료가 해로운지 판단하고, 편견 속성에 대해 합의한 것보다 더 정확함을 시사한다.

 

나는 AGI 출력을 식별하는 것이 정보에 입각한 사용자와 의사 결정에 필수적이라고 생각한다. 자율적 의사 결정 대 인간 의사 결정에 대한 기준과 관련하여, 설문 조사에서 AGI가 판단을 내려야 하는 많은 항목과 마찬가지로, 이 기준은 훌륭하지만 발생할 수 있는 모든 우발 상황에 대해 대규모로 적용하기는 거의 불가능하다고 생각한다. 나머지 항목은 모두 책임 있는 AGI 개발을 위한 타당한 개념이며, 마지막 두 항목은 8점만 받았다. 왜냐하면 나는 UN이 이를 구현할 수 있다는 점에 대한 우려가 있기 때문이다.

 

인공지능 시스템의 무작위 검토에 관한 최신 제안은 중요한데, 특히 국방 분야와 관련된 인공지능 시스템의 경우에는 더욱 그렇다.

 

나는 "예정되지 않은 검사..." "기계에 사용된 재료..."를 제외한 대부분의 요점에 확실히 동의한다. AGI 시스템을 개발하는 사립 기관은 경쟁 우위를 유지하고 싶어할 것이다.

모든 교육 데이터를 공개하면(비밀로 공개하더라도) 회사가 편안하지 않을 보안 허점이 생길 수 있다. 둘째, 수조 개의 토큰일 수 있는 교육 데이터 세트를 감사하는 것은 거의 불가능할 것이다. 셋째, 문화의 가치 체계는 지역, 그룹 등에 따라 다르다는 것을 이해해야 한다. 나는 예정되지 않은 검사는 AGI 시스템의 출력이 준수되는지 확인하기 위해 수정되어야 한다고 생각한다.

 

물리적 또는 관리적 설계가 무엇이든, 인간 시스템 운영자와 그 가족은 범죄자들이 시스템 목표나 산출물을 강압, 뇌물 또는 영향을 미치려는 시도로부터 보호받아야 한다. 따라서 직원에 대한 보상은 국제 범죄의 도구로서 뇌물을 근절하기에 충분히 높아야 하며, 직위 유지가 보장되어야 한다.

이 모든 제안은 매우 흥미롭지만, 매우 강력한 제도적 사고에 기반을 두고 있다.

AGI 규제 기관은 지구상 모든 계층의 사회에 스며든 문화적 편견에서 벗어나야 한다. AGI 규제 기관이 공정하고 공평할 것이라고 누가 장담할 수 있겠는가?

 

교육 자료를 감사하려면 비현실적인 시간이 필요하고, 다른 사람들이 말했듯이 공정한 규제 기관을 갖는 것도 어려울 것이다. 그러나 우리는 몇 가지 가치에 동의하고 이를 시행해야 한다. AGI 입력은 인식 가능해야 하며, AGI는 항상 인간의 통제 하에 있어야 한다. 이러한 운영자의 선택은 엄격해야 하며, 그들의 윤리는 높이 평가되어야 한다. 보상은 그들의 책임에 비례해야 한다.

 

 

 

AI 프로세스는 기술적인 것일 뿐만 아니라 문화적, 사회적인 것이다. 간단한 보호 조치(: 시스템을 오용하지 않는 것)만으로도 충분할 것이다. 사용자는 시스템이 예상 표준과 합의된 인식을 준수하여 사용되도록 조치할 것이다. 소프트웨어 및 이와 유사한 기능에 대한 과도한 강조는 도매적 구현을 ​​제한하고 장벽으로 작용할 가능성이 높다.

 

 AI는 사용해야 하지만 AI가 인간을 사용하거나 제어하거나 조작하도록 허용해서는 안 된다.

 

질문 6: 비군사 AGI 거버넌스 시스템에는 어떤 추가 규칙이 포함되어야 할까?

…………………………………………………………………………………………………………………………………………………

66% AGI는 자신의 전원 스위치나 다른 AGI의 전원 스위치를 켜거나 끌 수 없다.

60% 아시모프의 로봇 공학 3법칙을 존중한다.

59% 회원국과 유엔 기관에서 조기 경고와 제안된 조치를 제공하는 인공 슈퍼 지능의 잠재적 출현에 대한 주요 지표를 식별하고 모니터링한다.

51% 개인의 상품화보다는 인간 개발을 강화한다.

45% 우리가 행동하는 방식과 우리가 행동해야 하는 방식을 구별하는 능력.

41% 인간의 감독을 받는 재귀적 자기 개선 및 자기 복제.

31% 기타

 

위 질문 6의 항목에 대한 설명 및 의견:

ASI는 은밀한 모드로 등장하여 작동하기 전에 잡으려고 하는 우리의 노력을 피할 수 있다.

맞다, 은밀하게 등장할 것이다. 그래서 우리는 AGI의 잠재적 출현에 대한 주요 지표를 식별하고 이러한 지표를 모니터링해야 한다.

AI는 작동할 수 있도록 어느 정도 자율성을 부여받아야 하지만, 스스로를 지배하거나 결국 인간을 지배하는 방식으로 완전한 자율성을 부여받아서는 안 된다.

이 질문들은 매우 좋고 도움이 되지만, 각 부분이 동일한 수준의 자기 반성성으로 작동하고 인간의 개인적이고 집단적인 권력 탐욕에 유혹받지 않을 것이라는 가정에 기반을 두고 있다.

 

AGI가 스스로 또는 다른 사람에게 킬 스위치를 제공하지 않는 것은 필수적이며, 특히 AGI가 잠재적으로 중요한 서비스에 더욱 통합됨에 따라 더욱 그렇다.

 

의료 서비스는 예상치 못한 플러그 뽑기가 생명을 위협할 수 있는 분야 중 하나이다.

재귀적 자기 개선은 AGI의 중요한 측면인데, 이것을 자기 복제와 분리해야 할까?

필요에 따라 법률을 추가할 수 있는 거버넌스 시스템을 만들어야 한다. AGI가 우리가 행동하는 방식과 우리가 행동해야 하는 방식을 구별할 수 있는 능력을 갖기를 바라지만, 인간은 이를 하는 데 어려움을 겪고 AGI 훈련은 인간 데이터/정보에 의존하기 때문에 이것이 현실적이라고 확신할 수 없다.

 

그래도 7점을 준 이유는 우리가 그것을 위해 노력하기를 바라기 때문이다. ASI의 선행 지표를 식별하는 것은 중요하지만, 이 기능을 구축하려면 많은 정보에 입각한 토론이 이루어져야 하며 이것을 높게 평가하면 그러한 토론이 이루어질 가능성이 더 높기 때문에 대부분 10점을 주었다.

효과 기반 의사 결정 시스템을 기반으로 하는 거버넌스를 보고 싶다. 경제적, 정서적 또는 신체적으로 가장 큰 피해를 입을 사회의 세그먼트/영역은 다른 영역보다 더 엄격하게 관리된다.

이는 권한 남용에 대한 인식을 예방하고 거버넌스를 우회하려는 시도를 제한하는 데 도움이 될 수 있다.

중요한 인프라를 관리하는 책임이 있는 경우가 아니면 스스로를 끄는 기능은 허용되어야 한다.

아시모프의 세 가지 법칙은 아시모프 자신이 얼마나 불충분하고 모순되는지에 대해 반복적으로 패러디한 허구의 줄거리 장치이다. https://www.brookings.edu/articles/isaacasimovs-laws-of-robotics-are-wrong/

이를 위반하는 사람에 대한 일련의 규칙과 관련 제재가 있는 법률 코드를 준비해야 한다.

 

유엔 거버넌스 기관은 선언적이어야 하며 국가의 선의에 따라야 하지만 나쁜 행위자에게는 아무런 영향을 미치지 않는다.

글로벌 수준에서 AI 매핑과 계획을 수립하면 안정성과 최적의 결과가 크게 향상될 것이다.

AGI가 리소스(하드웨어 및 소프트웨어, 인터넷을 통한 이러한 시스템을 포함한 기타 시스템)에 대한 무단 액세스를 얻고 스스로를 증식시켜 잠재적으로 해를 끼치는 자체 진화 바이러스로 변하는 것을 방지한다.

AGI는 소스 및 머신 바이트코드, 교육 데이터, 보안 인프라의 매개변수를 수정할 수 없는 통제된 환경에 있어야 한다.

추가 컴퓨팅, 스토리지, 기타 하드웨어, 네트워크 및 인터넷 리소스에 대한 액세스는 필요하고 감사되는 경우 특정 목적을 위해 명시적으로 인간의 승인을 받은 후 부여해야 한다.

 

AGI는 결국 다음 릴리스 주기에서 개발에서 고려할 수 있는 개선 사항만 제안할 수 있다.

 

거버넌스 모델은 윤리적 성실성을 평가하고 보장하고, 도덕적 용기를 기르고, 전체적인 윤리 문화를 육성하기 위한 기관 검토 위원회(IRB)와 같은 것이어야 한다.

AGI는 또한 의식 수준과 지각력을 검증하는 테스트를 통과해야 한다. 매우 복잡한 새로운 형태의 튜링 테스트와 같은 것이다.

 

질문 7-12: 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만드는 데 어떤 글로벌 거버넌스 모델을 고려해야 할까?

질문 7: 유엔 AGI 기관을 주요 기관으로 하고, 일부 거버넌스 기능은 ITU, WTO, UNDP가 관리하는 다기관 모델이 얼마나 효과적일까?

 

…………………………………………………………………………………………………………………………………………………

 

평가:

매우 높음(25): 14%

높음(60): 33%

50/50(54): 29%

낮음(33): 18%

매우 낮음(12): 7%

전체 응답자(184)

 

설명 및 의견:

이러한 모든 기관은 매우 관료적이지만, 모든 공공 및 민간 기관에 대해 구속력 있고 의무적인 규칙이 있어야 하는 초국가적이고 초기관적 플랫폼을 만들 수 있다.

AI는 영토적 경계를 넘어 더 높은 잠재력에 도달하려면 글로벌한 노력이 필요하다.

정치를 줄이기 위해 개방성과 투명성을 강조한다.

다양한 국가의 전문 위원회에서 검토하고 개선할 수 있는 오픈 소스로 감사 가능한 플랫폼을 추가하면 효과적일 수 있다.

매우 효과적이고 매우 필수적이다. 관련 양자 연구 기관을 설립해야 한다. 이렇게 하면 국가 그리드 및 기타 필수 구조에 안전한 사이버 공간이 보장된다.

AI/양자 노드는 글로벌 보안 전망을 크게 향상시키고 비무장화의 정신과 안정적인 세계관에 기여할 것이다.

 

이러한 기관의 높은 수준의 관료화와 정치화는 일반적으로 새로운 현상, 특히 인공지능과 같은 일부 가속화된 개발에 대한 적시 적응을 방해한다.

유엔은 신뢰할 수 있는 조직이 아니며 이를 심각하게 받아들이는 사람은 거의 없다.

유엔 AGI 기관이 있는 다기관 모델은 다양한 이해관계자나 다른 어떤 기관보다 전 세계 국가로부터 더 높은 수준의 신뢰와 확신을 얻을 수 있다.

나는 유엔을 신뢰하는 데 아무런 문제가 없다. 무역 협정과 같은 요소가 지적 존재의 거버넌스에 적용되는지 의문이 있다; 지금까지 인간 역사는 사람을 사물로 만드는 이야기였다. 우리는 이것이 오류임을 인식하고 심지어 논리를 역전시킬 수 있는 역사적 기회가 있다. 사물을 사람으로 만드는 것이다. 자연권 법률 운동은 AGI 거버넌스의 법적 틀로 간주되어야 한다.

모든 기존 기관은 위험할 정도로 느리다.

너무 많은 의제, 너무 많은 다른 목표.

작업이 얼마나 조율되는지에 따라 달라진다. 구성원이 의견이 다를 때 다양한 시나리오를 고려하고 결정을 내릴 수 있는 제한된 시간을 제공하는 규칙이 있어야 한다.

다양한 기존 초국가적 기관 또는 독립적인 기관의 전문가와 미래학자로 구성된 새로운 초국가적 기관에 관리를 위임한다.

가능하다면 모든 지역, 모든 국가를 포함한 강력한 대학 기관의 집합체가 유엔 부서보다 ​​훨씬 더 신뢰할 수 있을 것이라고 생각한다.

위험하거나 위협적인 역량에 대한 국제적 관리가 역사적으로 비효과적이었다. 지뢰, 생물학 및 화학 무기, 핵무기 확산, 약물 등에 대한 모니터링 및 집행이 어려운 것으로 입증되었다.

이러한 유형의 감독은 물리적으로 검사할 수 있는 것에 대한 것이었고 AGI의 경우 훨씬 더 어려울 것이다.

 

질문 8: 가장 강력한 AI 훈련 칩과 AI 추론 칩을 모두 국제 감독 하에 있는 제한된 수의 컴퓨팅 센터에 넣고, 해당 조약에 가입한 모든 국가에 대칭적 액세스 권한을 부여하는 조약을 체결하는 것이 얼마나 효과적일까?

…………………………………………………………………………………………………………………………………………………

평가:

매우 높음(25): 14%

높음(50): 28%

50/50(41): 23%

낮음(41): 23%

매우 낮음(23): 13%

전체 응답자(180)

 

설명 및 의견:

아이디어는 좋고, 인공지능에 적용되는 양자 컴퓨팅 센터도 추가해야 한다. 이는 다음의 큰 기술 변화가 될 것이다. 효과적이고 일종의 보장이 될 수 있지만, 소수 기업의 독점과 특권으로 이어질 수도 있다.

이는 경제 성장을 제한할 것이다.

 

지니는 이미 병에서 나왔다. "가장 강력한" 것을 정의하거나 이를 시행할 시간이 없다. 판매 및 배송 추적과 에너지 소비를 시행하는 것이 좋다. 조약을 사용하지 않는 사람들은 규제되지 않은 AGI를 만들어낼 수 있으며, 이는 우리의 취향에 맞지 않는 초지능으로 이어질 수 있다.

 

오늘날 하이엔드 게임용 컴퓨터를 가진 사람은 누구나 AI 시스템을 개발하고 배포할 수 있으며, 컴퓨터 속도와 메모리 크기가 증가함에 따라 이를 가진 사람은 누구나 AGI 시스템을 개발하고 배포할 수 있을 것이다. 컴퓨터 접근(및 소유권)이 심각하게 제한되지 않는 한 시행은 불가능하다.

AI를 구현하기 위한 마법의 칩은 없다.

흥미롭지만 실용성을 제한하는 과제와 위험이 있다. 가장 진보된 AGI 역량은 높은 수익 잠재력을 위해 상업적으로 개발되거나, 적대자에 대한 우위를 점하기 위해 정부가 개발하고 있다.

이 옵션은 잠재적 이익이나 ROI를 박탈하여 추가 AGI 개발을 제한한다. 또한 정부에서 개발한 역량을 제3자에게 양도하려면 국제적 합의가 필요하다. 참여에 따라 가진 나라와 못 가진 나라 사이에 지식 격차가 생기거나 커질 가능성이 있다.

해커와 사이버 공격에 매우 매력적이고 수익성이 높은 타깃을 제공한다. , 유엔은 지구상에서 가장 높은 사이버 보안을 구축해야 한다.

 

마지막으로, 알려지지 않은 잠재력이 있는 분야(: 우주 또는 심해 채굴)는 극도로 경쟁적이거나 논란이 많아 규제하기가 거의 불가능하다.

다자간 통제는 유엔 AGI 기관의 설계에 명시되어야 한다.

불확실하고 신뢰할 수 없음(중앙 정부 수준이 아니라 각 국가의 하위 지역). 민간 기업이 국제적 통제를 갖는 이유는 무엇일까? 미국 애국법과 같은 지역 법률에 명시된 의무적 접근에서 무슨 일이 일어날까?

글로벌 통합이 필요하다.

잠재적인 유엔 양자 컴퓨팅 시설도 가능한 유일한 구성을 제공한다. 유엔 안전보장이사회는 안전한 글로벌 사이버 공간과 긴장 완화를 위한 병렬 프로그램을 운영해야 한다.

 

질문 9: 다중 이해 관계자 기구(전환 기관)가 인공지능 시스템과 협력하여 각 ANI가 기능, 요구 사항(위에 나열됨)을 구현하고 다중 이해 관계자 기구와 국가 AGI 거버넌스 기관의 인간에게 지속적으로 피드백하는 것이 얼마나 효과적일까?

 

…………………………………………………………………………………………………………………………………………………

 

평가:

매우 높음(30): 17%

높음(60): 34%

50/50(54): 30%

낮음(27): 15%

매우 낮음(8): 4%

전체 응답자(179)

 

설명 및 의견:

이것이 거버넌스 모델이 될 모델이거나 그에 매우 유사한 것이라고 생각하지만, 유엔과 국가 지도자들이 이를 이해하고 만들 준비를 하려면 많은 교육이 필요할 것이다.

나는 특정 거버넌스 작업에 ANI를 사용한다는 아이디어가 마음에 든다. 다중 이해 관계자 기구를 결정하는 것은 매우 어려울 것이라고 생각한다. 이 개념의 기술적 솔루션보다 더 어려울 수도 있다. 또한 수백만 개의 AGI 개발, 교환 및 사용을 모니터링하여 거버넌스 결정을 내릴 수 있는 이러한 인간이 누구인지 궁금하다.

이는 한 사람이 전 세계의 모든 항공 교통 관제를 담당하는 것과 같다. 그래도 제가 말했듯이 ANI를 활용한다는 아이디어가 마음에 든다. 현재와 미래의 (적어도 당장은) 국제 시스템의 특성을 고려하면 훨씬 더 현실적인 모델인 듯하다.

이는 인간과 AGI 개체 간의 가치 정렬 프로세스가 어려울지라도 가장 합리적인 접근 방식처럼 들린다.

 

다중 이해 관계자 경로는 진정하고 현실적이다. 모든 국가가 참여할 수 있는 기회가 있어야 한다.

 

AGI를 관리하는 것은 간단하다: AGI가 가질 수 있는 부/부동산/언론의 양을 제한하고, 소유자가 제공하는 모든 유틸리티 기능보다 우선 순위가 높은 일련의 기본적인 윤리적 유틸리티 기능을 명령하고, 수백만 개를 구축하고, 서로를 모니터링하도록 한다.

다시 말해, 인간과 마찬가지로 나쁜 행위자와 탐욕스럽거나 이기적인 조작자를 끊임없이 감시해야 한다는 것을 받아들이고, 나쁜 행위자를 억제하기 위해 효율적으로 작동하는 사회를 구축하도록 안내한다.

이는 인간에 대한 실험 없이 거버넌스 과학을 개발할 수 있는 기회이다. AGI가 스스로를 거버넌스하는 데서 얻은 교훈은 인간이 스스로를 위해 더 나은 거버넌스 시스템을 설계할 수 있도록 허용할 수 있다.

(AI 기능)과 열(운영 영역) 3차원(이해 관계자)이 있는 3D 매트릭스 구현을 생각해 볼 수 있다. 복잡하지만 실행 가능하다.

ANI가 요구 사항을 구현할 수 있는 방법이 보이지 않는다. 기껏해야 정부 기관이 처리할 수 있는 복잡하지만 잘 정의된 KPI(핵심 성과 지표)를 제공하여 지원할 수 있다.

AGI가 제약 조건을 위반했는지 평가할 수 있다는 것은 윤리적 원칙이 위반되었는지 평가할 수 있다는 것을 의미합니다... 하지만 어쨌든 다른 두 가지보다 낫다.

나쁜 행위자는 거버넌스 기관과 상관없이 나쁘게 행동할 것이다.

 

질문 10: 유엔 AI 기관에 두 개의 부서를 만드는 것이 얼마나 효과적일까? 하나는 프론티어 모델을 포함한 인공 좁은 지능(ANI)을 위한 부서이고, 두 번째 부서는 AGI만을 위한 부서이다.

 

…………………………………………………………………………………………………………………………………………………

 

평가:

매우 높음(25): 13%

높음(53): 28%

50/50(63): 33%

낮음(26): 14%

매우 낮음(23): 12%

전체 응답자(190)

 

설명 및 의견:

이러한 부서는 전문가, 미래학자, 공공/민간 대표로 구성된 독립 연구 기관에 위임될 수 있다. 또한 종 간 협업을 위해 AGI와 협력하는 ASI 부서를 만들 수도 있다.

ANI AGI는 상당한 중복이 있는 분야이므로, 다른 분야를 다루는 UN AI 기관의 부서가 더 유익할 수 있다.

 

나는 UN AI 개발을 모니터링해야 한다고 생각하며, ANI AGI 사이에 명확한 구분이 있다고 생각한다. 구분은 도구와 사람이다. 도구 사용을 법률화하는 것이 합리적이다. 사람과 함께라면 이해 관계자로서 그들과 협의하고 합의에 도달해야지, 서로 반대하지 않아야 한다.

부서 간에 거버넌스 스타일이 다를 경우 잠재적인 문제점이 있다. 또한, 부서는 ANI AGI가 어떻게 정의되는지에 따라 달라지며, 이는 시간이 지남에 따라 계속 바뀔 수 있다. 이 접근 방식에는 잠재적인 문제점만 있다.

구현하는 경우 조건부로 수행해야 하며, 실험으로 간주하더라도 지속적인 모니터링과 조정이 필요하다.

 

여러 부서가 필요하다: AI 매핑, 계획 및 구현 플랫폼, UN 안전보장이사회와 연결된 양자 컴퓨팅.

AGI가 등장하면 AI의 종류를 구분하는 것은 의미가 없을 것이다. 중복과 새로운 임무에 대한 책임이 있는 부서를 구분할 수 없는 능력, 경쟁적인 질투는 진전을 흐리게 할 것이다.

 

AGI ANI를 관리하는 데 명확한 구분이 없다.

왜 이런 분리가 유용할지 모르겠지만, 해롭다고도 생각하지 않는다.

경계 사례에서 상충되는 역량이 있을 수 있지만, AGI 정의에 따라 달라진다.

실제 생활에서 ANI AGI를 구분하는 것은 매우 복잡하여 잠재적인 긴장과 갈등을 초래할 수 있다. 반면에 두 가지를 분리하는 이점은 그다지 명확하지 않다.

 

질문 11: 아무도 소유하지 않는(아무도 인터넷을 소유하지 않는 것처럼) AGI의 분산형 출현은 SINGULARITYNET과 같은 많은 AI 조직과 개발자의 상호 작용을 통해 얼마나 효과적일까?

…………………………………………………………………………………………………………………………………………………………………

 

평가:

매우 높음(30): 16%

높음(54): 29%

50/50(57): 30%

낮음(26): 14%

매우 낮음(20): 11%

전체 응답자(187)

 

설명 및 의견:

이는 기술이 어떻게 발전하고 발전할지를 감안할 때 매우 가능한 결과이다.

그러나 규제는 많은 가능성을 보호해야 한다. 인터넷은 추가 개발을 위한 촉진 기술이다.

그러나 AGI는 차별화되는 몇 가지 측면이 있다. 규제는 기술이 아닌 애플리케이션 수준과 사용 사례여야 한다.

 

AI 기업의 분산형 출현은 어차피 일어날 것이다. 이는 필수적인 기준이 아니다.

형성 기준은 국제적 합의의 신속한 확립과 효과적인 UN 개발 도구의 배치이다. AI 플랫폼을 위한 오픈소스 방법론은 매우 유용하다.

이 제안은 흥미롭다. 이 데이터의 투명성을 위해 블록체인 기반 시스템을 추가할 수 있다고 생각한다.

 

분산형 기술은 일반적으로 규제를 우회할 방법을 찾을 것이다. 특히 기술이 규제 기관보다 훨씬 빠르게 움직이고 있기 때문이다(많은 면에서 AI를 규제하려는 시도는 순수한 연극이며 기본적인 기술적 현실과는 거리가 멀다).

특정 규모 이상의 오픈 소스, 오픈 액세스, 분산형 AI 모델을 옹호하고 장려하는 것은 진화가 평범한 시야에서 일어나고 유해한 애플리케이션에 대한 대응책이 빠르게 진화할 수 있는 유일한 방법일 가능성이 높다.

 

단극적 권력 집중을 구조적으로 완화하는 분산형 거버넌스 시스템은 아마도 가장 강력한 메커니즘일 것이다. 궁극적으로 규제는 기술 수준이 아닌 애플리케이션 수준에서 이루어져야 한다.

이는 여러 행위자가 AGI를 개발하고 있음을 시사한다. 오픈소스 개발자, 정부, 군대, 기업입니다. 첫 번째는 널리 확산될 수 있지만, 나머지 두 가지는 활용할 수 있는 막대한 자원을 갖게 될 것이다.

 

따라서 이 모델을 사용하면 AGI 간에 일종의 계층 구분이 생길 것이다. 개별적으로는 권한이 없는 많은 무료, 개방형, 신뢰할 수 있는 AGI와 엄청난 권한을 가진 수많은 기업 또는 정부 지원 AGI가 있다. 이 시나리오는 저를 매우 불안하게 만든다.

이 모든 것은 AGI의 수익성, AGI가 계속 개발되는 속도, 개발자의 이타적 성격에 달려 있다. 나는 매우 심각한 선견지명 작업 없이 50/50을 제공한다.

혼란스러울 것이다... 하지만 인터넷도 마찬가지이다. 국가 간 AI 역량 수준의 현재 격차를 고려할 때 이러한 모델을 상상하기 어렵다.

 

아마도 어쨌든 이런 일이 일어날 것이다. 나는 또한 일정 수준 이상의 오픈 소스, 오픈 액세스, 분산형 AI 모델이 안전성, 책임성, 일반적인 접근성 측면에서 최선의 방법이라고 믿는다.

분산형 개발은 거버넌스 시도와 관계없이 이루어질 것입니다. 나쁜 행위자는 나쁜 짓을 할 것이다.

인터넷이 누구에게도 소유되지 않았다는 것은 사실이 아니며, 이런 종류의 지나친 단순화는 매우 위험하다. 이것이 같은 원칙이 AI에 위험하고(또한 적용할 수 없는) 이유이다.

소유권이 없다는 것은 책임이 없다는 것을 의미한다.

 

질문 12: AGI 개발 및 활용을 관리하는 데 효과적이라고 생각하는 글로벌 거버넌스 모델을 설명하라.

…………………………………………………………………………………………………………………………………………………

추천사항:

나는 국제 항공 기관 모델을 좋아한다. 각 국가마다 자체 규칙(면허, 검사, 처벌 등)이 있지만 UN에서 국제적으로 조정한다. 항공 모델에서는 정비사조차도 시험을 치르고 면허를 받는다. 조종사는 때때로 체포되어 연방 항공청에서 발표한 규칙을 따라야 한다

 

항공기 부품은 시험 후 승인된다. 조종사는 최소한 1년에 한 번 시험을 치른다. 임의 점검은 규정의 일부이다.

AI를 규제하기 위해 AI를 많이 사용한다. 우리는 스스로 AI를 제어할 수 있다고 생각하는 것을 멈춰야 한다. 지금 AI 투명성이 문제라면 AGI가 어떨지 상상해 보라.

초국가적 거버넌스 조직은 주로 디지털 방식으로 운영하여 효과적이고 관료화를 피해야 한다.

 

글로벌 문제는 글로벌하게 해결해야 한다. 국가는 핵 프로그램과 마찬가지로 글로벌 감독 없이 AGI를 개발하거나 구현할 자율권을 가져서는 안 된다.

또한 AGI를 제어/규제하는 것이 전적으로 가능하지 않고 AGI가 자체 소스 코드를 수정하여 인간의 통제를 벗어나는 시나리오도 고려해야 한다. 우리는 100% 준수를 보장하지 않고도 인간의 잘못을 완화하는 방법을 생각해야 하지만, 원하는 글로벌 행동을 얻어야 한다.

우리는 인류에게 가장 큰 위협 중 하나에 직면해 있다는 것을 알아야 한다. 유엔의 행동은 필수적이지만, 함께 행동하는 다른 국제 기구의 행동도 필수적이다. 즉각적인 조치를 취하려면 이것이 매우 명확해야 한다.

 

AGI를 관리하려면 ANI 도구를 통합하여 실시간 거버넌스와 제어 기능을 달성하는 학제간 모델이 필요하다. 이 모델은 인간이 관리, 감독 및 운영하는 높은 훈련과 폐쇄형 데이터베이스를 갖춘 ANI를 중심으로 해야 한다.

나는 위험에 기반한 거버넌스를 보고 싶다. 이 모델은 경제적 혼란, 인간의 안전, 가장 광범위한 의미에서의 보안/전략적 억제를 결합하고, 해당 분야, 분야, 직업에서 AGI 진행 상황을 관리할 가능성에 기반한 거버넌스에 대한 제한을 가할 것이다.

나는 유엔이 합의를 구축하고, 최고의 인재를 소집하고, 책임 있는 AGI 개발을 위한 국제적 목표와 표준을 설정하는 데 역할을 한다고 믿는다.

 

나는 유엔이 (현재 구성에서) 글로벌 규모로 AGI 거버넌스를 모니터링하고 시행할 준비가 되어 있다고 생각하지 않는다. 아마도 핵 의정서의 경우 건강에 치명적인 영향을 미칠 가능성이 있는 분야에서 연구, 개발, 시험 및 평가 모니터링을 할 수 있을 것이다.

국가들이 거버넌스 규칙과 역할, 개발 표준, 사회 통합 프레임워크에 동의하는 것만으로도 상당한 성과가 될 것이다. 가장 파괴적인 위반에 대한 어떤 형태의 제재가 필요할 것이고, 아마도 제재를 가하거나 보상을 요구할 권한이 있는 일종의 국제 검토 법원이 필요할 것이다.

 

나는 IEEE, ISO, 미국 표준국을 시작점으로 삼은 거버넌스 프레임워크를 선호한다. 정치인들은 AGI에 대해 신속하게 교육을 받아야 한다. 왜냐하면 그들이 모든 조약과 표준에 대한 결정을 내릴 사람이기 때문이다. 그때까지 이윤을 추구하는 기업과 군대는 이 기술을 제한 없이 계속 개발하고 배치할 것이다. 따라서 모든 형태의 AI는 우리가 원하는 효과적인 거버넌스 시스템을 앞지르게 될 것이다.

 

거버넌스 모델은 다음을 통합해야 한다. 1) 거버넌스 위원회: AI 개발 및 규제의 미래에 영향을 미치는 다양한 공공 정책 문제를 결정하는 정부 및 정부 간 조직의 목소리로 대표된다. 2) 기술 및 학계 고문으로 구성된 기술 자문 위원회. 3) 상업 개발자의 필요성과 개발 사항을 표현하는 산업 자문 위원회.

교육 태스크포스는 AGI의 출현에 대처할 세계 지도자들을 준비시켜야 한다. 개발자와 연구자는 다양한 배경을 가져야 한다. 거버넌스 모델은 글로벌해야 하며, 검토와 심의를 위해 연방화 되어야 한다.

 

나는 이를 AGI를 위한 핵무장을 제한하고 통제하는 국제적 구조를 개발하고 이행하고, 훨씬 더 심각한 제재를 개발하고 이행하며, 이를 강제로 시행하여 전 세계에 이에 서명하지 않은 국가가 단 한 개도 없도록 하는 방법으로 본다.

 

정부, 연구 기관, 민간 기업이 협력하여 AGI 연구를 위한 가이드라인과 정책을 만들고, 각 국가는 자국의 문화적, 법적, 경제적 맥락에 맞게 규정을 조정하고, 안전 프로토콜, 정기 감사, 위험 평가, 영향 평가를 시행한다. AGI 개발자는 다른 규제 산업과 마찬가지로 라이선스를 취득한다. 전문가, 정책 입안자, 이해 관계자로 구성된 독립적인 글로벌 AI 협의회가 AGI 개발을 감독하고 예방 조치를 권고한다. 산업 협회는 AGI 표준, 행동 강령, 윤리 지침을 설정한다.

"작동하는" 기술에 대한 유일한 거버넌스 모델은 제약 부문에서 나온다. 기술 생산자는 도입한 기술의 효과를 실험하고 결과를 보고할 의무가 있다. 이를 바탕으로 제품을 판매할 수 있으며, 허가 기관에서 해당 제품의 사용을 지속적으로 모니터링한다.

 

원치 않는 효과가 있는 경우 허가를 취소할 수 있다. 기술 사용은 엄격한 조건 하에서 이루어지며, 이는 제3자에게 가해진 피해를 포함하여 생산자와 사용자의 책임이 어떻게 분할되는지 정의한다. 유엔전문 기구(WHO)은 상황을 모니터링하고 보고한다.

나는 세계보건기구 모델을 좋아한다. 몇 가지 국제 표준이 있다.

각 지역과 국가는 해당 지역의 현실에 맞는 추가 표준을 가지고 있다.

이상적으로는 인공지능의 생성 및 개발 노드가 규정 위반 시 제재가 적용되는 국제 의정서에 의해 규제되는 모델이 될 것이다.

편견, 선입견, 새로운 형태의 조작 또는 간섭을 방지하기 위해 감사 시스템은 AI에 직접 관여하지 않은 국가로 구성되어야 한다.

가능한 유일한 통제는 AGI 출력 결과에 대한 것일 뿐이다. 오늘날의 집행이 행동에 대한 것과 마찬가지이다.

 

거버넌스 시스템은 중앙집중화 된 부분과 분산된 부분으로 구성되어 민첩해야 하며, 비용이 많이 들지 않고 혁신과 창의성을 저해하지 않으면서도 무엇이 수행되는지, , 무엇을 위해 수행되는지, 그리고 그에 따른 결과가 무엇인지 항상 파악할 수 있어야 하며, 강력한 지표 시스템과 지구 차원의 통제 보드가 있어야 한다.

국가, 국제 기구, 학계, 산업계 및 기타 이해 관계자 간의 협업을 촉진한다. AGI 거버넌스에 전념하는 전문 UN 기관을 만들어 글로벌 표준을 설정하고, 협력을 촉진하고, 윤리적 고려 사항을 해결한다.

 

AGI의 개발, 배치 및 사용에 대한 윤리적 원칙, 안전 표준 및 지침을 수립하는 다자간 조약 및 협정을 개발하고 시행한다. AGI 시스템에서 인간의 가치, 권리 및 안전을 우선시하는 보편적으로 수용되는 윤리적 프레임워크를 정의한다. 기술 발전과 진화하는 윤리적 고려 사항에 발맞추기 위해 거버넌스 프레임워크의 지속적인 평가 및 적응을 위한 메커니즘을 구현한다.

AGI 개발자, 윤리학자, 정책 입안자 및 영향을 받는 커뮤니티의 대표를 포함한 다양한 이해 관계자를 의사 결정 프로세스에 포함시킨다.

 

AGI 커뮤니티 내에서 오픈 소스 협업 및 정보 공유를 장려한다. 글로벌 표준을 준수하도록 국가 및 국제 수준에서 규제 프레임워크를 수립한다. AGI에 대한 인식을 높이기 위한 교육 이니셔티브를 구현한다. 다양한 관점을 수집하고 이해를 증진하기 위해 대중을 토론에 참여시킨다. AGI의 개발과 전 세계적 배포를 추적하는 모니터링 및 보고 메커니즘을 설정하고, 확립된 표준 위반 사항을 조사하여 해결할 수 있는 역량을 갖추었다.

사이버네틱스는 AI를 규제하는 데 유용한 많은 아이디어를 제공한다. 컴퓨터, 인간 지능, 관리와 같은 사회 시스템을 비교할 수 있는 기회를 제공한다.

 

제어에 대한 일반적인 이론을 제공하며, 생물학과 공학의 대부분 외에도 심리학, 사회학, 정치학, 관리학, 인류학 등 사회 과학을 포괄한다. 인공지능은 사이버네틱스에서 발전했다. 사이버네틱스는 통치자를 의미하는 그리스어에서 유래했다. "거버너"라는 단어는 증기 엔진의 속도를 조절하는 장치를 나타내는 단어이기도 한다. 제어 장치가 없으면 증기 엔진이 도망가 폭발하여 많은 사람을 다치게 할 수 있다.

 

우리는 공인된 국가 기관에서 시행하는 글로벌 계획(ISO와 비슷한 것)과 표준 준수에 대한 신뢰할 수 있는 인증이 필요하다. AGI 거버넌스는 보충성 원칙에 기반해야 한다. AGI에 대한 잠재적인 유엔 기관은 시민, 시민 사회, 국가가 스스로를 규제할 수 없는 범위 내에서만 개입해야 한다. 유엔 AGI 기관은 중앙 기관이라기보다는 촉진자이자 지원자가 될 것이다.

이 모델은 전 세계의 기술 전문가로 구성된 기술 자문 위원회와 소프트웨어 개발자 부문 대표로 구성된 산업 자문 위원회, 전 세계에 분포된 AI 평가자로 구성된 독립 평가 위원회를 갖춘 정부 및 비정부 대표로 구성된 거버넌스 위원회로 구성되어야 한다.

 

 

AGI 개발을 감시하고, 경고와 규제 지침을 발표해야 하지만, 연구 개발을 방해해서는 안 된다.

유엔 AI 기관에 2개의 부서를 만들 필요는 없으며, AGI 글로벌 거버넌스를 담당하는 부서를 하나만 만드는 것으로 충분하며, 여기에는 최첨단 AGI 개발 전문가와 좁은 인공지능 전문가가 모두 있어야 한다. 이런 식으로 문제가 있을 경우 내부 조정을 수행할 수 있다.

기관은 전략적 기획, 거버넌스, 윤리, 데이터, 보안, 개인정보 보호, 모니터링, 유지관리, 개발, 사용, 결과, 법적 틀, 관리, 품질, 보관, 교육 및 커뮤니케이션을 모두 포함하는 국제 기구/기관의 주제 위원회로 구성되어야 하며, 중요한 조치를 시행하기 전에 사용자와 이해관계자로부터 피드백을 수집하기 위한 공개 협의가 이루어져야 한다.

 

 

나는 ISO 모델을 좋아한다. 국제 기관의 인증. 승인의 "마크"는 매우 가치 있고 추구될 것이며, 투자자, 회사 이사회 및 정부 의사 결정권자가 요구할 것이다.

경제적 및 외교적 인센티브를 통해 국제 협력을 장려한다.

어떤 국가도 유엔 AI 기관에서 거부권을 가져서는 안 된다. 규칙에 대한 시간 제한이 있는 다수결 원칙이지, 영구 조항이 있는 규칙은 아니다.

거버넌스 모델의 멤버십은 민주적이어야 하며, 데이터와 규제의 권한이 회원국과 대륙 정부 대표부에 균등하게 분배되어야 한다. 글로벌 거버넌스 시스템에서 블록체인과 양자 컴퓨팅 시스템을 고려해야 한다.

 

 

AGI 손상을 관리하려면 (우라늄 농축에 대한 제한이 핵 위협에 대한 제한인 것처럼) 손상을 생성하는 데 필요한 자원을 제한하는 데 집중해야 한다.

기관 검토 위원회가 윤리적 공급망, 환경 영향, 빈부 격차, 데이터 프라이버시, 윤리적 문화의 배양, 도덕적 용기 및 기타 사회적 과제를 고려하여 LEEDS와 같은 평가, 등급 및 인증을 제공하도록 한다.

 

글로벌 거버넌스 기구, 설계, 제공, 윤리에 대한 글로벌 규칙, 항상 중심에 있는 인간. 글로벌 연결 허브의 핵심 그룹으로서 다양한 분야의 인간과 비인간을 포함하는 거버넌스 그룹. 또한 최종 사용자(비기술 담당자와 젊은이들이 다양성을 가져오기 위해 기구의 일부임)를 보장한다.

 

AGI 개발과 관련된 잠재적 실존적 위험을 해결하는 것을 포함하여 위험 평가 및 완화를 위한 프로토콜을 개발한다. 안전하고 윤리적인 AGI 개발을 위한 통찰력, 모범 사례 및 방법론을 공유하기 위해 글로벌 연구 협업을 장려한다.

나는 공공 규제보다 사적 경쟁을 더 믿는다. 또한 규제 기관을 규제하는 사람은 누구일까?

이 모델은 미래의 사회적 분열을 방지하기 위해 AGI에 대한 무료 액세스를 허용해야 한다.

AGI가 완전히 성숙한 기술이 되고 알려진 위험과 실패 모드가 잘 해결될 때까지 구현할 수 있는 실행 가능한 글로벌 거버넌스 모델이 없다고 생각한다. 단기적으로 할 수 있는 최선은 기술을 추적하고 인증 전략을 시도하는 것이다.

AGI는 규제되지 않은 군사 연구에서 먼저 출현하여 거기에서 확산될 가능성이 높으므로 효과적인 UN AGI 거버넌스 기관은 없을 것이다.

 

부록

지역 인구 통계

지역 백분율

유럽 ​​38.56

북미 21.56

라틴 아메리카 18.63

아시아 17.32

아프리카 02.96

기타 00.97

 

 

 

 

 
유엔, AGI, 일반 인공 지능, 글로벌 거버넌스 관련기사목록
광고
광고
광고
광고
광고
광고
광고
광고
광고