오늘날의 AI에서 미래의 범용 인공지능(AGI)으로의 전환에 대한 글로벌 거버넌스에서 유엔 총회의 리더십이 중요한 이유, 제롬 글렌 2024. 10. 31

 

올해 유엔 총회에서 두 개의 AI 관련 결의안이 채택되었다. 유엔 미래 정상회의의 글로벌 디지털 협약(Global Digital Compact)은 인공지능에 대한 국제적 거버넌스를 요구하고 있으며, 유럽 평의회의 AI 협약은 비준 절차를 시작했다. 이러한 결의안, 협약, 그리고 협정은 다음 단계인 현재의 AI 형태에서 미래의 범용 인공지능(AGI)으로 전환하는 데 필요한 거버넌스를 구축하는 데 좋은 기초가 된다.

 

AI에는 세 가지 유형이 있다: 좁은 인공지능(ANI), 범용 인공지능(AGI), 그리고 초지능(ASI). 생성형 AI(GenAI)를 포함한 좁은 인공지능(ANI)은 특정 작업에 집중하는 도구로, 오늘날 존재하며 앞으로도 계속 발전할 것이다. 범용 인공지능(AGI)은 아직 존재하지 않지만, 이 10년이 끝나기 전에 등장할 가능성이 있다. AGI는 도구보다는 에이전트처럼 작동할 것으로 예상되며, 목표 달성을 위해 스스로 코드를 수정할 수 있다. AGI는 인간과 유사하게 새로운 문제에 대한 새로운 해결책을 창출할 수 있으며, 순간순간 학습하여 점점 더 똑똑해질 수 있다.

 

초지능(ASI)은 AGI에서 진화할 것으로 예상되며, 인간의 통제와 독립적으로 스스로 목표를 설정할 수 있는 능력을 가질 것이다. 우리는 ASI가 어떻게 등장하고 작동하는지를 직접적으로 통제할 수는 없지만, AGI가 어떻게 만들어지고 사용되는지를 통제할 수 있으며, 이를 통해 간접적으로 초지능을 통제할 수 있다.

 

유네스코, OECD, ITU, 그리고 글로벌 파트너십 온 AI(GPAI) 등에서는 AI 개발 및 사용에 대한 가치와 윤리에 대해 좋은 선언들을 내놓았으며, EU AI 법안과 중국의 인공지능 법과 같은 규제도 마련되어 있다. 그러나 이러한 국제적 및 국가적 노력들은 좁은 인공지능(ANI)에 초점을 맞추고 있으며, AGI에 대해서는 다루고 있지 않다. 이제 우리는 AGI가 도래하기 전에 전 세계적으로 AGI가 어떻게 만들어지고 사용되어야 하는지를 정의하기 시작해야 한다.

 

여러 국가와 많은 기업들이 규제되지 않은 AGI 시스템을 개발하여 인터넷과 그에 연결된 모든 것들과 상호작용하는 수백만 개의 AGI 에이전트가 확산될 경우 인류에게 심각한 위협을 초래할 수 있다. 일부 국가와 기업들은 AGI를 가장 먼저 개발하기 위한 경쟁을 벌이고 있으며, 이 경쟁에서 승리하기 위해 안전성을 무시할 가능성도 있다. 여러 AGI가 이 10년 안에 등장할 가능성이 있는 만큼, 국가적인 라이선스 시스템과 국제적인 조정 및 거버넌스를 구축하는 데 몇 년이 걸릴 것이므로 지금부터 AGI로의 전환을 다루기 시작하는 것이 현명하다.

 

유엔 총회 의장단에 대한 몇 가지 제안:

• 글로벌 디지털 협약에서 요구한 독립적인 국제 과학 패널에 AGI 거버넌스 작업의 긴급성을 이해하는 AGI 전문가를 임명하도록 권고한다.
• AGI 문제를 다룰 준비 상태를 점검하고 유엔 총회가 AGI 협력에 대한 글로벌 대화를 주도하는 역할을 강조하기 위해 특별한 유엔 총회 세션을 개최하도록 권고한다.
• 이러한 유엔 총회 세션에서는 자발적인 국가들이 참여하여 ANI와 AGI 두 가지 섹션으로 구성된 유엔 AI 협약 초안을 작성하도록 요청할 수 있다.
• 국제 인공지능 기구 설립 가능성에 대한 타당성 조사를 요청한다.

AGI로의 전환을 관리하는 것은 인류가 직면한 가장 복잡하고 어려운 관리 문제일 수 있다. 이에 대해 AI 선구자인 스튜어트 러셀(Stuart Russel)은 "AGI 시스템을 만들기 전에 이 문제를 해결하지 못하면 인류 문명에 치명적인 실수가 될 것이다. 그 누구도 그러한 실수를 저지를 권리는 없다"고 경고했다.

 

영문, 제롬 글렌

 

Why UN GA leadership on global governance of the transition from today’s AI to future Artificial General Intelligence (AGI) is critical

 

Two UNGA resolutions on AI have been adopted this year. The UN Summit of the Future’s Global Digital Compact calls for international governance of artificial intelligence. The Council of Europe’s Convention on AI is open for ratification. These Resolutions, Compact, and Convention are good foundations for the next step: governing the transition from the current forms of AI to future forms of Artificial General Intelligence (AGI).

 

There are three kinds of AI: narrow, general, and super. Artificial Narrow Intelligence (ANI) including generative AI (or GenAI) is a tool with narrow focus, and is pre-trained exists today and will continue to improve over the coming years. Artificial General Intelligence (AGI) does not exist yet, but could before the end of this decade. AGI is expected to act more like an agent than a tool, and can re-write its own code as need to achieve objectives. It can create novel solutions to novel problems similar to humans (sometimes called human-level AI) and can learn moment by moment to continually get smarter and smarter.

 

Artificial Super Intelligence (ASI) sometimes called Artificial Superintelligence is expected to emerge from AGI. It will have the ability to set is own goals independent from human control. We cannot directly control how ASI emerges and acts. But we can control how AGI is created and used; and hence, have indirect control of Artificial Superintelligence.

 

There are good statements about values and ethics for AI development and use by UNESCO, OECD, ITU, and the Global Partnership on AI, and good regulations with the EU AI Act and China’s Artificial Intelligence Law. These international and national efforts address artificial narrow intelligence, not AGI. Now we have to begin to define how AGI should be created and used worldwide before it arrives.

 

Unregulated AGI systems created by several countries and many corporations could proliferate creating millions of AGI agents that interact on the Internet and everything connected to the Internet producing serious threats to humanity. Some countries and corporations are racing to be the first to create AGI and may cut corners on safety to win that race. Since many AGIs could arrive within this decade, and since it will take several years to create both national licensing systems and international coordination and governance, it is wise to begin addressing the transition to AGI now.

 

Some suggestions for UN Council of Presidents of the GA:

 

 Recommend AGI experts who understand the urgency of working on AGI governance be appointed to the Independent International Scientific Panel on AI as called for in the Global Digital Compact.

 Recommend a special GA session specifically on AGI that would stimulate Member States to review their readiness to address this issue and fucus world attention on the GA’s role in leading a global conversation on AGI cooperation.

 Such a GA session could call for a group of the willing to draft the text of a UN Convention on AI with two sections: one on ANI and one on AGI.

 Call for a feasibility study of establishing an International AI Agency

 

Governing the transition to AGI could be the most complex, difficult management problem humanity has ever faced. To which AI pioneer Stuart Russel states, “Failure to solve it before proceeding to create AGI systems would be a fatal mistake for human civilization. No entity has the right to make that mistake.” 

 

 

 

 

UNCPGA Meeting October 29-30, Seoul Program Schedule (Tentative)

 

Date Event Detail October 29 (Tuesday) UNCPGA Meeting (09:00-11:30 /MOFA, 17th floor Meeting Room)

 

08:10 Gathering at the Lottel Hotel Lobby

08:20 Departure from the Lottel Hotel 08:50 Arrival at the Ministry of Foreign Affairs (MOFA)

09:00-09:20 Opening Session

09:30-11:30 Session 1 (Discussion of International Crises : Middle East) Luncheon hosted by the Prime Minister

(12:20-13:30, Lotte Hotel, 3th floor Athene Garden)

11:35 Departure from the MOFA 12:00 Arrival at the Lotte Hotel

12:20-13:30 Luncheon hosted by Prime Minister Han Duck-soo UNCPGA Meeting (16:00-18:00 /MOFA, 17th floor Meeting Room)

15:10 Gathering at the Lotte Hotel Lobby

15:20 Departure from the Lottel Hotel 15:50 Arrival at the MOFA

16:00-18:00 Session 2 (Discussion of International Crises : Ukraine/Russia) Dinner hosted by the Foreign Minister

(18:00-20:00, MOFA, 18th floor Seo Hee Hall) 18:00 Moving to the 18th floor

18:00-20:00 Dinner hosted by Foreign Minister Cho Tae-yul

20:00 Departure from the MOFA (► Lotte Hotel) ※ Breakfast included

 

October 30 (Wednesday) Visit to the DMZ

(10:30-11:30, Joint Security Area)

09:00 Gathering at the Lottel Hotel Lobby 09:10 Departure from the Lottel Hotel

10:30 Arrival at the Joint Security Area (JSA)

10:30-11:30 Visit to the Demilitarized Zone (DMZ) Luncheon (12:30-13:30, Lotte Hotel, 36th floor Asto Suite)

11:30 Departure from the JSA

12:30 Arrival at the Lottel Hotel

12:30-13:30 Luncheon (lunch box) UNCPGA Meeting (14:00-18:45, Lotte Hotel, 36th floor Asto Suite)

14:00-15:30 Panel Discussion (Artificial Intelligenceby Jerome Glenn)

15:45-17:15 Session 3 (UNCPGA Work Program and Institutional Issues)

17:30-18:30 Review of Draft Declaration

18:30-18:45 Closing Session Dinner (19:00-20:30, Nearby Restaurant (TBC))

19:00-20:00 Dinner