인공지능 위험평가: 챗봇은 대량살상무기를 만드는 데 도움이 되지 않는다.

 

지난 2년 동안 우리는 인공지능(AI)의 "약속과 위험"에 대한 글을 많이 보았다. 어떤 사람들은 AI 시스템이 화학 또는 생물학 무기의 제작에 도움이 될 수 있다고 제안했다.

이러한 우려는 얼마나 현실적인가? 생물 테러와 건강 정보 분야의 연구자로서 우리는 진정한 위험과 온라인 과대 광고를 분리하려고 노력해 왔다.

"화학 생물학" 무기에 대한 정확한 의미는 아직 불확실하다. 그러나 규정이 기술 발전에 발맞추지 못하고 있다는 것은 매우 분명하다.

 

위험 평가

AI 모델이 나타내는 위험을 평가하는 것은 쉽지 않다. 게다가 이를 수행하는 일관되고 널리 따르는 방법도 없다.

대규모 언어 모델(LLM)의 경우를 살펴보겠다. 이는 ChatGPT, Claude, Gemini와 같은 챗봇의 기반이 되는 AI 엔진이다.

9월에 OpenAI는 o1(별명 "스트로우베리")이라는 LLM을 출시했다. 출시 당시 개발자들은 새로운 시스템이 누군가가 생물학적 무기를 만드는 데 도움이 될 수 있는 "중간" 수준의 위험이 있다고 주장했다.

 

이 평가는 놀랍게 들릴 수 있다. 그러나 o1 시스템 카드를 자세히 읽어보면 더 사소한 보안 위험이 드러난다.

예를 들어 이 모델은 훈련받지 않은 개인이 바이러스에 대한 유전 정보의 공개 데이터베이스를 더 빠르게 탐색하는 데 도움이 될 수 있다. 이러한 지원은 생물 보안에 큰 영향을 미치지 않을 가능성이 크다.

그럼에도 불구하고 미디어는 새로운 모델이 무기화 위험에 "의미 있게 기여"했다고 빠르게 보도했다.

 

챗봇 그 너머

2022년 후반에 LLM 챗봇의 첫 번째 물결이 시작되었을 때, 이러한 시스템이 훈련받지 않은 개인이 팬데믹을 일으키는 데 도움이 될 수 있다는 우려가 널리 알려졌다.

그러나 이러한 챗봇은 이미 존재하는 데이터를 기반으로 하며 진정으로 새로운 것을 내놓을 가능성은 낮다. 생물 테러 기업이 몇 가지 아이디어를 내놓고 초기 방향을 확립하는 데 도움이 될 수 있지만, 그게 전부이다.

 

챗봇 보다는 생명 과학에 응용되는 AI 시스템이 더 진정한 관심사이다. AlphaFold 시리즈와 같은 이러한 시스템 중 다수는 연구자들이 질병과 싸우고 새로운 치료제를 찾는 데 도움이 될 것이다.

그러나 일부 시스템은 오용될 가능성이 있다. 과학에 실제로 유용한 AI는 양날의 검이 될 가능성이 높습니다. 즉, 인류에게 큰 이점을 줄 수 있지만 위험을 초래할 수도 있는 기술이다.

이러한 AI 시스템은 "이중 사용 연구 우려"라고 하는 것의 대표적인 예이다.

 

프리온과 팬데믹

이중 사용 연구 자체가 우려되는 것은 새로운 일이 아니다. 생물 보안과 핵 확산 방지에 종사하는 사람들은 오랫동안 이에 대해 걱정해 왔다. 화학 및 합성 생물학의 많은 도구와 기술이 악의적인 목적으로 사용될 수 있다.

예를 들어 단백질 과학 분야에서는 10년 이상 새로운 계산 플랫폼이 프리온이라는 잠재적으로 치명적인 잘못 접힌 단백질의 합성이나 새로운 독소 무기의 제작에 도움이 될 수 있다는 우려가 있었다. AlphaFold와 같은 새로운 AI 도구는 이 시나리오를 현실에 더 가깝게 만들 수 있다.

 

그러나 프리온과 독소가 비교적 소규모 집단의 사람들에게 치명적일 수 있지만, 둘 다 진정한 대혼란을 일으킬 수 있는 팬데믹을 일으킬 수는 없다. 생물 테러 연구에서 우리의 주요 관심사는 팬데믹 가능성이 있는 에이전트이다.

역사적으로 생물 테러 계획은 전염병을 일으키는 박테리아인 예르시니아 페스티스와 천연두를 일으키는 천연두 바이러스에 집중되었다.

가장 중요한 질문은 새로운 AI 시스템이 이러한 병원균을 얻거나 처음부터 무언가를 만들려는 훈련되지 않은 개인이나 그룹에 실질적인 차이를 만들어낼 수 있는지 여부이다.

지금 당장은 우리는 모른다.

 

AI 시스템을 평가하고 규제하기 위한 규칙

아직까지 아무도 AI 기반 생물학 무기 위험의 새로운 환경을 평가하는 방법에 대한 확실한 답을 가지고 있지 않다. 가장 진보된 계획은 2023년 10월에 발행된 AI 개발에 대한 행정 명령을 통해 미국의 퇴임하는 바이든 행정부에서 만들어졌다.

 

행정 명령의 핵심 조항은 여러 미국 기관에 새로운 AI 시스템이 화학, 생물학, 방사선 또는 핵무기의 확산에 미칠 수 있는 영향을 평가하기 위한 표준을 수립하도록 지시한다. 전문가들은 종종 이것들을 "CBRN"이라는 제목으로 그룹화하지만, 우리가 CBRN+AI라고 부르는 새로운 역학은 여전히 ​​불확실하다.

 

행정 명령은 또한 유전자 합성에 필요한 하드웨어와 소프트웨어를 규제하기 위한 새로운 프로세스를 확립했다. 이것은 AI 시스템이 생성한 디지털 아이디어를 생물학적 생명의 물리적 현실로 전환하기 위한 메커니즘이다.

 

미국 에너지부는 곧 새로운 AI 시스템으로 인해 발생할 수 있는 생물학적 위험을 관리하는 지침을 발표할 예정이다. 이는 향후 몇 년 동안 AI가 생물 보안에 어떤 영향을 미칠 수 있는지 이해하는 데 도움이 될 것이다.

 

정치적 압력

이러한 신생 규제는 이미 정치적 압력을 받고 있다. 미국의 트럼프 행정부는 바이든의 AI에 대한 행정 명령을 폐지하겠다고 약속했는데, 이는 그것이 "급진적인 좌파 사상"에 기반을 두고 있다는 우려 때문이다. 이러한 입장은 생물 안보와 아무런 관련이 없는 미국의 정체성 정치에서 발생하는 무의미한 분쟁에서 비롯된 것이다.

 

불완전하기는 하지만, 이 행정 명령은 AI가 앞으로 몇 년 동안 화학 및 생물학적 위협의 확산에 어떤 영향을 미칠지 이해하는 데 도움이 되는 최고의 청사진이다. 이를 폐지하는 것은 미국의 국가 이익과 전반적인 세계적 인간 안보에 큰 해를 끼칠 것이다.