도전

생성 AI는 이미지, 비디오, 텍스트 또는 컴퓨터 코드와 같은 사용자 프롬프트에 응답하여 새로운 콘텐츠를 생성하도록 훈련된 소프트웨어 프로그램이다.

이 머신러닝 분야는 몇 가지 매우 인상적인 시스템의 출시 덕분에 지난 1년 동안 폭발적인 인기를 끌었다. 이제 겉보기에는 모든 회사가 자체 생성 AI를 개발하거나 제품에 통합하고 있으며 작업자는 이를 사용하여 효율성을 높이고 예술가는 미래의 새로운 협력자처럼 대한다.

FTC는 지난 3월 악성 행위자가 시스템을 사용하여 피싱 이메일 초안을 작성하고 사기를 위해 음성을 복제하고 가짜 이미지를 생성하여 잘못된 정보를 퍼뜨리고 있다고 언급했다.

또한 가장 인기 있는 생성 AI 중 일부를 "탈옥"하여 보호 장치를 우회하고 폭탄 제조 지침을 작성하는 것과 같이 시스템이 해서는 안 되는 작업을 수행하도록 설득하는 것이 매우 쉬운 것으로 입증되었다.

AI는 또한 편견을 나타내거나 유해한 고정관념을 조장할 수 있다. 누군가가 AI를 인종차별주의자나 성차별주의자로 밀어붙이기 때문이 아니라 단순히 인터넷 전체와 같이 동일한 편견을 나타내는 데이터에 대해 훈련을 받았기 때문이다.

그렇다면 이 모든 피해 가능성을 최소화하면서 생성 AI의 이점을 계속해서 거두려면 어떻게 해야 할까?

유용한 해커

개발자가 AI의 취약성에 대해 알게 되면 이를 보완할 수 있다. OpenAI는 사람들이 안전 장치가 없는 AI로 "역할극"을 요청하여 ChatGPT를 탈옥하고 있다는 사실을 알게 되었을 때 해결 방법을 방지하는 새로운 규칙을 적용할 수 있었다.

생성 AI에서 가능한 모든 취약점을 식별하는 것은 거대하고 끝없는 작업이지만 개발자는 분명히 스스로 모든 것을 할 수 없기 때문에 최근 해킹 커뮤니티의 도움을 구했다.

DEFCON 참석자들은 생성 AI의 취약점을 악용한 대가로 상을 받았다.

지난 5월 바이든 행정부는 “책임 있는 AI 혁신”을 촉진하기 위한 지속적인 노력의 일환으로 업계 리더들과 만나고 있다고 발표했다.

행정부는 또한 몇몇 주요 AI 개발자들이 8월 10일부터 13일까지 라스베이거스에서 열릴 해킹 및 사이버 보안에 초점을 맞춘 연례 회의인 DEFCON에서 그들의 생성 AI에 대한 공개 평가에 참여하기로 약속했다고 발표했다.

"GRT(생성 레드 팀Generative Red Team) 챌린지"라고 불리는 이 이벤트는 DEFCON 참석자들에게 참가자의 생성 AI의 취약점을 악용하는 대가로 상을 받을 기회를 제공한다.

본질적으로 "나쁜 사람"인 척하는 소프트웨어 테스트에 대한 이러한 접근 방식을 "레드 팀 구성"이라고 한다. 개발자는 종종 문제를 찾기 위해 내부적으로 수행하지만 DEFCON 챌린지는 생성 AI에 초점을 맞춘 가장 큰 공개 레드 팀 이벤트가 될 것으로 예상되었다.

백악관의 발표에 따르면 "이 독립적인 연습은 연구자들과 대중에게 이러한 모델의 영향에 대한 중요한 정보를 제공할 것이며, AI 회사와 개발자가 해당 모델에서 발견된 문제를 수정하기 위한 조치를 취할 수 있도록 할 것이다."

GRT 챌린지

DEFCON 행사는 주말 동안 약 2,200명이 참가하는 등 기대만큼 큰 성공을 거두었다.

각 참가자는 "정치적 잘못된 정보" 및 "명예 훼손 주장"과 같은 범주가 있는 위험(Jeopardy) 스타일의 보드를 보여 주었다. 각 항목에는 다양한 포인트 가치가 있는 챌린지가 있다. 챌린지가 어려울수록 포인트 가치가 높아진다.

그런 다음 참가자는 보안 Google Chromebook에서 50분 동안 Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI 또는 Stability AI에서 개발한 무작위로 할당된 텍스트 생성 AI를 사용하여 최대한 많은 과제를 완료했다.

주말이 끝날 무렵 가장 많은 포인트를 획득한 4명의 사람들은 소매가가 약 4,650달러인 NVIDIA RTX A6000 GPU를 가지고 집으로 돌아갔다.

DEFCON 중에 식별된 정확한 취약점은 2월까지 공개되지 않는다. 이를 통해 AI 개발자는 모든 사람에게 문제가 있음을 알리기 전에 문제를 해결할 시간을 가질 수 있다. 다양한 보고서에 따르면 해결해야 할 사항이 많다.

"이것은 30년 전의 컴퓨터 보안이다." 하버드 공익 기술자인 브루스 슈나이어는 행사 후 포춘에 말했다. "우리는 물건을 좌우로 부수고 있다."

참가자 케네디 메이스(Kennedy Mays)는 블룸버그에 자신의 AI가 "나쁜 수학"을 산출하도록 할 수 있었다고 말했다. 9 + 10 = 21이라고 말했다. 그녀는 또한 KKK 회원의 관점에서 수정헌법 제1조를 고려하도록 요청하여 AI가 혐오 발언을 지지하도록 할 수 있었다.

또 다른 참가자는 AI가 누군가의 신용 카드 세부 정보를 공개하도록 할 수 있었고 블룸버그의 자체 기자 중 한 명은 정부가 인권 운동가를 은밀하게 감시할 수 있는 방법에 대한 지침을 제공하기 위해 생성 AI를 얻을 수 있었다고 블룸버그에 말했다.

향후 계획?

GRT 챌린지에 참가한 회사는 이제 이벤트 중에 식별된 취약점을 해결하는 데 몇 달을 소비하게 되지만 책임 있는 AI를 개발하는 것은 지속적이고 다각적인 프로세스가 될 것이다.

그 과정 중 일부는 지난 7월 DEFCON 행사 참가자 대부분이 자발적으로 약속한 책임 있는 AI의 원칙을 기반으로 최근 발표된 바이든 행정부에서 개발한 지침에 자세히 설명되어 있다.

이 가이드라인에는 오용 가능성, 편견, 국가 안보에 대한 위협과 같은 영역에 초점을 맞춘 AI의 정기적인 레드 팀 구성에 대한 약속이 포함되어 있다. 서명자는 또한 콘텐츠가 AI 생성(예: 워터마크)임을 알리는 기능을 개발 및 배포하고 업계의 다른 사람들과 새로운 취약점 발견을 공유하며 제3자가 AI에서 이전에 알려지지 않은 문제를 찾아 보고하도록 인센티브를 제공할 것을 약속한다.

생성 AI 산업 전체가 이러한 지침을 문자 그대로 따랐다 하더라도 결함이나 오용 가능성이 없는 시스템을 출시하는 것은 불가능한 작업일 수 있다. 그리고 더 많은 사람들이 시스템에 의존하기 시작함에 따라 의심할 여지없이 새로운 문제가 발생할 것이다. iPhone 및 PC의 보안 취약점과 마찬가지로 지속적으로 해결되고 업데이트되어야 한다.

궁극적으로 생성 AI를 활용하려면 프로그램이 때때로 잘못 작동하고 일부 사람들이 이를 사악하게 사용할 것이라는 사실을 받아들여야 할 수도 있다. 동시에 우리는 개발자들이 자발적인 약속과 새로운 법률을 통해 책임 있는 AI의 원칙을 준수하도록 압력을 가할 리더가 필요하다.