언어 모델의 실제 위험: AI 기반 사기

 

상상해보라. 직장에서 촉박한 마감일을 앞두고 레이저처럼 집중하고 있는데, 어머니의 전화번호인 듯 보이는 곳에서 전화가 왔다. 전화의 반대편에서 들려오는 목소리는 분명히 어머니의 목소리로, 차분하고 사랑스럽지만 이상하게도 긴박감이 느껴진다. 그녀는 파리에서 휴가를 보내는 동안 심각한 문제에 봉착했고, 문제를 해결하기 위해 즉시 재정적인 도움이 필요하다고 말한다. 그녀는 파리에 있다는 것을 알고 있으며, 그녀가 호텔 이름까지 자세히 알려주면서 전화가 더욱 설득력이 있다. 망설임 없이 돈을 송금했는데, 나중에 어머니가 전화를 건 적이 없다는 것을 알게 되었다. 그것은 고급 AI 시스템이 그녀의 목소리를 완벽하게 모방하고 자세한 시나리오를 만들어낸 것이었다. 방금 무슨 일이 일어났는지 깨닫고 등골이 오싹해진다.

이 시나리오는 한때 순수한 공상과학이었지만, 이제는 새로운 현실이 되었다. 대규모 언어 모델(LLM)과 같은 AI 기술의 새벽은 놀라운 발전을 가져왔다. 그러나 심각한 위협이 다가온다. AI 기반 사기이다.

 

전화 사기의 현재 상황

범죄자들은 ​​수년 동안 의심하지 않는 개인을 속여 돈을 이체하거나 민감한 정보를 누설하려고 시도해 왔지만, 전화 사기가 만연함에도 불구하고 이러한 사기의 대부분은 비교적 정교하지 않으며 인간 대본 판독 운영자에 의존한다. 그러나 이러한 제한에도 불구하고 전화 사기는 여전히 수익성 있는 범죄 사업이다.

 

미국 연방거래위원회에 따르면 2022년에만 미국인은 사기로 88억 달러 이상을 잃었으며, 상당 부분이 전화 사기에 기인했다. 즉, 현재의 덜 발전된 형태에서도 이러한 전술의 대부분은 여전히 ​​취약한 개인에게 효과가 있다는 것을 의미한다. 이것이 진화하면 무슨 일이 일어날까?

 

AI 기반 사기의 미래

전화 사기의 양상은 몇 가지 핵심 기술의 출현으로 극적인 변화를 맞고 있다.

 

대규모 언어 모델(LLM)

이러한 AI 시스템은 인간과 유사한 텍스트를 생성하고 자연스러운 대화에 참여할 수 있다. 사기에 적용하면 LLM은 매우 설득력 있고 적응력이 뛰어난 스크립트를 만들어 잠재적 피해자가 사기를 식별하기 훨씬 어렵게 만들 수 있다.

 

검색 증강 생성(RAG)

이 기술을 통해 LLM 시스템은 방대한 양의 정보에 실시간으로 액세스하여 활용할 수 있다. 사기꾼은 소셜 계정과 같은 공개적으로 사용 가능한 정보를 기반으로 사람의 프로필을 작성할 수 있다. 또한 친구와 가족에게 사회 공학 기술을 사용하여 더 심층적인 정보를 수집할 수도 있다. 이를 통해 대상의 신원, 업무 정보 또는 최근 활동과 같은 정보에 액세스할 수 있다. 그런 다음 RAG를 사용하여 LLM에 필요한 맥락을 제공하여 접근 방식이 매우 개인화되고 합법적인 것처럼 보이게 할 수 있다.

 

합성 오디오 생성

Resemble AI 및 Lyrebird와 같은 플랫폼은 매우 사실적인 AI 생성 음성을 만드는 데 앞장서고 있다. 이러한 기술은 가상 비서에서 자동화된 고객 서비스 및 콘텐츠 생성에 이르기까지 다양한 애플리케이션에서 활용할 수 있는 개인화된 인간과 같은 오디오를 생성할 수 있다. ElevenLabs와 같은 회사는 사용자가 자신의 음성을 면밀히 복제할 수 있는 합성 음성을 만들 수 있도록 하여 경계를 더욱 넓히고 있으며, 이를 통해 디지털 상호 작용에서 새로운 수준의 개인화와 참여가 가능해졌다.

 

합성 비디오 생성

Synthesia와 같은 회사는 이미 AI 생성 아바타로 사실적인 비디오 콘텐츠를 만들 수 있는 잠재력을 보여주고 있다. 앞으로 몇 년 안에 이 기술을 사용하면 사기꾼이 친구나 가족을 사칭하거나 화상 통화를 위해 완전히 허구적인 페르소나를 만들어 이전에는 불가능했던 수준의 물리적 사실성을 사기에 도입할 수 있다.

 

AI 립싱크

Sync Labs와 같은 신생 기업은 생성된 오디오를 비디오 영상과 일치시킬 수 있는 고급 립싱크 기술을 개발하고 있다. 이를 사용하여 역사적 인물, 정치인, 유명인 및 사실상 모든 사람의 매우 설득력 있는 딥페이크 비디오를 만들어 현실과 속임수의 경계를 더욱 모호하게 만들 수 있다.

이러한 기술의 조합은 다소 우려스러운 그림을 그린다. AI가 대상에 대한 개인 정보로 무장하고 대화를 실시간으로 조정하고 생성된 음성과 완벽하게 동기화된 입술을 움직이는 실제 사람과의 화상 통화로 전환할 수 있는 사기 전화를 상상해 보라. 속임수의 잠재력은 정말 엄청나다.

 

강화된 보안 조치의 필요성

이러한 AI 기반 사기가 더욱 정교해짐에 따라 신원과 진위성을 확인하는 방법은 AI 발전과 경쟁해야 한다. 온라인 세계를 안전하게 유지하려면 규제와 기술 발전이 모두 필요하다.

 

규제 개선

더욱 엄격한 데이터 개인정보 보호법: 더욱 엄격한 데이터 개인정보 보호법을 시행하면 사기꾼이 악용할 수 있는 개인 정보의 양이 제한된다. 이러한 법률에는 데이터 수집에 대한 더욱 엄격한 요구 사항, 향상된 사용자 동의 프로토콜, 데이터 침해에 대한 더욱 심각한 처벌이 포함될 수 있다.

가장 강력한 AI 모델을 위한 프라이빗 클라우드: 규정은 가장 강력한 AI 모델을 공개적으로 제공하는 대신 프라이빗하고 안전한 클라우드 인프라에 호스팅하도록 명령할 수 있다. 이렇게 하면 가장 진보된 기술에 대한 액세스가 제한되어 악의적인 행위자가 사기에 사용하기가 더 어려워진다. (예: https://security.apple.com/blog/private-cloud-compute/)

 

AI 규정에 대한 국제 협력: AI 기술의 글로벌한 특성을 감안할 때 규제 표준에 대한 국제 협력이 유익할 수 있다. 국제 AI 규정을 만들고 시행하는 책임이 있는 글로벌 기관을 설립하면 국경을 넘는 AI 관련 범죄를 해결하는 데 도움이 될 수 있다.

 

대중 인식 캠페인: 정부와 규제 기관은 시민들에게 AI 사기의 잠재적 위험과 스스로를 보호하는 방법에 대해 교육하기 위해 대중 인식 캠페인에 투자해야 한다. 인식은 개인과 조직이 필요한 보안 조치를 구현할 수 있도록 하는 데 중요한 첫 번째 단계이다.

 

현재의 AI 규정은 사기를 방지하기에 충분하지 않으며, 미래 규정의 과제는 많은 강력한 기술의 오픈 소스 특성으로 인해 더욱 복잡해진다. 이러한 개방성 덕분에 누구나 이러한 기술에 액세스하여 자신의 목적에 맞게 수정할 수 있다. 결과적으로 더 강력한 규정과 함께 보안 기술의 발전이 필요하다.

 

합성 데이터 감지

합성 오디오 감지: 사기꾼이 AI를 사용함에 따라 우리의 방어도 그래야 한다. Pindrop과 같은 회사는 전화 통화 중에 실시간으로 합성 오디오를 감지할 수 있는 AI 기반 시스템을 개발하고 있다. 이 기술은 통화 오디오의 1,300개 이상의 특징을 분석하여 실제 사람인지 정교한 AI 시스템에서 나오는지 확인한다.

 

합성 비디오 감지: 합성 비디오 감지: AI가 오디오를 조작할 수 있는 것처럼 비디오도 조작할 수 있으며, 딥페이크 및 기타 합성 비디오 콘텐츠의 형태로 상당한 위협을 가한다. Deepware와 같은 회사는 합성 비디오를 감지하는 개발 기술을 선도하고 있다. Deepware의 플랫폼은 고급 머신 러닝 알고리즘을 사용하여 AI가 생성한 콘텐츠에 종종 존재하는 부자연스러운 움직임, 불규칙한 조명 및 픽셀 이상과 같은 비디오 데이터의 미묘한 불일치를 분석한다. Deepware의 기술은 이러한 불일치를 식별함으로써 비디오가 진짜인지 조작되었는지 판단하여 개인과 조직이 정교한 비디오 기반 사기 및 잘못된 정보 캠페인에 속지 않도록 보호한다.

 

인증 발전 식별

사용자의 신원을 확인하는 다양한 방법이 개발되고 있으며, 이 중 하나 이상이 향후 몇 년 안에 인터넷을 더 안전하게 만들기 위해 주류가 될 것이다.

 

원격 대화를 위한 2단계 인증: 2단계 인증(2FA)은 여전히 ​​안전한 커뮤니케이션의 기본 구성 요소이다. 이 방법에 따라 각 전화 통화 또는 이메일은 현재 이메일 가입과 유사한 고유한 확인 코드가 포함된 문자 메시지를 트리거한다. 2FA는 기본 인증에 효과적이지만, 제한 사항으로 인해 모든 상황에서 신뢰할 수 없으므로 백그라운드에서 작동할 수 있는 포괄적인 인터넷 안전을 보장하는 보다 진보된 방법을 개발해야 한다.

 

동작 기반 다중 요소 인증: 통화 시작 시 신원을 확인하는 것 외에도 미래의 보안 시스템은 상호 작용 내내 지속적으로 동작을 분석할 수 있다. BioCatch와 같은 회사는 행동 생체 인식을 사용하여 개인이 장치와 상호 작용하는 방식에 따라 사용자 프로필을 만든다. 이 기술은 사기꾼이 초기 인증 검사를 통과한 경우에도 도난된 정보를 사용하고 있음을 나타낼 수 있는 동작의 이상을 감지할 수 있다.

 

생체 인식 기반 인증: Onfido와 같은 회사는 생체 인식 검증 기술의 최전선에 있으며, 정교한 딥페이크 및 기타 형태의 신원 사기를 발견하는 AI 기반 신원 검증 도구를 제공한다. 이 시스템은 문서 검증과 생체 인식 분석을 결합하여 통화 또는 화상 채팅의 상대방이 실제로 주장하는 사람인지 확인한다.

 

고급 지식 기반 인증: 단순한 보안 질문을 넘어 미래의 인증 시스템은 사용자의 디지털 발자국과 최근 활동을 기반으로 하는 동적인 AI 생성 질문을 통합할 수 있다. 예를 들어, 전화 중심 신원을 전문으로 하는 회사인 Prove는 전화 인텔리전스와 행동 분석을 활용하여 신원을 검증하는 솔루션을 개발하고 있다. 이 기술은 사람이 기기를 사용하는 방식의 패턴을 분석하여 사기꾼이 복제하기 훨씬 어려운 고유한 "신원 서명"을 만들 수 있다.

 

블록체인 기반 신원 검증 인증: 블록체인기술은 분산되고 변조 방지가 가능한 신원 검증 방법을 제공한다. Civic과 같은 회사는 사용자가 개인 정보를 제어하는 ​​동시에 안전한 인증을 제공할 수 있는 블록체인 기반 신원 검증 시스템을 개척하고 있다. 이러한 시스템은 검증 가능하고 변경 불가능한 개인 신원 기록을 생성하여 고위험 거래를 관리하는 데 적합하다.

 

결론

LLM, RAG, 합성 오디오 생성, 합성 비디오 생성 및 립싱크 기술의 융합은 어느 정도 양날의 검이다. 이러한 발전은 긍정적인 응용 분야에 엄청난 잠재력을 가지고 있지만 사기꾼이 무기로 사용할 경우 상당한 위험을 초래한다.

 

보안 전문가와 사이버 범죄자 간의 이러한 지속적인 군비 경쟁은 디지털 보안 분야에서 지속적인 혁신과 경계가 필요함을 강조한다. 이러한 강력한 도구의 이점을 활용하면서 이러한 위험을 인식하고 대비함으로써만 잠재적인 피해를 완화할 수 있다.

 

포괄적인 규제, 이러한 새로운 형태의 사기에 대한 교육, 최첨단 보안 조치에 대한 투자, 그리고 아마도 가장 중요한 것은 온라인이나 전화로 알려지지 않은 엔터티와 상호 작용할 때 우리 각자의 건전한 회의주의가 이 새로운 환경을 탐색하는 데 필수적이다.