AI 챗봇이 인간처럼 느껴지는 순간 인공지능에게 사기를 당한다.

 

올해 초 홍콩 금융 직원이 영상 회의에서 회사의 최고 재무 책임자인 척하는 딥페이크 기술을 사용한 사기꾼에게 2,500만 달러를 지불하도록 속았다. 화면에 나온 이미지가 동료라고 생각한 금융인은 친구인 척한 사기꾼에게 수백만 달러를 이체하도록 허가했다.

 

극적인 사례이지만 속아 넘어간 사무직 직원은 생성 AI에 속은 유일한 사람이 아니었다. 방대한 양의 데이터로 훈련된 대규모 언어 모델에 크게 의존하여 언어 패턴을 학습하고 예측하는 이 기술은 2022년 ChatGPT가 출시된 이후 점점 더 널리 퍼졌다.

 

생성 AI 챗봇과 상호 작용하는 일부 사람들이 어떤 사람과 대화하고 있다고 쉽게 확신하는 이유를 어떻게 설명할 수 있을까? 답은 대화 자체의 규칙에 있을 수 있으며, 대화 규칙이 우리가 세상과 상호 작용하는 방식에 깊이 뿌리박혀 있기 때문이다.

 

왜 이런 과대 광고가 있을까?

언어 모델을 기반으로 하는 생성 AI 시스템은 언어학자가 "근거 없는"이라고 부르는 텍스트를 생성한다. 즉, 사람들 간의 대화에 필수적인 구성 요소인 상호 이해가 부족하다. 그러나 인간이 상호 작용에 참여할 때 우리는 파트너에게 마음이 있다고 가정하는 경향이 있다.

우리는 상호작용하는 다양한 비인간을 의인화하도록 배선되어 있다. 최근 생성 AI의 도약 이전에는 주로 동물이었다.

 

지금은 기계이다. 생성 AI 이전에는 컴퓨터와의 상호작용이 일반적으로 최소한의 언어적 주고받기를 포함했다. 그러나 생성 AI를 사용하면 컴퓨터 시스템이 실제처럼 보이는 방식으로 우리를 인정한다. 이러한 "실제처럼 보이는 것"은 이 기술의 성공에 큰 부분을 차지한다.

 

그렇다면 어떻게 작동할까?

언어와 사고

최근 논문에서 미국 과학자 카일 마호월드, 안나 이바노바와 동료들은 우리가 언어와 사고를 혼동하고 있다고 주장한다. 생성 AI 시스템은 언어를 어느 정도 유창하게 사용할 수 있기 때문에 생각할 수 있다고 믿는다. (참고로, 생각할 수 없다.)

저자들은 형식적 언어 능력(언어의 규칙과 통계적 패턴에 대한 지식)과 기능적 언어 능력(실제 상황에서 언어를 사용하는 방법)을 구분한다.

 

규칙에 따라 발언하는 것만으로는 충분하지 않다. 또한 맥락에 맞게 적절하게 사용해야 한다. 이 예에서(정확하지만 부적절한 대화 응답의 예를 만들라는 요청을 받았을 때 ChatGPT-4o의 도움을 받아 작성됨) 알렉스는 사실적으로는 맞지만 친구의 지원 필요성을 해결하지 못하는 응답을 제공한다.

친구: 내일 프레젠테이션 때문에 미칠 것 같아.

알렉스: 스트레스는 신체의 싸움-도피 반응을 활성화시켜 심박수와 코르티솔 수치를 증가시킨다.

마호월드와 동료들은 생성 AI 시스템의 지능에 대한 우리의 믿음은 언어 능력에서 비롯된다고 말한다. 그러나 퍼즐의 중요한 조각은 우리가 기술과 상호 작용할 때 인간에게 일어나는 일이다.

 

대화의 규칙

인간에게 생성 AI 챗봇의 매력을 이해하는 열쇠는 봇이 수행하는 장르, 즉 대화에 있다. 대화는 규칙과 루틴에 의해 지배된다.

대화 루틴은 문화에 따라 다르며, 서로 다른 기대가 있다. 적어도 서양 문화권에서 언어학자들은 종종 대화가 1975년 영국의 언어 철학자 폴 그라이스가 제시한 네 가지 원칙 또는 "격언"에 따라 진행된다고 생각한다.

 

질의 격언: 진실을 말하십시오. 거짓이거나 증거로 뒷받침되지 않는 정보를 제공하지 마십시오.

양의 격언: 필요한 만큼 정보를 제공하십시오. 너무 많거나 너무 적은 정보를 제공하지 마십시오.

관련성의 격언: 논의 중인 주제와 관련된 정보만 제공하십시오.

매너의 원칙: 명확하고 간결하며 질서 있게 말하고, 모호함과 애매함은 피하십시오.

 

어떤 대가를 치르더라도 관련성 찾기

생성 AI 챗봇은 일반적으로 양적으로 좋은 성과를 거두고(때로는 너무 많은 정보를 제공하는 쪽으로 기울기도 함) 관련성이 있고 명확한 경향이 있다(사람들이 글쓰기를 개선하기 위해 챗봇을 사용하는 이유).

 

그러나 종종 질의 극대치에서 실패한다. 그들은 환각을 보이며 권위 있는 것처럼 보일 수 있지만 사실은 거짓인 답변을 하는 경향이 있다.

그러나 생성 AI의 성공의 핵심은 의미 있는 커뮤니케이션에 참여하는 모든 사람이 이러한 극대치를 준수하고 다른 사람들도 이를 따른다고 가정한다는 그라이스의 주장에 있다.

 

예를 들어, 거짓말이 효과적인 이유는 거짓말쟁이와 상호 작용하는 사람들이 상대방이 진실을 말하고 있다고 가정하기 때문이다. 관련성 없는 의견을 제시하는 사람과 상호 작용하는 사람들은 어떤 대가를 치르더라도 관련성을 찾으려고 시도한다.

그라이스의 협력 원칙은 대화가 서로를 이해하려는 우리의 포괄적인 의지에 의해 뒷받침된다고 주장한다.

 

협력 의지

그러므로 생성 AI의 성공은 부분적으로 대화에서 협력하고 상호 작용에 본능적으로 이끌리는 인간의 필요성에 달려 있다. 어린 시절에 배운 대화를 통한 이러한 상호 작용 방식은 습관이 된다.

그라이스는 "습관에서 급진적으로 벗어나려면 상당한 노력이 필요할 것"이라고 주장했다.

다음에 생성 AI와 상호 작용할 때는 신중하게 해야 한다. 그것은 단지 언어 모델일 뿐이라는 것을 기억하라. 대화 협력에 대한 습관적인 필요성 때문에 기계를 동료 인간으로 받아들이지 말아야 한다.