AI 모델은 인간의 뇌처럼 언어를 인코딩한다.
언어는 각 사람의 뇌가 단어의 의미에 비슷하게 반응하기 때문에 사람들이 서로에게 생각을 전달할 수 있게 해준다. 최근 발표된 연구에서 내 동료들과 나는 화자가 대면 대화를 할 때의 뇌 활동을 모델링하는 프레임워크를 개발했다.
우리는 두 사람이 대본 없는 대화를 할 때의 뇌의 전기적 활동을 기록했다. 이전 연구에 따르면 두 사람이 대화할 때 뇌 활동이 결합되거나 정렬되고 신경 결합의 정도는 화자의 메시지를 더 잘 이해하는 것과 관련이 있다.
신경 코드는 맥락에서 서로 다른 단어와 관련된 특정 뇌 활동 패턴을 말한다. 우리는 화자의 뇌가 공유된 신경 코드에 맞춰 정렬되어 있음을 발견했다. 중요한 점은 뇌의 신경 코드가 대규모 언어 모델의 인공 신경 코드와 유사하다는 것이다.
단어의 신경 패턴
대규모 언어 모델은 다른 단어 다음에 나올 가능성이 가장 높은 단어를 예측하여 텍스트를 생성할 수 있는 머신러닝 프로그램이다. 대규모 언어 모델은 언어 구조를 학습하고, 인간과 유사한 텍스트를 생성하고, 대화를 하는 데 탁월하다. 그들은 심지어 튜링 테스트를 통과할 수 있어서, 누군가가 기계와 상호작용하는지 사람과 상호작용하는지 구별하기 어렵게 만든다. 인간과 마찬가지로, 대규모 언어 모델은 다른 인간이 작성한 텍스트를 읽거나 듣는 것으로 말하는 법을 배운다.
대규모 언어 모델에 대화 내용을 제공함으로써, 우리는 스크립트를 "읽을" 때 "신경 활성화" 즉 단어를 숫자로 변환하는 방식을 추출할 수 있었다. 그런 다음, 우리는 화자의 뇌 활동을 대규모 언어 모델의 활성화와 청자의 뇌 활동과 상관시켰다. 우리는 대규모 언어 모델의 활성화가 화자와 청자의 공유된 뇌 활동을 예측할 수 있다는 것을 발견했다.
사람들은 서로를 이해하기 위해 문법 규칙과 맥락에서 단어의 의미에 대한 공통된 합의를 가지고 있다. 예를 들어, 우리는 과거 행동에 대해 이야기할 때 동사의 과거 시제 형태를 사용하는 것을 알고 있다. 예를 들어, "그는 어제 박물관을 방문했다."라는 문장에서와 같다. 또한, 우리는 같은 단어가 상황에 따라 다른 의미를 가질 수 있다는 것을 직관적으로 이해한다. 예를 들어, " 당신은 얼음처럼 차갑다 "라는 문장에서 차갑다라는 단어는 맥락에 따라 체온이나 성격 특성을 가리킬 수 있다. 자연어의 복잡성과 풍부함으로 인해 최근 대규모 언어 모델이 성공하기 전까지는 자연어를 설명할 정확한 수학적 모델이 없었다.
우리 연구에 따르면 대규모 언어 모델은 언어 정보가 인간의 뇌에 어떻게 인코딩 되는지 예측할 수 있어 인간의 뇌 활동을 해석하는 새로운 도구를 제공한다. 인간의 뇌와 대규모 언어 모델의 언어 코드의 유사성 덕분에 처음으로 화자의 뇌에 있는 정보가 어떻게 단어로 인코딩되고 대면 대화 중에 단어 하나 하나씩 청자의 뇌로 전달되는지 추적할 수 있었다. 예를 들어, 단어의 의미와 관련된 뇌 활동은 단어를 말하기 전에 화자의 뇌에서 나타나고, 동일한 활동이 단어를 듣고 나서 청자의 뇌에서 빠르게 다시 나타난다는 것을 발견했다.
강력한 새로운 도구
우리 연구는 인간 뇌의 언어 처리를 위한 신경 코드와 인간과 기계가 이 코드를 사용하여 어떻게 소통할 수 있는지에 대한 통찰력을 제공했다. 우리는 대규모 언어 모델이 구문이나 단어가 연결되어 구와 문장을 형성하는 순서와 같은 언어의 다른 특징에 비해 공유된 뇌 활동을 더 잘 예측할 수 있다는 것을 발견했다. 이는 부분적으로 대규모 언어 모델이 단어의 맥락적 의미를 통합하고 언어 계층의 여러 수준을 하나의 모델로 통합할 수 있는 능력 때문이다. 단어에서 문장으로, 그리고 개념적 의미로 말이다. 이는 뇌와 인공 신경망 사이에 중요한 유사점이 있음을 시사한다.
우리 연구의 중요한 측면은 자연스러운 대화의 일상 녹음을 사용하여 우리의 결과가 실제 생활에서 뇌의 처리를 포착하도록 하는 것이다. 이를 생태적 타당성이라고 한다. 참가자에게 무엇을 말해야 할지 알려주는 실험과 달리 우리는 연구에 대한 통제권을 포기하고 참가자가 가능한 한 자연스럽게 대화하도록 한다. 이러한 통제력 상실로 인해 각 대화는 고유하고 자발적으로 말하는 두 명의 상호 작용이 포함되기 때문에 데이터를 분석하기 어렵다. 사람들이 일상 대화에 참여할 때의 신경 활동을 모델링할 수 있는 우리의 능력은 대규모 언어 모델의 힘을 입증한다.
다른 차원
일상 대화 중에 뇌가 공유하는 신경 코드를 평가하는 프레임워크를 개발했으므로, 이 결합을 주도하거나 억제하는 요인이 무엇인지에 관심이 있다. 예를 들어, 청취자가 화자의 의도를 더 잘 이해하면 언어적 결합이 증가할까? 아니면 전문 용어와 같은 복잡한 언어가 신경적 결합을 감소시킬 수 있을까?
언어적 결합에 영향을 줄 수 있는 또 다른 요인은 화자 간의 관계일 수 있다. 예를 들어, 좋은 친구에게는 몇 마디로 많은 정보를 전달할 수 있지만 낯선 사람에게는 그렇지 못할 수 있다. 또는 라이벌보다는 정치적 동맹과 더 잘 신경적으로 결합될 수 있다. 이는 그룹 간에 단어를 사용하는 방식의 차이로 인해 사회적 그룹 외부가 아닌 내부 사람들과 일치하고 결합되기가 더 쉬울 수 있기 때문이다.
이미지 출처: Mohamed Hassan / Pixabay