광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[뇌 스캔만 사용하여 아이디어를 텍스트로 변환한다.] 뇌 스캔과 막대한 양의 머신러닝을 사용하여 뇌 활성화 패턴만을 기반으로 사람이 듣는 내용의 요지를 캡처하는 언어 디코더를 개발했다. 이 디코더는 상상의 음성을 번역하고 신경 활동을 사용하여 무성 영화에 대한 설명 자막을 생성할 수도 있다.

https://singularityhub.com/2023/05/02/this-brain-activity-decoder-translates-ideas-into-text-using-only-scans/

운영자 | 기사입력 2023/05/04 [00:00]

[뇌 스캔만 사용하여 아이디어를 텍스트로 변환한다.] 뇌 스캔과 막대한 양의 머신러닝을 사용하여 뇌 활성화 패턴만을 기반으로 사람이 듣는 내용의 요지를 캡처하는 언어 디코더를 개발했다. 이 디코더는 상상의 음성을 번역하고 신경 활동을 사용하여 무성 영화에 대한 설명 자막을 생성할 수도 있다.

https://singularityhub.com/2023/05/02/this-brain-activity-decoder-translates-ideas-into-text-using-only-scans/

운영자 | 입력 : 2023/05/04 [00:00]

언어와 말은 우리가 내면의 생각을 표현하는 방법이다그러나 신경과학자들은 적어도 연구실에서는 들을 수 있는 음성의 필요성을 그냥 지나쳤다대신 그들은 언어와 아이디어를 생성하는 생물학적 기계인 뇌를 직접 활용했다.

 

뇌 스캔과 막대한 양의 머신러닝을 사용하여 오스틴에 있는 텍사스 대학의 한 팀은 뇌 활성화 패턴만을 기반으로 사람이 듣는 내용의 요지를 캡처하는 "언어 디코더"를 개발했다원 트릭 조랑말과는 거리가 먼 디코더는 상상의 음성을 번역하고 신경 활동을 사용하여 무성 영화에 대한 설명 자막을 생성할 수도 있다.

 

놀라운 점은 다음과 같다이 방법은 수술이 필요하지 않다뉴런에서 직접 전기 버스트를 듣는 이식된 전극에 의존하는 대신 신경 기술은 완전한 비침습적 절차인 기능적 자기 공명 영상(fMRI)을 사용하여 언어에 해당하는 뇌 지도를 생성한다.

 

분명히 말하면이 기술은 마음을 읽는 것이 아니다각각의 경우에 디코더는 문장이나 단락의 일반적인 아이디어를 캡처하는 의역을 생성한다모든 단일 단어를 재생산하지는 않는다그러나 그것은 또한 디코더의 힘이기도 하다.

“우리는 디코더가 언어보다 더 깊은 무언가를 나타낸다고 생각한다. "우리는 전반적인 아이디어를 복구할 수 있고...정확한 단어가 손실되더라도 아이디어가 어떻게 발전하는지 확인할 수 있다."

 

이번 주 Nature Neuroscience에 발표된 이 연구는 악명 높은 어려운 문제인 언어 해독을 위한 비침습적 뇌-기계 인터페이스에 대한 강력한 첫 번째 시도를 나타낸다더 발전하면 이 기술은 말을 할 수 없는 사람들이 외부 세계와 소통할 수 있는 능력을 되찾도록 도울 수 있다.

이 작업은 또한 언어가 뇌에서 어떻게 인코딩 되는지 학습하고 AI 과학자가 음성과 언어를 처리하는 머신러닝 모델의 "블랙 박스"를 파헤칠 수 있는 새로운 길을 열어준다.

Huth “오랜 시간이 걸렸다… 우리는 이것이 잘 작동한다는 사실에 다소 충격을 받았다.”라고 말했다.

 

디코딩 언어

두뇌 활동을 언어로 번역하는 것은 새로운 것이 아니다이전 연구에서는 마비 환자의 뇌에 전극을 직접 삽입했다뉴런의 전기적 채터링을 들음으로써 팀은 환자의 완전한 단어를 재구성할 수 있었다.

Huth는 대담하지만 대안적인 경로를 선택하기로 결정했다그는 신경외과에 의존하는 대신 비침습적 접근 방식인 fMRI를 선택했다.

"일반적으로 fMRI로 이런 종류의 일을 할 수 있다는 신경과학자들의 기대는 매우 낮다."라고 Huth는 말했다.

 

많은 이유가 있다신경 활동을 직접 활용하는 임플란트와 달리 fMRI는 혈액의 산소 수치가 어떻게 변화하는지 측정한다이를 BOLD 신호라고 한다더 활동적인 뇌 영역은 더 많은 산소를 필요로 하기 때문에 BOLD 반응은 신경 활동에 대한 신뢰할 수 있는 프록시 역할을 한다그러나 문제가 있다신호는 전기 버스트 측정에 비해 느리고 신호에 잡음이 있을 수 있다.

그러나 fMRI는 뇌 임플란트에 비해 엄청난 이점이 있다전체 뇌를 고해상도로 모니터링할 수 있다한 지역의 덩어리에서 데이터를 수집하는 것과 비교하여 언어를 포함한 더 높은 수준의 인지 기능에 대한 조감도를 제공한다.

 

해독 언어를 사용하여 대부분의 이전 연구는 입과 후두가 말을 생성하기 위해 움직이는 방식을 제어하는 영역인 운동 피질 또는 발음을 위한 언어 처리에서 더 많은 "표면 수준"을 활용했다. Huth의 팀은 생각과 아이디어의 영역으로 추상화하기로 결정했다.

 

미지의 세계로

팀은 처음부터 두 가지가 필요하다는 것을 깨달았다하나는 디코더 훈련을 위한 고품질 뇌 스캔 데이터 세트이다둘째데이터를 처리하는 머신러닝 프레임워크이다.

뇌 지도 데이터베이스를 생성하기 위해 7명의 지원자는 MRI 기계 내부에서 신경 활동을 측정하면서 팟캐스트 이야기를 들으면서 반복적으로 뇌를 스캔했다거대하고 시끄러운 자석 안에 눕는 것은 누구에게도 재미가 없으며 팀은 주의가 해독에 영향을 미치기 때문에 지원자들이 관심을 갖고 주의를 기울이도록 주의를 기울였다.

 

각 사람에 대해 이어지는 방대한 데이터 세트가 머신 러닝으로 구동되는 프레임워크에 입력되었다최근 자연어 처리를 돕는 기계 학습 모델이 폭발적으로 증가한 덕분에 팀은 이러한 리소스를 활용하고 디코더를 쉽게 구축할 수 있었다.

 

여러 구성 요소가 있다첫 번째는 매우 인기 있는 ChatGPT의 전신인 원본 GPT를 사용하는 인코딩 모델이다모델은 각 단어를 사용하여 뇌가 어떻게 반응할지 예측한다여기에서 팀은 Reddit 댓글 및 팟캐스트에서 총 2억 개 이상의 단어를 사용하여 GPT를 미세 조정했다.

이 두 번째 부분은 베이지안 디코딩이라는 머신러닝에서 널리 사용되는 기술을 사용한다알고리즘은 이전 시퀀스를 기반으로 다음 단어를 추측하고 추측한 단어를 사용하여 뇌의 실제 반응을 확인한다.

 

예를 들어한 팟캐스트 에피소드에는 "아빠는 필요 없어..."라는 스토리가 있었다프롬프트로 디코더에 입력하면 "많이", "맞다", "이후등의 잠재적인 응답이 나타난다각 단어의 예측된 뇌 활동을 실제 단어에서 생성된 것과 비교함으로써 디코더가 각 사람의 뇌 활동 패턴을 연마하고 실수를 수정하는 데 도움이 되었다.

가장 잘 예측된 단어로 프로세스를 반복한 후 프로그램의 디코딩 측면은 결국 각 사람이 언어를 처리하는 방법에 대한 고유한 "신경 지문"을 학습했다.

 

신경 번역기

개념 증명으로 팀은 디코딩된 응답을 실제 스토리 텍스트와 비교했다.

그것은 놀라울 정도로 가까웠지만 일반적인 요지에만 해당되었다예를 들어, "우리 둘 다 북쪽에서 온 우리의 삶에 대한 이야기를 교환하기 시작한다."라는 한 줄거리는 "우리는 그가 태어난 지역에서 우리의 경험에 대해 이야기하기 시작했다나는 북쪽에서 왔다."

이 의역이 예상된다고 Huth는 설명했다. fMRI는 다소 시끄럽고 느리기 때문에 각 단어를 캡처하고 해독하는 것이 거의 불가능하다디코더는 뒤죽박죽된 단어를 입력받고 구문 전환과 같은 기능을 사용하여 의미를 풀어야 한다.

반대로 아이디어는 더 영구적이고 상대적으로 느리게 변한다. fMRI는 신경 활동을 측정할 때 지연이 있기 때문에 특정 단어보다 추상적인 개념과 생각을 더 잘 포착한다.

이 높은 수준의 접근 방식에는 이점이 있다충실도가 부족하지만 디코더는 음성에만 국한되지 않는 작업을 포함하여 이전 시도보다 더 높은 수준의 언어 표현을 캡처한다한 테스트에서 지원자들은 소리 없이 용의 공격을 받는 소녀의 애니메이션 클립을 시청했다해독기는 뇌 활동만을 사용하여 주인공의 관점에서 장면을 텍스트 기반의 이야기로 묘사했다디코더는 뇌 활동에 인코딩된 언어 표현을 기반으로 시각적 정보를 내러티브로 직접 번역할 수 있었다.

 

유사하게디코더는 또한 지원자들로부터 1분 길이의 상상 이야기를 재구성했다.

이 기술에 대해 10년 이상 작업한 후 "마침내 작동했을 때 충격적이고 흥미로웠다."라고 Huth는 말했다.

 

디코더가 마음을 정확히 읽지는 못하지만 팀은 정신 사생활을 신중하게 평가했다일련의 테스트에서 그들은 디코더가 지원자의 적극적인 정신적 참여와 함께 작동한다는 것을 발견했다1저자 제리 탕(Jerry Tang)은 참가자들에게 7의 순서로 세거나다른 동물의 이름을 지정하거나자신의 이야기를 정신적으로 구성하도록 요청하면 디코더가 빠르게 저하되었다고 말했다다시 말해디코더는 "의식적으로 저항"될 수 있다.

 

현재 이 기술은 완전히 가만히 누워 있는 동안 시끄럽게 윙윙거리는 기계에서 몇 달 동안 주의 깊게 뇌를 스캔한 후에만 작동한다임상 용도로는 거의 불가능하다연구팀은 이 기술을 뇌의 혈중 산소 수준을 측정하는 fNIRS(기능적 근적외선 분광법)로 번역하는 작업을 하고 있다. fMRI보다 해상도는 낮지만 fNIRS는 주요 하드웨어가 후드티 안에 쉽게 들어갈 수 있는 수영모 같은 장치이기 때문에 휴대성이 훨씬 뛰어나다.

 

"조정을 통해 현재 설정을 fNIRS 도매로 변환할 수 있어야 한다."라고 Huth는 말했다.

팀은 또한 최신 언어 모델을 사용하여 디코더의 정확도를 높이고 잠재적으로 다른 언어를 연결할 계획이다언어는 뇌에서 신경 표현을 공유하기 때문에 디코더는 이론적으로 한 언어를 인코딩하고 신경 신호를 사용하여 다른 언어로 디코딩할 수 있다.

Huth "흥미로운 미래 방향"이라고 말했다.

이미지 제공: Jerry Tang/Martha Morales/The University of Texas at Austin

 
뇌 스캔, 디 코더, 신경 번역기, 머신러닝, 디코딩 언어 관련기사목록
PHOTO
1/6
광고
광고
광고
광고
광고
많이 본 기사
AGILab 뉴스 많이 본 기사
최신기사