인간의 뇌는 우리 몸에서 가장 신비한 기관으로 남아 있다. 기억과 의식에서 정신 질환과 신경 장애에 이르기까지 우리 마음의 복잡성을 이해하기 전에 수행해야 할 많은 연구와 연구가 남아 있다.

그러나 연구자들은 우리의 꿈의 내용을 대략적으로 파악하든, 우울증으로 인해 중단된 뇌 네트워크에 대한 실로시빈의 영향을 관찰하든, 또는 어떤 종류의 얼굴이 매력적일지 예측할 수 있다.

올해 초에 발표된 연구에서는 뇌 활동을 해독하는 유사한 위업을 설명했다. 영국 서섹스 대학의 연구원 Ian Daly는 뇌 스캔을 사용하여 사람들이 어떤 음악을 듣고 있는지 72%의 정확도로 예측했다. Daly는 네이처의 논문에서 두 가지 다른 형태의 "신경 디코더"를 사용한 그의 작업을 설명했다.

그의 연구 참가자들이 음악을 듣는 동안 Daly는 뇌에서 발화하는 뉴런의 전기 신호를 포착하기 위해 전극과 전선의 네트워크를 사용하는 뇌파 검사(EEG)와 기능적 자기 공명 영상(fMRI)을 모두 사용하여 뇌 활동을 기록했다. 신경 활동에 반응하여 발생하는 혈액 산소화 및 흐름의 변화를 보여준다.

EEG와 fMRI는 반대의 강점을 가지고 있다. 전자는 짧은 시간 동안 뇌 활동을 기록할 수 있지만 전극이 두피에 있기 때문에 뇌 표면에서만 가능하다. 후자는 뇌의 더 깊은 활동을 포착할 수 있지만 더 오랜 기간 동안만 가능하다. 둘 다 사용하면 Daly는 두 세계의 장점을 모두 누릴 수 있다.

그는 음악 실험과 무 음악 실험 동안 높은 활동을 보인 뇌 영역을 모니터링하여 좌우 청각 피질, 소뇌, 해마를 음악을 듣고 감정적 반응을 갖는 중요한 영역으로 지적했다. 각 지역의 활동 측면에서 다른 참가자들 사이에 많은 차이가 있음을 언급했다. 어떤 사람은 주어진 음악에 대해 감정적인 반응을 보이는 반면 다른 사람은 같은 곡이 지루하다고 느낄 수 있기 때문에 이것은 이치에 맞는다.

EEG와 fMRI를 모두 사용하여 Daly는 36개의 다른 노래를 듣는 동안 18명의 뇌 활동을 기록했다. 그는 뇌 활동 데이터를 양방향 장기 단기(biLSTM) 심층 신경망에 입력하여 EEG를 사용하여 참가자가 듣는 음악을 재구성할 수 있는 모델을 만들었다.

biLSTM은 자연어 처리 애플리케이션에 일반적으로 사용되는 순환 신경망 유형이다. 일반 장단기 기억 네트워크에 추가 계층을 추가하고 이 추가 계층은 정보 흐름을 역전시키고 입력 시퀀스가 역방향으로 흐르도록 한다. 따라서 네트워크의 입력은 앞뒤로 흐르며(따라서 "양방향" 부분) 양쪽의 정보를 활용할 수 있다. 따라서 단어와 구 사이, 또는 이 경우 음표와 시퀀스 사이의 종속성을 모델링하는 데 유용한 도구이다.

Daly는 뇌 활동 데이터를 양방향 장기 단기(biLSTM) 네트워크의 데이터를 사용하여 사람들의 EEG 활동을 기반으로 노래를 대략적으로 재구성했으며 72%의 정확도로 그들이 어떤 음악을 듣고 있었는지 알아낼 수 있었다.

그런 다음 EEG를 사용하여 20명의 새로운 참가자로부터 데이터를 기록했으며, 그의 초기 데이터 세트는 이러한 신호의 소스에 대한 통찰력을 제공했다. 그 데이터에 따르면 노래를 정확히 찾아내는 그의 정확도는 59퍼센트로 떨어졌다.

그러나 Daly는 그의 방법이 뇌졸중을 앓았거나 ALS와 같은 마비를 유발할 수 있는 다른 신경학적 상태로 고통받는 사람들을 돕기 위해 뇌-컴퓨터 인터페이스(BCI)를 개발하는 데 사용될 수 있다고 믿는다. 두뇌 활동을 말로 번역할 수 있는 BCI는 이 사람들이 사랑하는 사람 및 간병인과 다른 방법으로는 불가능할 수도 있는 의사소통을 할 수 있게 해줄 것이다. 솔루션은 이미 뇌 임플란트 형태로 존재하지만 Daly와 같은 기술이 유사한 결과를 달성할 수 있다면 환자에게 훨씬 덜 침습적일 것이다.

"음악은 감정적 의사소통의 한 형태이며 또한 인간의 말과 많은 시간적, 스펙트럼적, 문법적 유사성을 공유하는 복잡한 음향 신호이다."라고 Daly는 논문에 썼다. "따라서 뇌 활동에서 들리는 음악을 재구성할 수 있는 신경 디코딩 모델은 의사 소통을 돕기 위한 응용 프로그램이 있는 다른 형태의 신경 디코딩 모델을 향한 합리적인 단계를 형성할 수 있다."

이미지 출처: Unsplash의 Alina Grubnyak