사운드 버블이 있는 히어러블 기기

상상해보라. 여러분은 사무실에서 소음 차단 헤드폰을 착용하고 주변 수다를 잠재우고 있다. 직장 동료가 여러분의 책상에 와서 질문을 하지만, 헤드폰을 벗고 "뭐라고요?"라고 말할 필요 없이, 여러분은 그 질문을 분명하게 들을 수 있다. 그러는 동안 방 건너편의 워터쿨러 수다거리는 소리는 음소거 상태로 유지된다.

또는 분주한 식당에 있고 여러분 테이블에 있는 모든 사람의 말을 듣지만 식당의 다른 스피커와 소음은 줄이는 것을 상상해보라.

헤드폰 프로토타입과 결합된 새로운 인공지능 알고리즘을 사용하면 착용자는 3~6피트의 프로그래밍 가능한 반경 내에서 사람들이 말하는 것을 들을 수 있다.

멀리 있는 소리가 거품 안의 소리보다 크더라도 거품 밖의 목소리와 소리는 평균 49데시벨(진공과 나뭇잎 바스락거리는 소리의 차이와 거의 같음)로 조용해진다.

이 개념 증명 장치의 코드는 다른 사람들이 개발할 수 있도록 제공된다. 연구자들은 이 기술을 상용화하기 위해 스타트업을 만들고 있다.

"사람은 소리를 통해 거리를 인식하는 데 능숙하지 않다. 특히 주변에 여러 음원이 있는 경우 더욱 그렇다." 워싱턴 대학교 폴 G. 앨런 컴퓨터 과학 및 공학 대학의 수석 저자 샤얌 골라코타가 말했다.

"주변에 있는 사람에게 집중하는 능력은 시끄러운 레스토랑과 같은 장소에서는 제한될 수 있으므로 지금까지는 히어러블에 사운드 버블을 만드는 것이 불가능하다. 우리 AI 시스템은 실제로 방의 각 음원에 대한 거리를 학습하고 이를 청각 장치 자체에서 8밀리초 이내에 실시간으로 처리할 수 있다."

연구자들은 시중에서 판매되는 소음 제거 헤드폰으로 프로토타입을 만들었다. 그들은 헤드밴드에 6개의 작은 마이크를 부착했다. 헤드폰에 부착된 작은 온보드 임베디드 컴퓨터에서 실행되는 팀의 신경망은 다른 소리가 각 마이크에 도달하는 시점을 추적한다. 그런 다음 시스템은 버블 외부에서 나오는 소리를 억제하고 버블 내부의 소리를 재생하고 약간 증폭한다(소음 제거 헤드폰은 물리적으로 일부 소리를 통과시키기 때문).

"우리는 이전에 마이크를 테이블에 펼친 스마트 스피커 시스템을 개발했다. 소리에 대한 거리 정보를 추출하기 위해 마이크 사이에 상당한 거리가 필요하다고 생각했기 때문이다."라고 골라코타가 말했다.

"하지만 우리는 가정에 의문을 품기 시작했다. 이 '사운드 버블'을 만들려면 큰 간격이 필요할까? 여기서 보여준 것은 그렇지 않다는 것이다. 헤드폰의 마이크만으로 실시간으로 사운드 버블을 만들 수 있었다. 매우 놀라운 일이었다."

연구자들은 다양한 환경에서 사운드 버블을 만들도록 시스템을 훈련하기 위해 실제 세계에서 수집한 거리 기반 사운드 데이터 세트가 필요했지만, 이는 사용할 수 없었다. 이러한 데이터 세트를 수집하기 위해 그들은 마네킹 머리에 헤드폰을 얹었다. 로봇 플랫폼이 머리를 돌리는 동안 움직이는 스피커가 다양한 거리에서 나는 소리를 재생했다. 이 팀은 사무실과 생활 공간을 포함한 22개의 다른 실내 환경에서 마네킹 시스템과 인간 사용자를 통해 데이터를 수집했다.

연구자들은 이 시스템이 몇 가지 이유에서 작동한다는 것을 확인했다. 첫째, 착용자의 머리는 소리를 반사하여 신경망이 다양한 거리에서 나는 소리를 구별하는 데 도움이 된다. 둘째, 소리(예: 인간의 말)에는 여러 주파수가 있으며, 각 주파수는 출처에서 이동할 때 다른 위상을 거친다.

연구자들은 팀의 AI 알고리즘이 이러한 각 주파수의 위상을 비교하여 모든 음원(예: 말하는 사람)의 거리를 파악한다고 믿는다.

Apple의 AirPods Pro 2와 같은 헤드폰은 착용자 앞에 있는 사람의 목소리를 증폭하면서 일부 배경 소음을 줄일 수 있다. 하지만 이러한 기능은 거리를 측정하는 것이 아니라 머리 위치를 추적하고 특정 방향에서 오는 소리를 증폭하여 작동한다. 즉, 헤드폰은 여러 스피커를 동시에 증폭할 수 없고, 착용자가 대상 스피커에서 머리를 돌리면 기능을 상실하며, 스피커 방향에서 나는 큰 소리를 줄이는 데 효과적이지 않다.

이 시스템은 실내에서만 작동하도록 훈련되었다. 깨끗한 트레이닝 오디오를 얻는 것이 실외에서 더 어렵기 때문이다. 다음으로, 팀은 보청기와 소음 제거 이어버드에서 이 기술을 작동시키기 위해 노력하고 있으며, 이를 위해서는 마이크를 배치하기 위한 새로운 전략이 필요하다.

이 연구는 Nature Electronics에 게재되었다. 추가 공동 저자는 워싱턴 대학교, 마이크로소프트, AssemblyAI이다.

출처: 워싱턴 대학교