새로운 VR/AR 인터페이스는 AI를 사용하여 피부를 터치 감지 컨트롤러로 전환한다.

카네기 멜론 대학교의 에고 터치(EgoTouch)는 가상 및 증강현실을 위한 간단한 인터페이스를 만든다.

새로운 세대의 증강 및 가상현실 컨트롤러는 손바닥에 딱 맞는 것이 아닐 수도 있다. 손바닥이 될 수도 있다.

카네기 멜론 대학교의 인간-컴퓨터 상호작용 연구소 연구자들이 최근 발표한 논문에서 손가락으로 피부를 만져서 AR/VR 인터페이스를 제어하는 ​​AI 도구인 에고 터치(EgoTouch)를 소개한다.

이 팀은 궁극적으로 표준 AR/VR 헤드셋에 포함된 센서만을 사용하여 촉각적 피드백을 제공하는 컨트롤을 설계하고자 했다. HCII의 준교수이자 Future Interfaces Group의 책임자인 크리스 해리슨이 개발한 이전 방법인 OmniTouch는 근접했다.

하지만 이 방법은 특수하고 엉성한 깊이 감지 카메라가 필요했다. 해리슨의 지도를 받은 박사 과정생인 비말 몰린은 머신러닝 알고리즘을 사용하여 일반 카메라가 터치를 인식하도록 훈련시키는 아이디어를 냈다.

"손가락을 가져다가 피부를 만졌을 때 어떤 일이 일어나는지 살펴보라. 피부를 만질 때만 나타나는 그림자와 국소적 피부 변형이 있다는 것을 알게 될 잇다."라고 몰린이 말했다. "이런 것을 볼 수 있다면 머신러닝 모델을 훈련시켜서 같은 일을 할 수 있고, 그게 바로 우리가 한 일이다."

몰린은 검지 손가락 아랫부분과 손바닥을 따라 움직이는 맞춤형 터치 센서를 사용하여 에고터치(EgoTouch)의 데이터를 수집했다. 이 센서는 카메라에 보이지 않으면서도 다양한 힘으로 다양한 유형의 터치에 대한 데이터를 수집했다. 그런 다음 이 모델은 인간의 주석 없이도 그림자와 피부 변형의 시각적 특징을 터치와 힘과 연관시키는 법을 배웠다. 이 팀은 훈련 데이터 수집 범위를 확대하여 피부 톤과 머리카락 밀도가 다른 15명의 사용자를 포함시키고 다양한 상황, 활동 및 조명 조건에서 수 시간 분량의 데이터를 수집했다.

에고 터치(EgoTouch)는 96% 이상의 정확도로 터치를 감지할 수 있으며, 약 5%의 거짓 양성률을 보인다. 누르기, 들어올리기, 끌기를 인식한다. 이 모델은 터치가 가볍거나 강한지 98%의 정확도로 분류할 수도 있다.

"이는 피부에 마우스 오른쪽 버튼 클릭 기능을 구현하는 데 매우 유용할 수 있다."라고 몰린은 말했다.

터치의 변화를 감지하면 개발자가 피부에서 터치스크린 제스처를 모방할 수 있다. 예를 들어, 스마트폰은 페이지를 위아래로 스크롤하거나, 확대하거나, 오른쪽으로 스와이프하거나, 아이콘을 누르고 있을 때를 인식할 수 있다. 이를 피부 기반 인터페이스로 변환하려면 카메라가 터치 유형과 터치 강도의 미묘한 차이를 인식해야 한다.

정확도는 다양한 피부 톤과 모발 밀도, 그리고 팔 앞부분, 팔 뒤부분, 손바닥, 손등과 같이 손과 팔뚝의 다른 부분에서 거의 동일했다. 이 시스템은 관절과 같은 뼈가 많은 부분에서는 성능이 좋지 않았다.

"아마도 그 부위에 피부 변형이 그렇게 많지 않았기 때문일 것이다."라고 몰린이 말했다. "사용자 인터페이스 디자이너로서 할 수 있는 일은 그 부위에 요소를 배치하지 않는 것이다."

몰린은 야간 투시 카메라와 야간 조명을 사용하여 EgoTouch 시스템이 어둠 속에서 작동할 수 있도록 하는 방법을 모색하고 있다. 그는 또한 연구자들과 협력하여 이 터치 감지 방법을 피부 이외의 표면으로 확장하고 있다.

"처음으로, 모든 헤드셋에 이미 있는 카메라만 사용하는 시스템을 만들었다. 우리 모델은 보정이 필요 없고 바로 사용할 수 있다."라고 몰린이 말했다. "이제 피부 인터페이스에 대한 이전 작업을 기반으로 실제로 구현할 수 있다."