지난달 나는 Big Think에 제너레이티브 AI를 2022년 가장 영향력 있는 기술로 칭찬한 글을 썼다.그 이후로 몇 주 동안 많은 사람들이 메타버스가 선택되지 않은 이유를 물었다. 확실히 올해 가장 과장된 기술이었기 때문이다. 내 대답은 2022년은 로켓선이 아니라 메타버스의 롤러코스터였다는 것이다. 대중은 사회를 변화시키는 기술을 약속 받았지만 많은 사람들이 본 것은 오싹한 아바타로 가득 찬 만화 같은 가상세계이거나 펌프 앤 덤프 NFT 방식을 통해 "가상 부동산"을 판매하는 과장된 신생 기업이었다.
아니다, 메타버스는 2022년에 가장 영향력 있는 기술이 아니었다. 다행히도 실제로 사회를 변화시키는 기술이 될 잠재력이 있다. 그러나 거기에 도달하기 위해 업계는 오늘날의 만화 같은 세계를 넘어서 NFT 임대인을 주조하는 것보다 더 현실적이고 예술적이며 창의성과 생산성에 훨씬 더 초점을 맞춘 경험을 추진해야 한다. 또한 업계는 메타버스로 인해 모든 사람이 물리적 환경을 대체할 가상세계에서 살게 될 것이라는 일반적인 오해를 극복해야 한다. 이것은 메타버스가 펼쳐지는 방식이 아니다.
그렇다, 완전히 시뮬레이션된 인기 있는 가상세계가 있을 것이다. 그러나 이것은 오늘날 우리가 영화를 보거나 비디오 게임을 하는 것과 유사하게 한 번에 몇 시간 동안 침몰하는 일시적인 "탈출"일 것이다. 그러나 아침부터 밤까지 우리의 삶에 영향을 미칠 진정한 메타버스는 우리를 물리적 환경으로부터 분리시키지 않을 것이다. 대신 메타버스는 몰입형 가상 콘텐츠가 물리적 세계와 매끄럽게 결합되어 디지털 콘텐츠의 힘과 유연성으로 우리의 삶을 확장하고 장식하는 혼합현실이 될 것이다.
꽤 오랫동안 이런 주장을 해왔지만 2023년은 혼합현실(MR)이 드디어 구체화되기 시작하는 해가 된다. 혼합현실의 마법을 주류 시장에 가져올 새로운 제품의 물결이 우리의 길을 향하고 있기 때문이다.
혼합현실이 시장에 등장하다
이 방향의 첫 번째 단계는 Meta Quest Pro의 최근 릴리스로, 실제 세계를 캡처하고 이를 공간적으로 등록된 가상 콘텐츠와 결합하는 컬러 패스스루 카메라를 사용한다. 인상적인 장치이지만 지금까지 혼합현실 기능을 보여주는 소프트웨어가 거의 없다. 즉, 소프트웨어가 출시되는 2023년에 이 하드웨어의 잠재력이 발휘될 것으로 기대할 수 있다.
또한 2023년에 HTC는 혼합현실 경험을 위한 Meta Quest Pro보다 훨씬 더 강력해 보이는 헤드셋을 출시할 예정이다. 1월 CES에서 공개될 예정인 이 카메라는 매우 높은 충실도의 컬러 패스스루 카메라를 갖추고 있어 손에 들고 있는 실제 전화를 보고 혼합현실에서 문자 메시지를 읽을 수 있다. 소비자가 HTC의 새 하드웨어를 선호하든 Meta를 선호하든 한 가지 분명한 사실은 혼합현실(MR)군비 경쟁이 진행 중이며 훨씬 더 혼잡해질 것이라는 점이다.
Apple이 2023년에 자체 혼합현실 헤드셋을 출시할 것으로 예상되기 때문이다. 올해 중반에 출시되는 프리미엄 장치라는 소문이 돌면서 세계에서 가장 강력한 혼합현실 제품이 될 가능성이 높다. 실제 세계에서 거리를 프로파일링하기 위해 LiDAR 센서와 함께 고품질 통과 카메라를 특징으로 할 것이라는 주장이 있다. LiDAR 소문이 퍼지면 Apple 장치가 가상 콘텐츠를 3D로 현실세계에 고정밀 등록할 수 있는 최초의 혼합현실 안경 제품이 될 수 있다. 정확한 등록은 특히 사용자가 실제 및 가상 개체와 수동으로 상호 작용할 수 있도록 할 때 불신을 중지하는 데 중요하다.
가상현실이 미래가 아닌 이유
우리 인간은 물리적 환경에서 단절되는 것을 좋아하지 않는다. 물론 가상현실(VR)에서 누군가에게 짧은 데모를 제공할 수 있으며 그들은 그것을 좋아할 것이다. 하지만 같은 사람이 완전히 몰입되는 VR에서 한 시간을 보내게 하면 불안해하기 시작할 수 있다. 2시간이 다가오고 저를 포함한 많은 사람들에게 그것은 너무 많은 것이다.
이 현상은 초기 비전 시스템에서 깊이 인식을 최적화하는 방법을 연구하는 스탠포드 및 NASA에서 VR 연구원으로 일하던 1991년에 처음 저를 놀라게 했다. 그 당시에는 이 기술이 조잡하고 저충실도 그래픽과 불편함을 느꼈고 지연이 너무 심해서 속이 울렁거릴 수 있었다. 이 때문에 많은 연구자들은 확장된 사용의 장벽이 투박한 디자인과 열악한 충실도라고 믿었다. 우리는 더 나은 하드웨어가 필요했고 사람들은 불안해하지 않을 것이다.
나는 동의하지 않았다. 확실히 더 나은 하드웨어가 도움이 되겠지만 적어도 개인적으로는 뭔가 다른 일이 벌어지고 있다고 확신했다. 즉, 내가 볼 수 있는 가상세계와 내 주변에서 감지할 수 있는 현실세계 사이의 내 뇌 속의 긴장이었다. 나를 불안하게 만들고 가상세계를 덜 현실적으로 보이게 만든 것은 상반되는 두 정신 모델 사이의 갈등이었다. 내가 정말로 원했던 것은 VR의 힘을 내 물리적 환경과 결합하여 내 시각적, 공간적, 물리적 감각이 모두 완벽하게 정렬된 하나의 몰입형 경험을 만드는 것이었다.
나는 이러한 감각에 초점을 맞춘 접근 방식을 "지각을 위한 설계"라고 불렀고 의심했다.
사용자가 실제와 가상이 동일한 개념적 현실에 거주하는 것처럼 손을 뻗어 상호 작용할 수 있다면 VR로 인한 정신적 긴장과 불안이 사라질 것이다.
운이 좋게도 저는 미 공군을 홍보할 기회를 얻었고 Wright Patterson 공군 기지에서 프로토타입 혼합현실 시스템을 구축할 자금을 받았다. 그것은 Virtual Fixtures 플랫폼이라고 불렸으며 시각과 청각뿐만 아니라 촉각과 느낌(3D 햅틱)을 지원하여 실제 세계에 가상 개체를 추가하여 매우 실감나게 느꼈다. 사용자가 더 빠른 속도와 손재주로 수동 작업을 수행하도록 도울 수 있다. 희망은 언젠가 이 신기술이 섬세한 수술 중에 외과의사를 돕는 것부터 원격 로봇 제어를 통해 기술자가 궤도에 있는 인공위성을 수리하는 것을 돕는 데 이르기까지 광범위하고 유용한 활동을 지원할 수 있다는 것이었다.
통합된 정신 모델
물론 초기 공군 시스템은 수술이나 인공위성 수리를 지원하지 않았다. 실제 작업에 가상 개체를 추가하고 인간의 성능을 향상시킬 수 있는지 여부를 테스트하기 위해 개발되었다. 이를 측정하기 위해 큰 페그보드의 구멍 사이에서 금속 페그를 움직이는 간단한 작업을 사용했다. 그런 다음 사용자가 작업을 수행하는 데 도움이 될 수 있는 다양한 가상 설비를 만드는 소프트웨어를 작성했다. 초기 패스스루 카메라가 활동을 정렬하는 동안 고정물은 가상 표면과 원뿔에서 못을 따라 움직일 수 있는 가상 트랙에 이르기까지 다양했다. 그리고 그것은 작동하여 사용자가 훨씬 더 빠르고 정확하게 수행할 수 있게 했다. 그러나 더 중요한 것은 인간 피험자 중 누구도 불안에 대해 불평하지 않았다는 것이다. 이것은 제가 NASA에서 실행한 VR 실험과는 매우 달랐다.
나는 그것이 나에게 미친 영향 때문에 이 배경을 제공한다. 진짜 구멍을 향해 진짜 말뚝을 움직이고 가상 표면이 자동으로 켜졌을 때를 아직도 기억한다. 시뮬레이션을 하긴 했지만 진짜처럼 느껴졌고 윤곽선을 따라 미끄러질 수 있었다. 그 순간, 현실세계와 가상세계는 하나의 현실, 물리적인 것과 디지털적인 것이 결합되어 시각, 청각, 고유 감각, 촉각 등 나의 모든 공간 감각을 만족시키는 하나의 지각 경험으로 통합된 혼합현실이 되었다. 물론 두 세계 모두 3D로 정확하게 정렬되어야 했지만, 일단 그것이 달성되면 어떤 요소가 물리적으로 실제이고 어떤 요소가 시뮬레이션되었는지에 대해 생각하는 것을 즉시 중단했다. 대신, 그것은 모두 하나의 세계, 하나의 정신 모델이었다.
미래는 혼합현실이다
혼합현실은 이제 막 시작되었다. 이 기술은 도약할 준비가 되어 있으며 Meta, HTC 및 잠재적으로 Apple의 인상적인 새 헤드셋만이 아니다. 이 비전을 추진할 것이지만 Magic Leap, Snap, Microsoft, Google, Lenovo, Unreal, Unity 및 기타 여러 주요 업체의 하드웨어 및 소프트웨어 도구이다. 동시에 더 많은 개발자가 혼합현실에서 창의성과 예술성의 한계를 뛰어넘게 된다. 이미 그들은 새로운 유형의 보드 게임(Tilt Five)과 강력한 의료 응용 프로그램(MediView XR)에서 놀라운 엔터테인먼트 경험(Niantic Labs)에 이르기까지 실제와 가상을 결합할 때 가능한 것을 잠금 해제하고 있다.
그렇기 때문에 진정한 메타버스인 메타버스는 현실과 가상의 융합이 될 것이며, 사용자가 어떤 요소가 물리적이고 어떤 요소가 디지털인지에 대해 더 이상 생각하지 않을 정도로 교묘하게 결합될 것이라고 확신한다. 대신 사용자는 단순히 일상 생활을 하며 몰입형 미디어의 힘으로 향상되고 장식된 단일 현실에 참여하게 된다. 이 기술은 오랜 시간 동안 만들어졌지만 2023년은 진정한 잠재력이 마침내 구체화되기 시작하는 해가 된다.
글쓴이: Louis Rosenberg
Louis B. Rosenberg 박사는 생물학적 무리를 모델로 한 AI 알고리즘을 사용하여 인간 지능을 증폭하는 데 중점을 둔 캘리포니아 회사인 Unanimous AI의 컴퓨터 과학자이자 현 CEO이다. Rosenberg는 AFRL(Air Force Research Laboratory)에서 최초의 기능적 증강현실 시스템을 개발하고 초기 가상 현실 회사인 Immersion Corporation(NASDAQ: IMMR)을 설립했으며 초기 증강현실 회사인 Outland Research를 설립한 것으로 유명하다. 다작의 발명가인 Rosenberg는 VR, AR 및 AI에 대한 작업으로 전 세계적으로 300개가 넘는 특허를 받았다. Rosenberg는 스탠포드 대학교에서 박사 학위를 취득했으며 캘리포니아 주립대학교에서 종신 교수로 재직했다.
