초실감을 통한 메타버스의 미래 :
메타버스의 현재와 한계, 극복방안까지

메타버스 플랫폼 시대가 도래했다. 모두가 앞다투어 새로운 흐름에 올라타고 있지만 아직 이 신세계가 완벽히 실현되기까지 넘어야 할 산이 많다. 직면한 한계점 속에 메타버스는 어떻게 발전할 것인가? 메타버스의 개념을 시작으로 관련 기술의 현재와 미래, 그리고 그 가능성을 가늠해본다.

우탁 경희대학교 디지털콘텐츠학과 교수
현 경희대학교 실감미디어 혁신공유대학 사업단 부단장
전 게임물관리위원회 등급위원/이사
전 차세대 융합기술연구원 게임융합미디어연구센터 센터장
전 KAIST 문화기술대학원 초빙교수

---

메타버스, 맹목적 기대보다 방향 제시가 필요한 시점

코로나19로 인한 비대면 시대의 시작으로 메타버스에 대한 기대와 관심이 높아졌다. 회의, 교육, 의료, 건강관리, 공연 등 산업 전반에 걸쳐 메타버스의 활용방안이 모색되고, 다양한 플랫폼과 콘텐츠, 그리고 여러 시도에 관한 기사가 쏟아져 나왔다. 하지만 이러한 ‘메타버스 광풍’ 이면에는 비판의 목소리 역시 거세다. 특히나 많은 지자체에서 앞다투어 개발한 가상도시들은 잠깐의 관심 이후 지속적 활용이 이뤄지지 않아 방치되거나 폐쇄되는 경우도 더러 발생하고 있다.

이에 현재는 메타버스에 대한 맹목적인 기대보다 올바른 활용과 건설적인 향후 방향성에 대한 진단·제시가 필요한 상황이다. 특히 현실 공간을 가상세계에 3D로 구현하는 분야 또는 아바타 꾸미기 등 극히 일부분의 요소만 강조돼 관심과 개발이 편중되면서, 콘텐츠의 지속적인 활용에 있어 많은 문제가 발생하기 시작했다. 또한 수많은 정의와 해석이 난립하며 오해가 커짐에 따라, 메타버스에 대한 정확한 정의 및 앞으로의 발전 방향에 대한 명확한 제시가 요구되는 시점이다.

1992년 스노 크래시부터 현재, 2023년의 메타버스까지

메타버스라는 이름이 처음 등장한 것은 닐 스티븐슨(Neal Stephenson)의 1992년 소설 『스노 크래시(Snow Crash)』에서였다. 이후 여러 공상과학 영화나 애니메이션 등에서 등장했던, 매우 기술적으로 보이거나, 혹은 완전한 공상으로 보이기도 하고, 때로는 철학적이기도 한 여러 가지 아이디어는 각기 불리는 명칭은 다르지만 모두 결국 우리가 앞으로 추구해야 할 가상세계에 대한 방향성을 제시해 왔다. 즉 스노 크래시 이후 30년이 지난 지금, 메타버스는 우리가 다양하게 상상해오고 그 상상을 현실화하기 위해 노력했던 ‘현실 같은 가상세계’를 대표하는 명칭으로 사용되고 있다.

메타버스로 통용되기 시작한 ‘현실 같은 가상세계’는 공상과학 영화나 소설에서 볼 수 있듯이 사용자가 현실로 착각할 정도의 실재감을 가지고 있는 ‘가상세계’, 현실과 같은 현존감을 느낄 수 있게 해주는 가상의 자아인 ‘아바타’, 사용자의 실제적인 ‘상호작용’ 등으로 구현된다.

이러한 메타버스를 2006년 미국의 비영리 기술연구단체인 ASF(Acceleration Studies Foundation)에서는 크게 Augmented Reality(AR·증강현실), Mirror Worlds(거울세계, 미러 월드로 부르기도 한다), Life logging(라이프로깅), Virtual Worlds(가상세계)의 4가지로 구분했다.

먼저 Augmented Reality(AR)는 증강현실로, 현실에 가상의 물체를 증강시키는 형태의 가상현실을 의미한다. TV 스포츠 중계에서도 쉽게 볼 수 있는데, 축구 경기에서 프리킥 위치와 골대 사이의 거리를 표시하여 보여주는 그래픽 이미지나, 수영이나 육상 경기에서 선수별 트랙에 국기와 선수의 이름을 보여주는 것도 모두 증강현실에 포함된다. 한편 AR은 ASF의 메타버스 분류상 대각선 반대쪽에 있는 가상세계(Virtual Worlds)와 비교했을 때, 보이는 형태가 외부적(external)이고 현실과 결합 혹은 증강되는(augmentation) 형태를 의미한다. ‘포켓몬 GO’(2017)를 예로 들어보자. 흔히 일반적인 디지털 게임을 개인적 공간에서 즐기는 것과 달리 포켓몬 GO는 야외에서 스마트폰 카메라를 통해 실제 환경을 비추고, 여기에 증강된 가상의 포켓몬을 잡는 방식으로 진행된다.

이러한 AR과 정반대로, Virtual Worlds(가상세계)는 우리가 흔히 가상현실(VR)이라 부르는 것이다. 메타버스 분류에서 VR은 AR과 더불어 메타버스가 ‘보이는 형태’를 구분 짓는다. 가상세계의 경우 가장 일반적으로는 모니터의 형태로 보일 수도 있고, 머리에 착용하는 디스플레이인 HMD의 형태로 보일 수도 있다. 모니터나 HMD의 형태로 보인다는 것은 매우 개인적인 환경(intimate)에서 가상세계로 접속하는 것을 의미하며, 현실에 증강되는 AR과는 달리 100퍼센트 컴퓨터에 의해 가상으로 구현되는 것(simulation)을 뜻한다.

한편 1945년 바네바 부시(Vannevar Bush, 1890~1974)를 통해 처음 언급된 Lifelogging(라이프로깅)의 사전적 의미는 life와 일기를 뜻하는 log의 조합으로, 개인의 인생을 기록하는 형태를 의미한다. 이전의 라이프로깅은 사진을 찍어서 간단한 설명글과 함께 개인의 일상을 공유하는 SNS의 형태로 발전했다. 그러다 스마트 디바이스의 발달 이후 자동 저장되는 데이터의 종류가 사진을 넘어 위치정보, 운동정보, 심박수 등의 생체정보 등으로 확장됐다. 이처럼 변화한 라이프로깅은 향후 메타버스의 발전과 함께 더욱 다양하게 활용될 것으로 기대되고 있다.

마지막으로 Mirror Worlds(거울세계)는 우리의 현실세계를 ‘거울에 비춘 것처럼’ 가상세계에 그대로 옮긴 것을 의미한다. 현실의 공간이나 사람을 가상세계에 쌍둥이처럼 구현했다는 의미의 ‘디지털 트윈(Digital twin)’과 비슷한 맥락으로 이해하면 된다. ASF의 메타버스 분류에서 거울세계와 라이프로깅을 반대로 배치한 것을 보면, 2006년 당시에는 현실을 그대로 가상으로 옮긴 ‘거울세계’와 SNS처럼 현실에서 디지털 기술을 통해 소통하는 ‘라이프로깅’을 각기 다른 형태로 분리한 것으로 보인다. 즉 완전한 가상세계에서의 상호작용과, 현실에서의 SNS를 통한 상호작용(소통)을 구분했다.

하지만 앞서 언급했듯 개개인의 기록에 의지하던 SNS 기반 초기의 라이프로깅과 달리 스마트폰, 스마트워치 등 웨어러블 디바이스의 대중화와 센서의 발전으로 인해 현재 라이프로깅은 개인의 자발적인 기록을 넘어섰다. 위치, 사진, 걸음 수, 심박수, 취향(접속 빈도수) 등 자동으로 기록되는 다양하고 엄청난 양의 정보로 일기나 SNS 같은 단순 기록이 아닌 완전히 새로운 개인 맞춤형 서비스 또는 콘텐츠를 의미하게 됐다. 2006년과 달리 현재의 메타버스에서 라이프로깅은 거울세계를 더욱더 풍족하게 만드는 기초 자료로써 활용되고 있으므로, 따로 분리하기보다는 동일하게 중요한 메타버스의 구성 요소로 보는 것이 맞다. 즉 라이프로깅으로 얻은 위치정보들을 통해, 내가 현실에서 생활하는 공간들이 ‘거울세계’ 안에서 컴퓨터 그래픽으로 구현되고, 내 건강정보 등의 데이터가 거울세계 안의 또 다른 자아인 아바타에 반영될 수 있는 것이다(개인의 신체 데이터가 반영되어, 아바타의 외형이 바뀔 수도 있다).

‘현실’을 담고 ‘현실’로 여겨지다 - 메타버스의 특징

한편 기존의 상용 메타버스 플랫폼들이 내포하거나 지향하는 메타버스의 특성은 다음과 같다.

1) 메타버스 내에서 아바타 경험의 연계·성장 : 이는 유저 아바타를 통한 ‘경험의 연계’를 의미한다. 기존의 게임과 같이 콘텐츠에 따라 새로운 캐릭터가 생성되는 것이 아니라, 메타버스 세계의 유저를 대변하는 하나의 아바타로 다양한 콘텐츠 및 게임을 통해 소통하며, 콘텐츠를 소모하고, 쇼핑 등의 경제활동을 하는 것이다. 즉, 콘텐츠의 종류에 따라 유저의 역할이 잠시 바뀔 뿐, 메타버스 내 유저 아바타의 본질은 바뀌지 않으며 아바타의 경험과 성장은 연계된다.

2) 현실감, 실재감, 그리고 현존감 : 가상현실 기술의 발달에 따른 시청각적인 현실감도 중요하지만, 메타버스는 지금까지의 게임에서 경험한 현실적인 그래픽과 입체음향 등을 통한 ‘즉각적인 몰입(immersion)’을 넘어서, 현실을 그대로 옮겨놓은 듯한 디지털 트윈 기반의 가상세계(거울세계)에서 다른 유저와의 상호작용을 통해 실재감을 느끼게 해야 한다. 사실 이 부분은 현재 메타버스 플랫폼의 가장 취약한 부분이며, 앞으로 반드시 개발되고 적용되어야 하는 부분이다. 이를 위해 궁극적으로는 현실 속 몸의 움직임과 표정이 가상세계에 구현되고, 가상세계에서의 물리적인 상호작용이 다양한 디지털 피드백의 형태로 유저에게 안전하게 전달되어 현존감을 제공해야 한다. 다시 말해 현실에서의 소통처럼, 유저의 감정이나 상황이 가상세계에서도 아바타를 통해 자연스럽게 표현되어야 하는 것이다. 이러한 소통 방식은 기존의 게임에서 쓰던 제스처나 이모티콘보다 더 현실적으로 유저 자신의 상황을 표현할 수 있다. 사용자들의 자연스러운 감정 표현을 통한 소통은 실재감을 매우 높여준다. 버튼을 누르는 기호적 행동이나 비직관적 상호작용을 이용한 가상체험이 아닌, 유저가 의식하지 못하는 자연스러운 움직임이나 표정의 변화를 그대로 표현하는 ‘직관적 상호작용’은 내가 마치 ‘실제로 가상세계에 있는 듯한’ 현존감을 높여준다.

3) 현실과의 연결 : 기존의 게임들이 게임만을 위한 자아인 아바타를 이용하고, 이러한 아바타들은 익명성으로 인해 현실의 자아와 연결성이 없거나 부족했다면, 메타버스 내에서는 현실과 가상세계의 자아가 연결되어야 한다. 이는 라이프로깅을 통한 데이터의 연결뿐만 아니라, 현실에서 유저의 소셜 서클과도 연결됨을 의미한다. 게임과 달리 메타버스는 현실에서의 공간적·시간적 한계를 극복한 현실의 연결이지, 현실과 단절되고 분리된 가상세계를 의미하지 않는다. 즉, 유저는 메타버스를 통해 현실에서 상황적·공간적으로 불가능한 회의를 진행하거나, 직접 체험할 수 없는 교육 또는 원격강의를 수강하거나(혹은 메타버스를 이용한 교수자가 될 수도 있다), 메타버스 세계 안에서 여러 경제 활동을 할 수도 있다. 이처럼 자연스러운 현실의 연결과 확장이라는 점이 게임과의 차이점이다.

한계를 넘다 – 초몰입을 위한 초실감 기술

메타버스의 지속적인 활용을 위해서는 결국 유저의 자발적인 몰입이 중요하다. 앞서 언급한 현실감, 실재감 등이 ‘즉각적인 몰입’ 즉 immersion을 높여준다면, 직관적인 상호작용이나 피드백 장치들을 통해 부여되는 ‘실제로 가상공간에 유저가 있는 듯한’ 현존감은 즉각적 몰입뿐만 아니라 현실의 연장 같은 어느 정도의 ‘자발적인 몰입’을 높여준다.

하지만 지속적이고 자발적인 몰입을 위해서는 ‘flow’ 수준의 보다 깊은 단계의 몰입도 필요하다. flow는 미하이 칙센트미하이(Mihaly Csikszentmihalyi, 1934~2021)를 통해 처음 제시된 용어로, 무아지경과 같은 초집중, 초몰입의 상태를 의미한다. 보통 이러한 flow는 자신의 능력과 도전과제가 어느 정도의 밸런스를 유지할 때 발동한다. 이는 너무 어렵거나 쉽지 않은 적당한 일(업무뿐만 아니라 취미생활도 포함), 혹은 내가 좋아하고 잘하는 일인 취미생활을 할 때 오랜 시간 지루함을 느끼지 않고 몰입하여 즐기는 상태를 뜻한다.

메타버스의 지속적 활용과 몰입을 위해서 라이프로깅 데이터와 연계된 메타버스 내의 경험, 성과 등을 유저의 동기부여를 위한 보상이나 경험치 등으로 환원할 수도 있을 것이다. 예를 들어 메타버스를 이용한 교육의 경우, 학습자의 여러 실제 학습활동이 데이터로 환원되고 이 데이터들이 메타버스 플랫폼에서 유저의 다양한 활동에 유익한 경험치·점수·보상 등으로 활용된다면 학습자는 메타버스를 이용한 교육에 자발적·지속적으로 몰입할 수 있을 것이다.

메타버스의 또 다른 중요 요소로 ‘직관적인 상호작용’을 들 수 있겠다. 직관적인 상호작용은 유저가 현실에서 느끼는 감정과 동작을 가상세계에 전달하는 역할을 한다. 일반적인 게임에서의 미션 수행이나 이동을 위한 캐릭터 조종이 아닌, 유저의 감정 상태나 동작 등을 그대로 가상세계에 구현하여 온전히 유저 본인이 메타버스 내에 존재하는 것처럼 느끼게 하는 것이다. 이는 키보드나 마우스, 조이패드 등을 활용한 간접적인 상호작용이 아니라, 센서 등을 활용한 동작인식 방식의 직관적인 상호작용을 의미한다.

물론 현재는 직관적인 상호작용을 활용하는 경우가 많지 않지만, 이제 메타버스 서비스들도 기존 게임의 효율적인 동작이나 제한적인 감정 표현을 넘어 아바타의 다양한 감정 표현과 동작을 간접적 입력 방식으로 구현해 차별화하고 있다. 이러한 직관적인 상호작용은 게임 캐릭터가 아닌 유저로서 가상세계에 들어간 듯한 현존감을 느끼게 하는 메타버스의 주요 특징이며, 앞으로 메타버스 플랫폼들이 추구해야 할 중요한 지향점이다.

한편 가상세계에서 유저의 아바타가 느끼는 여러 가지 경험을 시각·청각적으로만 전달하는 것이 아니라 촉각을 이용해 전달하게 되면 유저가 느끼는 몰입감과 현존감을 더욱 극대화될 수 있다. 이러한 촉각 전달의 경우 기존에는 조이패드 등으로 느낄 수 있는 진동으로만 표현되었다면, 최근에는 입는 방식의 바디 슈트나 장갑형 디바이스 등으로 실제 구현 가능해지고 있다.

햅틱 장비들을 사용하면 보다 직관적인 촉각 정보의 전달이 가능하기 때문에, 유저는 더 큰 몰입감과 현존감을 느낄 수 있게 된다. 이에 직관적인 상호작용과 촉각 정보 전달이 더해진 것을 실감을 넘어선 ‘초실감’이라 정의할 수 있겠다. 초실감 기술은 현재 진동뿐만 아니라, 온도와 가상 물체의 재질을 느낄 수 있게 하는 정도로 발전했다. 이런 점에서 초실감 메타버스는 기존 실감미디어 기반의 메타버스를 넘어 더 깊은 몰입감과 현존감을 부여하는 등 그 높은 가능성을 보여주는 동시에, 메타버스의 발전과 지속적인 성장을 위한 방향성을 제시하고 있다.

사용자의 극대화된 몰입 그리고 직관적 상호작용을 도울 초실감 기술은 메타버스가 기존의 한계를 넘어 대중의 일상에 안착하게 만들 것이다. 또한 발전된 메타버스가 뉴노멀(New Normal) 시대의 주요 콘텐츠로 자리 잡게 하는 핵심 동력이 될 것이다. 미래 먹거리로 떠오른 메타버스의 선두에 탑승하기 위해 보다 기술적 접근과 전략적 사고가 필요한 시점이다.