인사이트

인사이트리포트

디지털프렌스포메이션 최신 정보 및 트렌드를 제공합니다.

IT 트렌드

증강현실 기술의 발전 방향과 시사점

2020.03.27최준영
다운로드

1. 증강현실 기술이 가져온 변화

증강현실의 등장

증강현실 개념이 처음 등장했던 것은 언제일까? 놀랍게도 지금으로부터 약 50년 전이다.

1968년 미국 유타대에서 컴퓨터공학을 연구하던 이반 에드워드 서덜랜드(Ivan Edward Sutherland)는 가상현실과 증강현실을 위한 HMD(Head Mounted Display)를 개발한다. 다모클레스의 검으로도 불리는 이 장치에는 양안 디스플레이와 머리의 움직임을 추적하는 센서가 달려있었다. 그러나 너무 무거워서 천장에 매달아 놓고 사용해야 했고 가상 공간이 선으로만 표현되는 그래픽 기술의 한계 등으로 인해 실용화되지는 못하였다. 하지만 그가 고안한 최초의 HMD는 새로운 패러다임을 제시하였고 이후 등장하는 다양한 기기의 모티브가 되었다. 최근 출시되는 HMD 기기들은 성능이 비약적으로 발전하여 궁극의 디스플레이에 점점 가까워지고 있다.

“궁극의 디스플레이는 컴퓨터 내부에서 물질(그래픽 혹은 프로그램)을 제어할 수 있는 방과 같은 공간이 될 것이다. 이러한 디스플레이를 통해 사용자가 문자 그대로 이상한 나라의 앨리스가 될 수 있다”– Ivan E. Sutherland, (1965), The Ultimate Display

그림 1 - 최초의 HMD 모습

 

증강현실이 가져온 변화

증강현실은 실제 환경에 가상의 사물이나 정보를 합성하여 마치 원래 존재하는 것처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강현실에서의 현실은 우리가 살고 있는 실제 세계를 뜻한다. 현실에 가상의 정보를 덧붙여 우리의 삶에 어떠한 영향을 줄 수 있다는 의미이다. 증강현실 기술은 우리의 삶을 얼마나 변화시켰을까? 우리의 삶에 얼마나 녹아 들어 있는 것일까?

포켓몬Go는 우리의 일상에 들어와 있는 증강현실 서비스의 대표적인 예이다. 2016년 7월 미국, 호주, 뉴질랜드를 시작으로 2017년 1월에는 우리나라에도 출시되어 수많은 사용자들이 포켓몬을 잡기 위해 거리로 나섰다. 포켓몬Go는 2016년 구글 올해의 검색어에서 전세계 1위를 차지했다.

그림 2 - 나인언틱의 증강현실 게임 포켓몬Go (출처: https://pokemongolive.com/ko)

포켓몬Go를 시작으로 다양한 증강현실 앱이 출시되기 시작했다. 특히 애플과 구글이 별도의 하드웨어 없이 스마트폰에서 바로 동작 가능한 증강현실 플랫폼인 ARKit와 ARCore를 발표하면서 누구나 증강현실 앱을 손쉽게 제작하여 배포할 수 있는 환경이 마련되었다.

삼성전자는 삼성닷컴 앱에서 가전 제품을 실제로 배치해 볼 수 있는 증강현실 경험을 사용자에게 제공한다. 부피가 큰 가전의 특성 상 치수를 정확히 측정하지 않으면 기껏 구매한 제품을 다시 반품해야 하는 경우가 발생한다. 삼성닷컴 앱을 이용하면 가전을 배치하기 위한 공간이 충분한지를 미리 확인할 수 있다.

그림 3 - 삼성닷컴 앱을 통해 구매 전 냉장고를 배치해 본 모습 (출처: https://news.samsung.com/kr)

일상에서뿐만 아니라 산업 현장에서도 증강현실은 널리 퍼져 있다. 다만 기술 난이도로 인해 높은 정확도가 요구되는 현장 작업에는 증강현실을 적용하는 것이 쉽지 않았고 대신 방송이나 광고, 마케팅 분야에서 주로 사용해왔다. 그런데 최근 들어 증강현실 기술이 비약적으로 발전하면서 많은 기업들이 생산성을 높이기 위한 도구로 이를 적극 활용하는 추세다.

세계 최대 항공기 제조 기업인 보잉은 증강현실 기술을 제조 공정에 적용하여 비행기 부품 연결 작업 시간을 단축시키고 있으며 산불 대비 훈련 등에도 적극 활용하고 있다. 산불 정보와 항공 정보를 실시간으로 접수 받아 가장 효율적인 대응 전략을 수립할 수 있게 되었다.

GE의 자회사인 GE리뉴어블에너지는 풍력발전 터빈 제조 공장의 작업자들에게 스마트 글래스를 착용케 하여 작업 효율을 높이고 있다. 한 연구 결과에 따르면 이 새로운 작업 방식은 기존의 전통적인 표준 작업 방법에 비해 생산성이 34% 개선되었다고 한다. 작업자에게 필요한 정보가 실시간으로 제공되기 때문에 작업을 보다 효율적으로 할 수 있게 되었다. 작업자의 숙련도 차이에서 오는 생산성 격차를 증강현실 기술을 통해 극복한 셈이다.

그림 4 - 스마트 글래스를 산업 현장에 도입하여 작업하는 모습 (출처: https://www.gereports.kr)

국내 기업들도 증강현실 기술을 산업 현장에 적용하기 위해 다양한 시도를 하고 있다. 모 선박 제조 회사는 3D 설계 도면 모델을 모바일 기기로 보여주고 현장에서 바로 작업 목록, 설치 오류 등을 확인할 수 있게 하였다. 또한 증강현실 플랫폼을 이용하여 영상을 식별하고 사물을 인식함으로써 작업자의 실적을 자동으로 수집할 수 있는 기술을 연구 중에 있다.

이렇듯 증강현실은 알게 모르게 우리의 삶 가까운 곳에 근접해있다. 그러면 증강현실 기술은 어떻게 발전해왔으며 현재 어느 수준에 도달해 있는지 그 변천사와 향후 전망을 살펴보자.

 

 

2. 증강현실 기술 동향: 하드웨어

증강현실을 구현하기 위해서는 세 가지 요소가 필요하다. 현실 세계와 가상 세계의 정합을 위한 트래킹 시스템, 트래킹 시스템을 통해 얻은 정보를 바탕으로 현실 세계의 영상과 결합시켜 사용자에게 보여줄 그래픽 시스템, 마지막으로 그래픽 시스템과 트래킹 시스템을 통해 생성된 결과물을 시각화 하는 디스플레이 시스템이 그것이다. 이 중 하드웨어에 해당하는 디스플레이 시스템의 변천사를 알아보도록 하겠다.

스마트폰의 보급

2000년대 중반 스마트폰이 보급되면서 다양한 증강현실 앱이 출시되었다. 주로 스마트폰의 GPS를 이용하여 구현되면서 사용자 위치에서 가까운 레스토랑, 병원 등을 쉽게 찾을 수 있도록 도움을 주었다. 또한 (뒤에서 다시 설명할) 마커를 이용해 간단한 엔터테인먼트를 즐길 수도 있었다. 이 시기 스마트폰은 빠른 속도로 확산되었지만 증강현실 기술은 제한적으로 활용되었다.

그림 5 - 모바일 증강현실 앱을 이용해 주변 상점의 정보를 얻는 모습 (출처: https://www.wikitude.com/blog-top-travel-apps-enjoy-summer)

 

뎁스 카메라

2009년 마이크로소프트는 컨트롤러 없이 사용자의 신체를 이용하여 게임과 엔터테인먼트를 경험할 수 있는 동작 인식 키트인 키넥트(Kinect)를 출시하였다. 키넥트는 센서를 통해 사용자의 움직임을 인식하여 플레이 중인 게임, 즉 가상현실 속으로 전달한다. 이는 증강현실이라기보다 증강가상(Augmented Virtuality)에 가깝지만 기술적 맥락은 동일하다. 이를 가능하게 해주는 것은 키넥트에 부착된 뎁스 카메라 덕분이다.

뎁스 카메라는 카메라와 사물 사이의 거리를 측정한다. 카메라가 발사하는 적외선이 물체에 부딪혀 반사되어 돌아오는 시간을 측정해 거리를 계산하는 방식이다.(ToF, Time of Flight 방식) 이를 통해 눈 앞에 있는 사물의 실제 거리를 매우 정확하게 측정할 수 있다. 하지만 이 간단하고 손쉬운 방법에도 치명적인 단점은 존재한다. 빛이나 노이즈 등 외부 간섭에 매우 취약하기 때문에 실내에서만 사용 가능한 제약이 그것이다.

그림 6 - 뎁스 카메라의 동작 원리(출처: https://pdfs.semanticscholar.org/0367/5af6a00f65b5b16b0089510733bd69f53132.pdf)_뎁스 카메라는 카메라와 사물 사이의 거리를 측정한다. 카메라가 발사하는 적외선이 물체에 부딪혀 반사되어 돌아오는 시간을 측정해 거리를 계산하는 방식으로 Timing generator가 IR Emitter와 Depth Sensor로 전송,IR Emitter 에서 사물에 Modulated IR Light를 보내면 사물에서 반사되어 빛이 Depth Sensor로 돌아오는 원리구조 이미지

2014년 구글은 프로젝트 탱고(Project Tango)를 발표한다. 탱고는 컬러 카메라 외에 추가적인 뎁스 카메라와 모션 카메라를 사용하여 모바일 상에서 증강현실을 구현하는 플랫폼이다. 외부 전원이 필요하고 무게가 1.4kg에 달했던 키넥트와 달리 휴대성이 좋고 사용하기 쉬운 장점이 있다.

다만 추가 하드웨어가 필요하기 때문에 기존의 안드로이드 디바이스를 그대로 활용할 수 없고 새로운 디바이스를 구매해야 하는 장벽이 있다. 그리고 뎁스 카메라의 구조적 한계를 극복하지 못하여 실내 공간에서만 증강현실을 체험할 수 있다는 것 또한 큰 문제였다. 탱고 플랫폼을 탑재한 디바이스는 단 2종만 출시되었는데 기존 안드로이드 디바이스보다 크게 매력적이지 않았다. 때문에 디바이스의 보급이 원활하게 이루어지지 못하였고 탱고 플랫폼을 더 이상 확산시키지 못했다. 결국 2018년 3월, 구글은 프로젝트 탱고를 공식 중단하게 되었다.

그림 7 - 탱고 디바이스를 이용하여 주변 뎁스를 측정하는 모습(출처: https://www.youtube.com/watch?v=Qe10ExwzCqk)

ToF 방식 뎁스 카메라의 단점을 뛰어넘는 스테레오 방식의 뎁스 카메라도 존재한다. 사람의 두 눈을 사용하여 거리감을 인식하는 것과 마찬가지로 두 개의 카메라로 촬영된 영상에서 픽셀의 차이를 인식하고 이를 계산하여 뎁스를 측정하는 방식이다. 이 방식은 더 먼 거리까지 뎁스를 측정할 수 있고 빛 등의 외부 간섭에 덜 취약하다. 그래서 ToF 방식의 뎁스 카메라보단 활용할 여지가 많아 스테레오 카메라를 모바일 디바이스에 부착하여 증강현실을 구현하려는 몇몇 시도들이 있었다. 대형 장비를 다루거나 빛 반사 등이 많은 중공업 건설 현장에서 사용하는 것이 대표적인 예다. 하지만 이 역시 연구 차원에 그쳤다. 측정 정보 계산량이 많아 실시간 처리가 힘들고 무게가 무거워 현장에서 사용하기에는 다소 무리가 있었기 때문이다.

 

웨어러블 기기의 등장

서덜랜드가 최초로 고안한 HMD는 많은 사람들에게 새로운 모티브를 주었고 계속 발전을 거듭하고 있었다. 2012년 크라우드 펀딩 서비스인 킥스타터(Kick Starter)에 가상현실을 지원하는 HMD인 오큘러스 리프트(Oculus Rift)가 소개되어 주목을 끈 이후 다양한 가상현실 디바이스들이 출시되며 사용자에게 큰 몰입감을 선사하였다. 대중의 뜨거운 관심에 비례하여 가상현실 디바이스 기술도 빠르게 발전하게 된다.

증강현실에서도 HMD를 이용한 방식의 시도들이 계속되었다. 2012년 구글은 구글 글래스(Google Glass)라는 혁신적인 웨어러블 기기를 발표하였다. 일반 안경과 유사한 디자인의 이 기기는 안경 렌즈 위에 소형 디스플레이를 부착한 형태이다. 웨어러블 기기의 혁명이 될 것으로 기대됐던 이 제품은 그러나 시장에 제대로 출시조차 되지 못했다. 좁은 시야각 뿐만 아니라 고정된 초점 거리로 인하여 사용자에게 큰 피로감을 주었다. 디바이스 무게와 배터리 용량은 상충 관계지만 구글 글래스는 일상적으로 사용하기 어려운 수준이었다. $1,500에 달하는 비싼 가격도 큰 문제점으로 지적되었다.

그림 8 - 구글 글래스 (출처: https://www.google.com/glass/start)

키넥트 출시 이후 잠잠하던 마이크로소프트는 2015년 HMD 증강현실 기기인 홀로렌즈(HoloLens)를 발표하며 다시 증강현실 시장에 뛰어 들었다. 홀로렌즈는 구글 글래스나 스마트폰에서 동작하는 증강현실과 비교하면 압도적인 성능을 보여준다. 홀로렌즈에 부착된 뎁스 카메라와 공간 맵핑(Spatial Mapping) 기술을 이용하여 위치를 정교하게 잡아서 현실 세계와 가상 세계를 연결한다. 또한 두 개의 렌즈를 통해 보여지는 홀로그램은 가상현실 속의 그것처럼 높은 몰입감을 제공한다.

하지만 좁은 시야, 579g에 달하는 무게, $3,000가 넘는 가격 등 단점도 존재한다. 마이크로소프트는 이를 개선한 후속 제품을 B2B 산업용으로 2019년말부터 공급하기 시작했다.

그림 9 - 홀로렌즈를 착용한 모습(출처: https://www.microsoft.com/en-us/hololens)

현재 가상현실 분야의 HMD 기기는 상용화 단계를 거쳐 다양한 제품들이 출시되고 있는 반면, 증강현실용 기기는 아직 기술적으로 완성되지 않은 상태이다. 주로 고정된 공간에서 사용하는 가상현실 HMD와는 다르게 일상 생활에서 사용되어야 하는 증강현실 웨어러블 기기는 배터리 용량과 무게에서 자유로울 수 없다. 아직은 하드웨어 성능이 부족하고 시기 상조로 보여지나 구글, 애플, 마이크로소프트 등 거대 IT 기업들을 중심으로 디바이스를 개량하기 위한 투자와 연구 활동이 활발히 전개되고 있어 미래는 밝을 것으로 예상된다.

 

다시 모바일로

2017년 이전에는 증강현실 기술을 구현하기 위해서는 별도의 장비가 필요했다. 이 장비들은 대체로 고가였고 활용할 인프라는 부족했다. 또한 증강현실을 체험하기 위해서도 별도의 장비가 필요했는데 이 역시 충분히 보급되지 못했고 그렇다 보니 콘텐츠도 부족했다. 고가의 장비가 콘텐츠 보급을 막고 즐길 콘텐츠가 충분치 않아 장비가 팔리지 않는 아이러니한 상황이었다. 증강현실 생태계가 제대로 갖춰지지 않았기 때문에 벌어진 일이다.

하지만 2017년 애플이 별도의 추가 하드웨어 없이 이미 널리 보급된 아이폰, 아이패드에서 바로 동작이 가능한 증강현실 플랫폼인 ARKit을 발표하면서 이 판도는 완전히 바뀌게 된다. 아이폰, 아이패드라는 생태계가 존재하기 때문에 이를 그대로 이용하기만 하면 되는 상황이었다. 마침 구글도 별도의 뎁스 카메라가 필요했던 탱고 플랫폼을 버리고 기존 안드로이드에서 바로 사용 가능한 ARCore를 발표하면서 증강현실은 다시 모바일로 옮겨가게 되었다. ARKit과 ARCore 플랫폼의 가장 중요한 특징은 증강현실을 즐기기 위해 스마트폰 외에는 아무 것도 필요하지 않다는 점이다. 게다가 스마트폰은 점점 진화하고 있다. 초기 스마트폰은 한 개의 컬러 카메라를 탑재하고 있었으나 최근에 출시되는 스마트폰은 2~3개의 카메라뿐 아니라 뎁스 센싱이 가능한 심도 인식 카메라 등 다양한 센서들이 부착되어 있다. 스마트폰의 비약적인 발전이 모바일에서 증강현실을 구현하는 날개가 된 것이다.

그림 10 - ARKit이 탑재된 아이패드로 증강현실 게임 즐기는 모습 (출처: https://www.apple.com)

그렇다고 웨어러블 디바이스가 위축될 것으로 보이진 않는다. AR과 VR이 주축이 되는 실감미디어 산업이 4차 산업혁명의 한 축으로 부상하였고 애플을 비롯한 많은 대기업들이 투자를 지속하고 있기 때문이다. 현존하는 웨어러블 기기들이 아직 충분한 성능을 발휘하지 못하고 있으나 디바이스가 발전하는 속도는 매우 빠르기 때문에 결국 증강현실의 무게 중심은 양손을 자유롭게 사용 가능한 웨어러블 기기로 옮겨가게 될 것이다.

 

 

3. 증강현실 기술 동향: 소프트웨어

지금까지는 하드웨어 변화를 중심으로 살펴보았다. 기기의 디스플레이에는 현실 세계와 가상 세계가 잘 정합되어 그려져야 한다. 증강현실이란 결국 현실과 가상의 경계에서 적절한 상호작용을 통해 사용자에게 새로운 경험을 제공해주는 기술이기 때문이다. 현실 세계의 영상 안에서 공간의 크기, 각도, 위치 등을 얼마나 잘 파악하여 이를 가상 세계로 연결시키는지에 따라 몰입감이 달라진다. 그 방법에는 어떤 것이 있는지 알아보도록 하자.

마커(Marker) 기반 기술

증강현실에서 현실 세계와 가상 세계를 연결하는 것은 매우 어려운 일이다. 초창기에는 이를 해결하고자 마커 기반의 기술을 도입하였다. 미리 지정해둔 특정 표시를 인식하면 사전에 정의해 둔 반응이 실행되게 하는 것으로 마커를 통해 현실 환경을 분석하고 이를 가상 세계와 손쉽게 접목시킬 수 있다.

마커란 명암 대비가 명확하여 특징점들을 추출하기 쉽게 고안된 이미지이다. 쉬운 예로 체스판 이미지나 QR 코드를 들 수 있다. 이러한 이미지는 낮은 수준의 해상도를 가진 영상 카메라를 통해서도 충분히 인식 가능한 형태로 제공된다.

마커를 통해 현실 세계와 가상 세계를 정합하는 원리는 다음과 같다.

카메라 영상을 통해 캡처된 이미지로부터 마커를 감지하고 마커가 인식되면 마커의 위치, 방향 등을 카메라로부터 상대적인 데이터로 계산하여 현재 카메라의 포즈와 가상의 물체가 놓여질 위치, 방향을 추정한다. 이 방식의 트래킹은 단순히 증강현실 상에서뿐만 아니라 가상현실에서도 HMD가 사용자의 위치를 트래킹 할 때 한계를 극복하기 위한 방안으로 활용되었다.

 

슬램(SLAM, Simultaneous Localization and Mapping) 기반 기술

마커 기반의 기술은 투입 리소스에 비해 효과가 매우 큰 방식임에는 틀림 없지만 미리 정확한 위치로 약속이 필요하고 카메라가 마커를 벗어나면 트래킹이 불가능해지는 등 기술적인 한계가 명확했다.

증강현실 기기들에는 카메라뿐 아니라 GPS, 자이로 센서, 가속도 센서 등 다양한 센서들이 부착되어 있는데 이를 이용한 기술이 등장한다. 바로 슬램이다.

슬램은 우리 말로 하면 ‘동시적 위치 추정 및 지도 작성’ 정도가 된다. 1986년 랜들 C. 스미스(Randall C. Smith)와 피터 치즈맨(Peter Cheeseman)의 로봇 공학 논문에서 처음 등장한 개념으로 정보가 주어지지 않은 임의의 공간에서 이동하며 정보를 탐색할 수 있는 로봇을 통해 자신의 위치를 추정하고, 더 나아가 공간의 지도를 작성하는 것을 의미한다.

그림 11 - 슬램의 동작 원리(출처: Simultaneous Localization and Mapping: Part I (Durrant-Whyte & Bailey 2006)_동시적 위치 추정 및 지도 작성할때 Estimated된 영역을 Robot이 실제 장소와 맞추어 추적하는 모습을 형상화한 그림.

이 방식은 증강현실에서도 그대로 적용할 수 있다. 기본적으로 주변 환경에 대한 정보가 없는 상태에서 이 기술을 적용하면 카메라와 관성 센서 등의 정보를 이용하여 주변 환경을 인식해 자신의 위치와 주변 공간 구조를 파악할 수 있다.

카메라의 매 프레임마다 특징점을 추출하여 카메라의 픽셀과 현실 세계의 점을 연결하고 이 점들의 변화를 계산하여 현재 위치를 추정한다. 이 과정은 초당 30번 이상 수행되며 부정확한 가능성을 가지고 있다. 광학 시스템은 거리에 따라 종종 오류를 쌓기 때문이다. 이를 보완하는 것으로 관성 시스템이 있다. IMU(Inertial Measurement Unit, 관성 측정 장치)나 관성 센서, 자이로 센서 등의 하드웨어 센서로부터 전달 받는 값의 부정확성은 시간이 지날수록 오차를 크게 만든다. 1초에 천 번의 센싱이 가능한데 바꿔 말하면 초당 천 번의 오류가 누적된다는 의미이다. 이 부정확성은 광학 시스템을 통해 보완된다. 불완전하지만 상호 독립적인 두 시스템은 각각의 강점이 서로의 약점을 보완해준다. 단일 렌즈를 갖는 모바일 상에서 증강현실 구현이 가능한 이유이다.

 

물체 인식(Object Recognition) 기반 기술

현실 세계와 가상 세계를 연결하는 다른 방법이 있다. 물체 인식이라고 불리는 기술이다. 슬램 기반의 기술이 주변 환경을 인식하고 이를 토대로 가상의 사물을 현실과 결합시키는 것이라면 물체 인식 기술은 현실 세계에 존재하는 특정 사물을 인식하고 이를 토대로 현실 세계와 가상 세계를 정합시키는 방식이다.

물체 인식 기술은 현실 세계에 존재하는 특정 사물의 3D 모델 데이터로부터 추출한 특징점, 윤곽선(Edge) 등의 정보를 이용하여 해당 물체가 어디에, 어떤 포즈로 놓여 있는지를 찾는다. 사람에게는 인지능력이 있어 물체를 인식하는 것이 간단해 보일 수 있으나, 소프트웨어 기술 측면에서는 물체가 놓여진 각도, 조명 등 주변 환경에 따라 추출되는 정보가 다르기 때문에 정확한 포즈를 찾는 것은 난이도가 매우 높은 일이다. 다행스럽게도 이미 많은 연구가 진행되었고 자동차, 오토바이 등 윤곽선이 뚜렷하고 수준 높은 3D 모델 데이터가 존재하는 물체들은 인식 정확도가 매우 높다.

그림 12 - 뷰포리아 (Vuforia)의 AR 엔진을 사용하여 오토바이 모델을 인식한 모습(출처: https://www.youtube.com/watch?v=6W7_ZssUTDQ) _ 오토바이와 그 부분 요소까지 인식하여 보여주고 있는 사진.

보다 쉬운 접근법도 있다. 인식하고자 하는 물체를 미리 학습시켜 두는 것이다. 물체를 모든 방향에서 촬영해 인식 시 사용할 특징점들을 미리 추출해두고 실제 물체를 인식하는데 이 정보를 활용하는 방법이다. 특정 물체를 일종의 3차원 마커처럼 사용하는 것으로 사전 작업이 필요하긴 하지만 높은 컴퓨팅 파워가 필요하지 않고 인식만 제대로 해놓으면 성능이 매우 뛰어나기 때문에 활용하기 쉽고 효과도 좋다.

그림 13 - 실제 사물을 3D 마커로 인식하도록 학습시키는 모습(출처: https://developer.apple.com)_ prepare to scan, Define bounding box, scan, Adjst origin, Test and Export의 단계를 나타낸 그림

 

3D 자세 추정(Pose Estimation) 기반 기술

물체가 아닌 사람의 자세를 추정하는 기술이 있다. 3D 자세 추정(3D Pose Estimation)으로 불리는 이 기술은 사람의 2차원 사진 이미지로부터 3차원 자세를 추정하는 기술이다. 3D 모델 데이터가 존재하는 물체 인식과는 달리 사람의 형상은 미리 데이터로 만들 수 없고 성별, 나이, 체형 등에 따라 다르기 때문에 일반적인 방법으로는 구별이 불가능하다. 이 문제를 해결하기 위하여 머신러닝(Machine Learning) 기법을 적용하였다.

수천 수만 장의 사진에 사람의 관절 위치를 마킹하여 미리 학습을 시켜 두고 2차원 사진 이미지로부터 사람의 머리, 목, 어깨, 팔꿈치, 무릎 등의 관절을 찾아내어 최종적으로 자세를 추정한다. 입력 받는 데이터 자체가 2차원이기 때문에 사람의 자세에 따라 가려지는 부분이 생기게 되는데 이는 머신러닝을 통해 보완한다.

초창기 자세 추정 기술은 사람의 관절 위치 정도만을 찾을 수 있었다. 아울러 대용량 데이터를 미리 학습시켜야 하고 학습 모델이 완성되어 있어도 실제 사진으로부터 사람의 자세를 검출하는데 많은 컴퓨팅 파워가 필요하여 실시간 처리에 어려움을 겪었다. 하지만 머신러닝 기술이 발전하면서 단 한 장의 사진만으로도 사람의 3차원 자세 추정이 가능해졌다. 정확도가 매우 높아졌고 실시간 처리가 가능해 사진이 아닌 영상에서도 사람의 자세를 추정할 수 있는 수준까지 발전하였다. 이뿐 아니라 사람의 관절이 아닌 체형에 따른 차이도 구별하여 사진 또는 영상으로부터 사람과 동일한 가상의 인물을 생성할 수 있는 수준까지 발전하고 있다.

그림 14 - OpenPose 라이브러리를 사용하여 영상에서 사람의 자세를 추출한 모습(출처: https://www.ri.cmu.edu/a-computer-that-reads-body-language)_여러 사람들이 둘러서 있는 영상 속에서 사람의 자세를 추출한 결과를 보여주는 사진.

 

프로젝션 맵핑

지금까지와는 전혀 다른 방식의 증강현실이 있다. 프로젝션 맵핑이라 불리는 이 기술은 대상물의 표면에 빛으로 이루어진 영상을 투사하여 변화를 줌으로써 현실에 존재하는 대상이 다른 성격을 가진 것처럼 보이도록 하는 기술이다. 프로젝션 맵핑을 통해 오브젝트에 구현한 그래픽은 공간에 대한 증강현실의 영상을 덧입혀 보다 확장된 공간감과 실재감을 불러일으킨다. 고정된 사물에 대해 미리 계산된 영상을 투사하는 방식이기 때문에 사용에 많은 제약이 따르고 피사체에 투사하는 영상 이미지를 다른 공간에서 재사용할 수 없지만 그 효과만큼은 매우 뛰어나다.

그림 15 - 건담 모형에 프로젝션 맵핑 기술을 적용시킨 모습(출처: http://tokyoartcity.tokyo/case_cat/anime)

 

 

4. 시사점

최근 몇 년 동안 증강현실 분야는 비약적으로 발전하였다. 기술 난이도로 인해 가상현실보다는 뒤쳐져 있지만 성장 잠재력은 훨씬 더 크다. 사용자의 시야 전체를 가상의 화면으로 채우는 가상현실보다 실생활에 적용할 여지가 훨씬 많기 때문이다. 한국과학기술기획평가원(KISTEP)이 2018년에 발표한 보고서에 따르면 2022년 전세계 증강현실과 가상현실 시장은 1,050억 달러(한화 118조 9650억원) 규모로 성장할 것으로 전망된다. 이 중 약 86%에 해당하는 900억 달러(101조9700억원)를 증강현실이 차지했다. 증강현실 시장이 가상 현실에 비해 10배나 더 커질 전망이다.

현재 증강현실 시장은 구글, 애플, 마이크로소프트, 페이스북 등 거대 글로벌 기업들이 주도하는 가운데 위키튜드(Wikitude), PTC, 맥스트(Maxst) 등 국내외 수많은 기업들이 경쟁하고 있다. 기업에 있어 증강현실 기술은 더 이상 새로운 것이 아니다. 디바이스와 플랫폼이 갖춰지면서 누구나 시도할 수 있게 되었고 산업 전반에 걸쳐 활용 방안을 모색하면서 생태계가 빠르게 확산되고 있다. 이제 이 인프라를 어떻게 활용할 지가 관건이다.

증강현실은 그 자체만으로 완벽한 해답을 내놓지는 못하고 있지만 이미 충분한 인프라를 활용하여 생산성 향상을 위한 보조 수단 및 편의를 제공할 수 있는 다양한 솔루션들이 출시되고 있다. 향후 시장의 관심은 소프트웨어 분야에 집중될 것이다. 기술적 한계를 극복하기 위해 인공지능 등 다른 기술과 접목이 활발해질 것이고, 구글 지도의 증강현실 길찾기 기능과 같이 이미 갖춰진 거대한 데이터를 활용한 융합 서비스도 본격화될 것이다. 그 결과 다양한 장르에 걸쳐 놀라운 아이디어로 무장한 어플리케이션들이 선보이면서 증강현실 시장 성장을 주도할 것으로 예상된다. 반면 디바이스는 빠른 속도로 발전하고 있고 기술 수준 역시 높아지고 있기 때문에 선두 주자들과 후발주자 간의 격차가 점점 커질 것으로 보여진다.

증강현실은 더 이상 스포츠 중계나 선거 개표 방송에서만 접하는 기술이 아니다. 2019년초 종영된 증강현실 게임을 소재로 한 드라마 ‘알함브라 궁전의 추억’은 우리 눈 앞에 성큼 다가온 미래를 선명하게 보여준 좋은 사례다. 증강현실이 모바일이나 웨어러블 디바이스를 넘어 우리 삶에 스며들 날이 멀지 않았다.

최준영 프로

에스코어㈜ 소프트웨어사업부 미디어플랫폼그룹

에스코어(S-Core) 소프트웨어사업부에서 플랫폼 개발자로 근무하고 있습니다. 산업 현장에 적용 가능한 증강현실 기술 개발을 위해 다양한 연구를 진행하고 있습니다.

연관 아티클

  • IT 트렌드2022.05.13

    급부상하는 UI 디자인 저작툴, 피그마(Figma) 톺아보기

    자세히 보기
  • IT 트렌드2021.10.27

    그 많던 PM들은 다 어디로 갔을까? SW 개발 프로젝트에서 PM의 달라진 역할

    자세히 보기
  • IT 트렌드2021.06.28

    영화 속 미래가 다가오고 있다: 증강현실의 현재와 나아갈 방향

    자세히 보기