인사이트리포트

1. 증강현실의 개요

나인언틱에서 출시한 포켓몬 고(Pokemon Go)가 전세계에서 폭발적인 인기를 얻으면서 다소 생소했던 증강현실 기술에 대한 관심이 높아졌다.

증강현실(Augmented Reality)이란 현실세계의 객체와 3차원 가상물체를 겹쳐 보여주는 기술로, 인간의 오감을 자극하여 감각과 인식을 확장하는 영상분석 기술이다. 증강현실 기술은 1968년 미국 유타대의 이반 서덜랜드(Ivan Sutherland)가 개발한 헤드 마운티드 디스플레이(Head Mounted Display, HMD)에서 출발한다. 1990년 보잉사의 엔지니어 톰 커델(Tom Caudell)은 수만 가지에 이르는 부품을 이용해 항공기를 조립할 때 부품의 위치를 HMD의 화면을 통해 항공기의 적정한 위치에 실시간으로 보여주는 장치를 개발했다. 그는 이 연구를 발표한 논문에서 ‘증강현실’이라는 용어를 처음 사용했다.

증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 그 실체는 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.

[그림 1]의 가상연속체(Virtuality Continuum) 다이어그램에서 가장 오른쪽은 가상현실(Virtual Reality)로 실제 환경이 배재된 가상의 세계이며, 가장 왼쪽은 모든 것이 실제인 완벽한 현실공간이다. 이 사이에는 현실과 가상이 혼합된 환경으로 증강현실은 혼합현실(Mixed Reality)의 한 부분이며, 가상현실보다 현실세계에 더 가까이 위치하므로 가상현실과는 다른 의미임을 보여준다.

증강현실과 가상현실은 비슷하게 생각될 수 있지만, 가상현실은 객체와 환경 모두 현실이 아닌 가상의 이미지를 사용해 실제 환경을 볼 수 없는 반면, 증강현실은 실제와 가상의 객체가 혼합되어 실제에 추가적인 정보를 제공해 가상 객체와 상호 작용을 함으로써 현실감을 증대시킨다.

증강현실의 구현 시스템은 ‘트래킹 시스템(Tracking System), 그래픽 시스템(Graphics System), 디스플레이 시스템(Display System)’의 3가지 요소로 이루어진다.

– 트래킹 시스템은 현실세계와 가상세계의 정합을 위한 것으로 영상 안에서 어떠한 특정 방식을 통해 공간의 크기나 각도, 위치 등을 파악하여 계산하는 기술이다.

– 그래픽 시스템은 트랙킹 시스템으로부터 얻은 정보를 이용하여 현실의 사용자에 겹치게 하며, 가상의 이미지나 객체가 사용자의 위치와 방향에 따라서 표현되도록 한다.

– 디스플레이 시스템은 그래픽 시스템과 트랙킹 시스템으로부터 얻어진 결과물을 디스플레이 장치를 통하여 시각화 하는 역할을 한다.

2. 산업용 증강현실 기술 적용 동향

증강현실은 현실의 사물에 가상의 정보를 덧붙여 다양한 정보를 제공하고 상호작용을 통해 공감각적 체험을 가능하게 하여 미래에 큰 영향을 끼칠 기술로 주목 받고 있다.

최근 기술의 발전으로 증강현실에 활용되는 휴대형 하드웨어는 초소형 전자기기 시스템(Micro-electromechanical System)을 사용함으로써 많은 센서들이 작은 전자 칩 안에 모두 들어갈 정도로 작아지고 있다. 이로 인하여 이동성, 경량성, 간편성 확보를 위한 휴대형 장치 분야의 기술이 고도화 되고 있다. 또한, 컴퓨터 그래픽스 및 가상현실 디스플레이의 기술 발전에 따라 증강현실을 포함한 공간 증강현실(Spatial Augumented Reality) 기술을 이용한 새로운 디스플레이 기법으로 발전하고 있다. 증강현실은 이를 지원하는 디바이스를 통해 사용자가 보고 있는 실 장면에 추가정보를 제공함으로써 사용자의 직관적인 정보 습득을 가능하게 하여 다양한 분야에서 응용(의료, 방송, 교육, 제조, 게임, 광고 등) 되고 있다.

마이크로소프트의 홀로렌즈(HoloLens)가 대표적인 예로 홀로렌즈는 HMD로 반투명 디스플레이 위에서 증강현실 영상이 사용자 환경과 상호작용 하여 재생된다. 특히 손짓으로 증강현실 영상을 조작할 수 있다는 점이 주요한 특징으로 모니터 속에서만 머물던 영상 콘텐츠를 밖으로 끌어내 현실에 중첩되도록 하는 기술이 적용된 제품이다.

증강현실 기술은 ‘산업용 증강현실(Industrial AR)’이라는 이름으로 제조, 유통, 의료 등의 산업현장에서 적용되고 있으며 기업용 버전으로 방향성을 바꾸고 있다. 증강현실은 이론상 ‘현실과 가상 이미지의 조합’, ‘실시간 상호작용’, ‘3D공간으로의 전개’라는 3대 요건을 필요로 하지만, 근본적인 철학은 ‘현실세계를 바탕으로 정보를 시각화’하는 데 있다. 때문에 산업용 증강현실 기술은 작업자에게 데이터를 제공하며 조립, 수리, 검증, 모니터링, 품질관리, 교육 분야에서 생산성 향상과 업무효율을 높이는 조력자 역할을 하고 있다. 특히 소형 광학 프로젝션 디스플레이와 카메라, 마이크, 통신 모듈이 내장된 Google Glass는 초기 개인적인 사용목적에서, 철저히 산업현장의 생산혁신 도구로 제품 포지션을 전환하며 기업용 버전에 집중하고 있다. 기업용으로 재출시 한 Glass Enterprise Edition은 안경프레임 형태로 양손을 자유롭게 사용할 수 있고, 한쪽 눈에 정보를 제공하는 단안식 프로젝션 디스플레이를 탑재하여 전문 산업인에게 최적화 된 단말기로 주목 받고 있다.

이미 산업체에서는 증강현실 기술이 본격적으로 활용되고 있다. 농업용 장비 제조사 AGCO, 물류기업 DHL, 종합 제조기업 GE를 비롯한 헬스케어 분야 등을 대표적 사례로 꼽을 수 있다.

AGCO의 미네소타 잭슨 공장에서는 농기계의 조립순서와 매뉴얼 활용 등 제조공정에 증강현실 기술을 적용해 조립시간을 25% 단축하고, 완성품 검사시간을 30% 줄이는 효율을 얻고 있다고 발표하였다.

반도체 기업 Intel은 29%의 물류 유통 효율 개선효과를 보았고, 자동차 충격 흡수기 제조기업 KONI는 부품 선별작업 정확도를 99.9%로 끌어 올려 증강현실이 향후 스마트 팩토리의 중심 기술로 자리매김 할 가능성을 보여주고다. 향후 스마트 팩토리의 현장 작업자 인터페이스는 증강현실이 기본으로 자리매김 할 것이며, 이를 위한 코어 기술이 지속적으로 발전할 것으로 보이는 등 다양한 분야에 걸쳐 산업용 증강현실 기술 시장이 성장해 나갈 것으로 전망된다.

3. 증강현실 기반 제조업 혁신 사례

미국 최대의 방위산업체 록히드 마틴 (Lockheed Martin)의 증강현실 활용 사례를 보자. 록히드 마틴은 2018년 회사의 주요 프로젝트로 진행 중인 화성탐사선을 비롯한 우주선의 디자인과 제작 과정에, 마이크로소프트의 증강현실 기기 홀로렌즈를 활용하고 있다.

록히드 마틴의 내부 관계자는 “기술자가 인공위성이나 우주선, 기타 제품을 제작할 때 참조해야 하는 모든 정보를 하나로 모으는 기능, 그리고 그 정보들을 손쉽게 기술자들에게 전달해주는 능력은 이 제품이 가진 엄청난 장점”이라고 전했다. 록히드마틴은 홀로렌즈를 활용한 증강현실 시스템을 조립 프로세스 검증에 활용하고 있다.

세계 최대 항공기 제조업체 보잉(Boeing) 역시 마이크로소프트의 증강현실 기술을 이용해 비행기 내 전기부품을 연결하는 작업을 진행하고 있다. 보잉은 이 기술을 비행기 부품 연결 작업뿐 아니라 산불대비 훈련용으로도 쓰고 있는데, 이 기술을 활용해 산불에 대한 정보와 각종 항공정보를 실시간으로 접수 받아 가장 효율적인 소화 전략을 도출할 수 있게 되었다. 보잉의 한 엔지니어는 “가상현실 3D기술을 통해 실시간 회의를 할 수 있으며, 더 자세한 정보도 얻을 수 있어 만일의 사태에 대한 확실한 대비가 가능하게 됐다”며, “현재 증강현실 기술은 회사에서 없어서는 안되는 기술”이라고 전했다.

독일의 고급 자동차 제조사인 BMW는, 자사의 자동차 판매를 촉진시키기 위한 전략으로 구글의 증강현실 기술 ‘탱고(Tango)’를 활용하기로 했다. 구글 탱고는 스마트폰에 탑재된 센서와 카메라를 이용해 디지털 이미지를 실제 공간에 입히는 기술이다. 이를 통해 소비자들은 BMW 자동차 판매장을 방문하지 않고도 증강현실 기술을 통해 원하는 곳에서 스마트폰으로 BMW의 자동차 내부를 구경할 수 있게 되었다.

구글의 증강현실 기술 책임자에 의하면 “탱고를 통해 소비자들은 자동차를 구매하기 전에 자동차의 실제 크기와 색을 가상으로 경험할 수 있을 것”이라고 했다. BMW와 구글 탱고 서비스는 스마트폰으로 애플리케이션을 다운받아 접속할 수 있다. BMW는 증강현실 애플리케이션 ‘i Visualizer’를 먼저 공개할 계획이며, 소비자들은 앱을 통해 i3, i5 모델을 확인할 수 있게 된다.

미국 플로리다주 펜서콜라에 위치한 GE 리뉴어블 에너지(Renewable Energy) 공장에서 풍력발전용 터빈을 조립하는 작업자들은 스마트 글래스를 착용한다. 이 스마트 글래스에는 업스킬(Upskill)이라는 기업의 웨어러블 기기 전용 소프트웨어가 탑재되어 있다.

예전에 공장의 기술자들은 작업을 중단하고 매뉴얼을 살펴보거나, 전문가에게 연락해 부품의 조립작업 상태를 확인 받아야 했다. 하지만 업스킬의 스카이라이트(Skylight) 플랫폼 기반 스마트 글래스 덕분에 작업을 중단하지 않고 손쉽게 디지털 매뉴얼을 눈앞에 띄워 볼 수 있게 되었다. 또 교육용 동영상을 보거나 음성으로 전문가에게 도움을 요청할 수도 있게 되었다. 나아가 작업자가 눈으로 보는 현장을 실시간으로 다른 공간에 있는 전문가에게 스트리밍 할 수도 있다. 전문가는 마치 현장에 있는 것처럼 상황을 파악하고 작업자에게 정확한 지시를 내린다. 연구결과에 따르면, 스마트 글래스를 처음 착용하고 작업하는 경우에도 표준 작업 방법에 비해 생산성이 34%가 향상되었다고 한다.

GE는 거의 모든 사업부에서 스카이라이트 플랫폼을 활용하고 있다. 생산, 조립, 수리, 유지관리, 물류관리 등 다양한 분야에 적용 중이다. 예컨대 MRI 기계 부품을 제조하는 미국 사우스캐롤라이나주 플로렌스 소재 GE헬스케어 공장에서는 작업자들이 착용하고 있는 스마트 글래스를 통해 신규 작업지시를 내려 받는다. 이때 스카이라이트는 작업자가 가야 할 저장소와 보관함으로 안내하여 필요한 물품을 차례대로 준비할 수 있도록 돕는다. GE헬스케어는 스카이라이트를 도입해 지시 작업 완료율이 46%나 개선되는 성과를 달성했다.

국내 발전플랜트에서도 증강현실 기술이 적용돼 주목을 받고 있다. 한국전력공사와 전자부품연구원(KETI)이 공동으로 스마트변전소를 개발한 사례가 그것이다. 스마트변전소는 에너지 사물인터넷(IoT)과 증강현실/가상현실을 접목하며 전력 현장에 적용함으로써, 작업자가 현장과 동일하게 느낄 수 있는 정밀한 3차원 가상환경의 구현이 가능한 ‘차세대 실감형 전력설비 가시화 기술’이다. 이를 통해 전력설비 점검 및 유지보수 업무 효율성을 향상시키고 사고로부터 작업자의 안전을 강화할 수 있다. 스마트변전소에는 증강현실과 가상현실 기술이 모두 적용됐다. 가상현실은 발전소를 그대로 스캔해 실제와 같은 가상환경을 제공하고 작업 가이드를 통해 교육훈련을 한다. 증강현실은 작업자가 마이크로소프트 홀로렌즈를 착용하고 실제 발전설비 위에 표시되는 가상의 정보를 통해 설비 운영효율 관리 및 설비 점검이 가능하도록 하였다.

4. 증강현실 활용 생산실적 인식 자동화 사례

증강현실 기술을 현장에 적용한 또다른 사례로, 모바일 디바이스를 활용해 3D 모델을 실작업 공간에 중첩 디스플레이 하여 작업대상, 설치 순서/오류를 직관적으로 확인하도록 함으로써 작업 생산성을 높이려는 시도를 들 수 있다.

선박을 제조하는 한 국내기업은 경량화된 3D 설계도면 모델을 모바일 기기에서 보여주는 기술(3D engine)을 생산현장에 적용했다. 또한 공간에 중첩 디스플레이 하기 위해 구글 탱고(Tango)가 제공하는 트래킹 기술에 모델을 정확히 중첩시킬 수 있도록 자체 정합 기술을 사용했다. 이를 통해 작업자의 작업 대상, 설치 오류, 설치 순서 등을 모바일 기기에서 확인할 수 있게 되었다.

또한 현장의 작업 결과에 머신러닝 기술을 응용하여 작업물의 영상을 식별, 인식토록 함으로 작업자의 실적을 자동 수집하는 기반 기술을 확보했다. 자동 실적 인식을 위해 탱고 장비가 제공하는 일반 카메라(RGB) 와 뎁스(Depth) 카메라(물체 거리 인식)를 활용했고 머신러닝 기술을 통해 자재별 물체 인식 기술을 적용했다. 우선은 물체가 있는지 없는지 정도를 확인하는 수준으로 적용되었고, 고도화 된 인식 기술은 현재 연구개발 중에 있다.

이 회사는 향후 이를 HUD(Head Mounted Display) 기반의 생산지원 시스템 및 설계지원 시스템으로 발전시켜 나갈 계획을 수립하고 있다. 특히 위에서 적용한 사례를 홀로렌즈에 환경으로 구현하는 것을 검토하고 있다. 실작업 공간에 중첩으로 보여주는 기술은 물론이고, 부서와 협업 할 수 있는 음성/영상 커뮤니케이션, 물체 자동 인식, IoT 와 접목시킨 장비 관리 등 다양한 분야에 걸쳐 연구개발과 테스트를 진행 중에 있다.

5. 결론

증강현실 기술은 이미 산업현장 곳곳에서 업무 효율화를 위해 다양하게 활용되고 있을 뿐 아니라, 그 적용영역이 무궁무진 할 것으로 예상된다.

특히 HUD(Head Mounted Display) 기술, 그래픽 기술, 트래킹 기술, 인식 기술들이 계속 발전하고 있는 가운데, 그 동안 영화에서나 볼법했던 증강현실 기술이 기업의 각종 업무에 접목되면서 혁신적인 생산성 향상을 가지고 올 때가 머지않은 것으로 전망된다.