[멀티미디어] 9장 가상환경과 멀티미디어 : 가상현실 기술의 실현 환경

 

 

가상현실 시스템의 구성

 

가상현실 시스템은 크게 렌더링(Rendering) 시스템, 입력장치, 출력장치, 가상현실 응용 개발 소프트웨어, 3차원 모델링(Modeling) 소프트웨어로 구성

- 입력장치는 참여자의 위치, 방향 및 행위로 인한 이벤트 정보를 전송
- 출력장치는 입력정보에 대응하는 3차원 영상, 음향, 촉각 (Force Feedback) 등의 출력을 전달
- 렌더링 시스템은 참여자의 정보를 월드 데이터베이스에 반영하여 실시간으로 새롭게 변화된 3D 영상과 음향을 재생
- 월드 데이터베이스는 가상현실과 관련된 데이터를 저장, 관리

 

몰입형 가상현실 시스템의 구성과 처리과정

1) 그래픽 렌더링 시스템

- 렌더링 시스템은 입력정보와 월드 데이터베이스를 이용하여 가상환경을 실시간에 만듦
- 주로 3D 영상과 3D 음향을 렌더링, 촉감도 포함
- 3D 그래픽 가속기가 이용

    ex) NVIDIA사나 AMD사의 GPU칩이나 GPGPU칩

 

2) 입력장치

- 데이터 글러브(Data Glove) : 섬유굴절 케이블을 이용하여 각 손가락의 굽힘과 뻗침을 측정
- 3D 마우스(3D Mouse), 스페이스 볼(Spaceball) : 3차원 위치와 방향 좌표 입력이 가능한 장치

데이터 글러브, 3D 마우스, 스페이스 볼

NUI(Natural User Interface) 방식의 상호작용
- 마이트로소프트사의 Kinect를 이용한 제스처 인식
    ▪ 게임 환경에서 제스처는 매우 효과적
- Leap Motion을 이용한 인간의 관절 움직임 인식

 

3) 출력장치

- HMD(Head Mounted Display) 
    ▪ 가상공간에서 강제적인 몰입효과를 얻을 수 있는 디스플레이 장치
    ▪ HMD를 착용하고 있는 사용자의 주시방향을 탐지하여 지속적으로 가상환경을 변화시키는 추적기능을 가짐
    ▪ 단점으로 착용감과 해상도가 떨어지며, 장시간 착용시 멀미(Motion Sickness)를 유발
- 크리스털 아이(CrystalEyes) 
    ▪ 컴퓨터 스크린 상의 이미지를 3차원 입체화상으로 보여주는 입체안경 
    ▪ 완전한 몰입감은 느낄 수 없지만 2차원 화면과 3차원 입체화면의 전환이 용이하고 센서 범위 내의 여러 사람이 동시에 사용 가능

- 시각전달뿐 아니라 몰입감을 더욱 높이기 위한 청각, 촉각 및 후각 정보를 사용자에게 전달하는 것들이 있음
    ▪ 청각: HRTF(Head-Related Transfer Function) 계산법을 이용하여 실제세계에서 들리는 것처럼 생동감 있게 전달
    ▪ 촉각: 센서 글러브(Sensor Glove)등 촉각이나 압력에 대한 감각을 제시할 수 있는 장치인 햅틱장치(Haptic Device)를 이용
    ▪ 후각: 시도되고 있으나 향후 많은 개발이 필요함

 

 

가상현실 저작 소프트웨어

 

1) 3D 모델링 및 게임 엔진

- 3D 모델링 소프트웨어: 가상세계를 구성하는 3차원 물체를 생성, 편집

    ex) MAYA, Softimage, 3ds MAX 등

- 게임 엔진 : 가상 세계를 구축하는 플랫폼 역할, 3차원 그래픽스 기능, 물체간의 상호작용 지원

    ex) Unity3D, Unreal Engine 등

 

2) VR SDK

- 게임 엔진 상에서 작동, 가상현실에 필요한 다양한 기능 지원

- VR SDK는 HMD의 위치와 방향 트래킹

    ex) Google Daydream VR, Oculus Rift Development Kit 등

 

 

VR 콘텐츠의 제작

 

1) 3D 모델기반 VR 콘텐츠

- 3D 그래픽 소프트웨어, 게임 엔진 및 VR SDK 이용하여 VR 콘텐츠 제작
- VR SDK는 게임 엔진을 기반으로 VR 콘텐츠에서 요구되는 몇 가지 기능을 지원
    ▪ HMD 헤드 트래킹, 3D 서라운드 사운드, 제스처인식과 같은 상호작용성
- VR 게임, 엔터테인먼트, 애니메이션 분야

2) 360 VR 콘텐츠 (360도 동영상)

- 360도 카메라를 이용하여 모든 방향을 동시에 촬영
- 시야각(Fov: Field of View)에 들어오는 장면들을 합침(스티칭: Stitching)
    ▪ 스티칭 소프트웨어의 ex) Kolor사의 Autopano, Videostitch사의 Videostitch