기획특집(1)


가상현실(Virtual Reality)과
 
방송기술

최근에 멀티미디어 기술의 총아로서 각광을 받고 있는 가상현실은 인간의 오감을 인공적으로 자극하여 현실과 같은 착각을 불러 일으키는 기술로서 가상 현실시스템은 시뮬레이션기술을 구사하여 현실세계를 재현하는 것 뿐만 아니라 컴퓨터로만 구현할 수 밖에 없는 공간을 만들어내고 그속에서 다양한 표현을 가능하게 하는 시도가 활발하게 연구되고 있다
. 나아가서는 생리적인 작용을 반영하는 새로운 인터페이스의 개발로 시각과 청각에 의한 표현의 한계를 넘어 새로운 표현공간을 제공하는 것이 가능해지고 있다.

가상현실을 구현하려면 가상세계와 상호작용을 하기 위해 인간의 움직임을 실시간으로 감지할 수 있어야 하며 인간의 감각기관에 정보를 표시할 수 있는 디스플레이가 필요하며 현실감을 만들어내기 위한 동작의 입력과 감각의 재생간에 인과 관계가 적절하게 표현되어야 한다. 이와같은 인간 동작의 감지기술, 감각정보의 합성 기술 및 가상세계의 표출을 가상현실 기술의 3요소라 한다. 이러한 가상현실의 기술을 이용한 것과의 방송기술의 접목은 앞으로 방송기술의 하나의 새로운 분야로서 자리매김이 될것으로 보인다.

그 동안 실제의 사물을 모핑(Morphing)하거나 그래픽 에니메이션 기법을 사용하여 상상을 초월하는 작품이 터미네이터, 쥬라기 공원 등 외국 영화를 통해 소개되면서 컴퓨터 그래픽을 이용한 국내 작품들도 등장하기 시작하였다.

이러한 기술의 파급 효과는 영화뿐만이 아니라 방송 프로그램 제작에도 나타나고 있다. KBS에서 1996년 5월 26일 방영한 황룡사 영상 복원 프로그램은 컴퓨터 그래픽과 영상을 합성하여 프로그램 소재와 컴퓨터 그래픽 기술을 적절히 조화시킨 작품으로서 국내 그래픽 기술력을 실감케 하였다.
요사이 컴퓨터 그래픽 기술보다 진일보한 가상 현실기술을 방송 프로그램 제작에 접목한 가상 스튜디오가 각광을 받고 있다.
국내에서는 1996년 선거방송에서 지상파 방송 3사가 처음으로 가상스튜디오를 도입함으로서 국내 방송계에도 가상 스튜디오 시대를 맞이하게 되었고, 미국의 CBS방송국은 1995년 선거방송에 가상스튜디오를 도입하였으며, 일본, 영국, 스페인 등 외국의 선진방송국들은 이미 드라마, 오락, 다규멘터리 등에 가상 스튜디오를 활용하기 시작하였다.
가상 현실 기술이란 사용자와 대화하듯이 가상 세계의 객체들이 입력에 즉각 반응하여야 하며 이러한 변화를 반영한 화면을 실시간으로 구성, 표시하여야 한다.
컴퓨터 그래픽이나 에니메이션 기술은 시나리오에 따라 미리 정해진 순서대로 화면을 작성한 다음, 각각의 화면을 작성한 순서대로 보여주면 된다. 따라서 화면 하나를 만드는데 걸리는 시간(rendering time)은 몇 초에서 몇 시간이 걸려도 상관이 없다.
그러나 완성된 에니메니션에서 중간에 화면의 순서를 사용자가 임의로 바꾼다든지 새로운 순서의 화면들을 삽입하는 등의 작업을 연속성을 유지하면서 변경하는 것은 불가능하다. 사용자의 입력에 따라 화면의 연속성을 잃지 않고 “실시간”으로 변경 시키며 표시하는 기술이 가상 현실기술이다.

가상 스튜디오란 실제 세트의 2차원 화면에 컴퓨터 그래픽으로 만들어낸 가상의 세트를 합성하여 3차원의 영상화면을 재현해내는 것이다. 이 합성기술은 기존의 크로마키 기법을 기초로 전혀 새로운 개념의 크로마키 합성기술을 접목한 것이다.
이러한 가상 세트가 창출한 3차원 공간에서는 연기자나 카메라가 가상 세트에서 마음대로 움직이면서 3차원 영상물을 만들 수 있다.

가상세트는 물리적인 세트가 아니라 파란 바탕의 세트에서 연기자는 움직이며 이를 따라 다니는 카메라의 움직임, 초점 거리 등을 감지하며 가상 세트를 조명하는 가상의 카메라와 일치화 시키고 실시간으로 합성한다. 따라서 시청자는 물리적인 세트에서 출연한 것과 같은 효과를 느낄 수 있다. 이러한 가상 세트는 제작자가 원하는 모든 것을 그대로 구현해 낼 수 있기 때문에 아주 적은 비용과 시간만으로도 자유자재로 변경할 수 있다. 따라서 가상 스튜디오 기술의 발전은 방송 매체의 일대 혁신을 가져올 첨단 기술분야로 각광을 받고 있다.

가상 스튜디오 기술을 가장 활발히 사용하는 나라는 EU의 나라들인데 그 중에서 독일이 가장 활발하게 이 기술을 방송 매체에 활용하고 있으며 독일 함부르크에 소재하고 있는 IMP사는 1992년에 가상 스튜디오 시제품을 발표하였고 1994년에는 독일 국내 축구 경기 중간 휴식시간에 중계자가 가상의 축구장 한가운데 서서 그 중계자를 둘러 싸고 있는 그래픽 표시판에서 중간 결과 점수 및 각 선수에 관한 통계 자료를 보고하였다.

현재의 가상 현실 기술로는 가상 세트를 완전히 물리적 세트처럼 정교하고 복잡하게 제작하기는 어려운 수준이다. 그러나 유럽 공동체 국가들은 물리적인 세트를 대체하는 것보다는 가상 세트를 새로운 형태의 방송 제작 형태로 받아들이고 있다.

또한, 유럽이나 독일에서는 새로운 방송국이 많이 탄생하고 있으므로 기존의 방송 형태를 답습하는 것보다는 새로 시작하는 방송국에서는 새로운 제작 기법을 시도하는 것이 쉬울 것으로 분석하고 있다.

이와 같은 상황에서 국내 방송사들이 황룡사 방송이나 선거 개표방송 등에서 첨단 영상 매체기술을 신속히 도입, 개발, 방송에 적용하는 추세는 바람직한 현상이라고 여겨진다.
예로서, 국내 방송사들이 가상현실을 이용한 선거방송의 기술적 내용은 다음과 같다.
■ 가상 환경 재현 : 방송 내용 및 시나리오에 따른 3차원 가상 세트 및 기체의 실시간
　　　　　　　　　시뮬레이션 개발
■ 정보 시각화 : 가상개체를 이용한 입체적인 자료/정보 가시화 개발
■ 시스템 통합 : 3차원 컴퓨터 그래픽을 이용한 가상 세트 및 가상 개체와 영상 정보를
　　　　　　　　 합성하는 기능 개발
■ 응 용 : 개발된 가상 스튜디오를 선거 방송 및 시나리오에 적용, 15대 총선 투 개표 상황
　　　　　 방영에 투입

1. 3차원 가상스튜디오 합성기술

합성기술은 가상 스튜디오에 반드시 필요한 기술이다. 영상합성의 처리방법은 영상으로 부터 필요한 부분과 필요치 않은 부분으로 구분하여 키신호를 만들어 이 키신호를 기준으로 두 개의 영상을 합성 처리한다.
가상 스튜디오에서 크로마키 합성 방법이 많이 사용되지만 전경으로 CG를 사용하는 경우에는 랜더링때의 출연자 부분 또는 그렇치 않은 부분을 식별하여 키정보를 동시에 생성하여 합성하는 Matte합성이 이용된다.
컴퓨터그래픽에서 만들어낸 실제의 배경과 합성할 경우에도 이 합성법이 이용된다. 마찬가지로 합성수법도 기본적으로는 배경 그림에 대해서 전경의 피사체를 덮어씌우는 것으로 전경영상에 있는 물체가 배경의 피사체를 덮어 씌우는 경우는 없다. 이 경우는 전경과 배경의 전후 관계가 명확하게 규정된 경우이다.
다음은 전경의 그림이 배경의 한 부분의 물체보다 뒤에 배치하기 위한 합성방법으로는배경의 영상으로부터 배경의 피사체보다 앞에 있는 부분을 잘라낸 영상을 배경으로 하고, 전단계의 합성 영상을 배경으로 해서 다시 합성 처리하는 다중 합성처리 방법을 사용한다.
배경 영상에 컴퓨터그래픽을 사용할 경우 Z 버퍼 메모리방법을 사용하여 키신호와 합성시키면 한번의 합성처리로 3차원의 최종 영상을 얻을 수 있다. 이러한 영상합성 방법을 Z 버퍼 메모리 방법이라 한다.

2. 3차원 가상 카메라

가상 스튜디오는 전경 그림과 배경 그림을 합성한 가상공간을 자유롭게 움직이며 촬영한다. 그 가상공간에 있는 카메라는 실제로는 존재하지 않는 가상카메라이다. 그러나 이 카메라를 조작하는 지시는 실제 카메라의 움직임에 구속된다.
컴퓨터그래픽만으로 구성하는 영상은 수치로서 카메라를 조작할 수 있으므로 물리적인 제약 조건으로부터 해방되어 자유로운 카메라 워킹이 가능하다.
컴퓨터 그래픽과 같은 식으로 가상 스튜디오의 카메라를 컴퓨터그래픽의 카메라와 같도록 움직이고 싶어한다. 그것을 실현하는 것이 가상 카메라이다.
출연자를 촬영하는 실제 카메라는 움직임제어 카메라를 사용, 카메라 출력을 영상처리장치를 통해 가상 카메라가 촬영하는데 알맞은 영상으로 전환시켜 배경 영상과 합성한다.
스튜디오의 크기를 넘어서 카메라의 이동량은 크로마키판 안에서 실현시킬 수 있다. 실제 카메라는 가상 카메라와 피사체를 연결시켜 직선으로 이동해서 촬영하고 영상은 축소처리 방법에 의해 가상 카메라의 영상으로 변환된다.
카메라 파라메터에는 화각, 카메라 위치, 촬영방향 등이 있다. 이러한 변수를 가상 세트와 일치시키기 위해서는 실사 측의 변수를 계측하고, 컴퓨터 그래픽에서 만들어낸 전자적인 영상을 이 변수에 일치시켜야 한다. 여러 가지 변수에 대응하는 카메라의 조작량을 기계적으로 측정하여야 한다.

3. 실시간성 처리기술

가상 스튜디오에서는 출연자의 움직임에 따라 카메라의 움직임과 배경의 변화 등이 동시에 이루어져야 한다. ]이 시간의 정합성은 가상 스튜디오 구현에 핵심이 되는 부분이다. 그 이유는 컴퓨터그래픽을 만들거나 카메라 변수를 검출하여 처리하는데 걸리는 시간 때문에 전경영상에 비해 배경영상이 늦게 나타나게 되는데, 이 현상을 정확하게 보정해야만이 가상 스튜디오를 완성할 수 있다.

이러한 보정 작업이 제대로 이루어지지 않은 상태에서 카메라를 조작하면, 전경의 피사체가 카메라의 조작에 의해 변화하는데 이 때 시간적인 차이를 갖고 배경의 영상이 변화하며, 조작이 끝나면 배경의 영상이 뒤이어 나오게 되어 원래의 정확한 합성위치로 되돌아 오게 된다. 이 때문에 전경영상과 음성을 적절히 지연시킬 필요가 있다.

또한 실시간으로 합성영상을 만들어내는 가상 카메라 시스템은 배경에 컴퓨터그래픽 영상을 사용할 경우, 만들어지는 시간과 품질은 서로 상반되는 관계에 있기 때문에 고화질의 CD 영상이 요구될 때는 촬영시에 Wire 프레임이나 Flat shading 등의 고속으로 그림을 만들 수 있는 루팅을 사용하여 촬영시의 실시간성을 확보한다. 다만 합성후의 영상은 기록하지 않고 전경영상만을 VTR 등에 기록한다. 이때 카메라의 변수는 프레임 또는 필드마다 타임코드를 사용하여 각 영상과 대응할 수 있도록 잘 기록해 두어야 한다.

4. 가상 현실의 미래

가상현실을 이용한 방송을 위한 가상 스튜디오가 나름대로의 한계를 지니고 있다. 예를 들어, 가상 세트가 완벽한 현실감을 주지 못한다든지, 그 효과에 비해 가상 스튜디오에 과다한 비용이 소모된다든지, 소프트웨어의 부족 등으로 그 자체가 지니는 무한한 잠재력과 창의성을 제약하고 있는 것이 현실이다. 그러나 가상 스튜디오가 방송에 사용되기 시작한 것은 그리 오래되지 않으나 뉴스, 스포츠, 선거방송, 오락 프로그램 등에서 그 가능성을 보여 주고 있다.

또한 이미 영화에서는 과거의 크로마키 기법으로부터 시작하여 이제는 가상세트, 가상카메라 뿐만 아니라 가상의 배우를 과거의 필름으로부터 환생시켜 출연시킬 수 있다. 이처럼 기술적인 난제를 해결하기 위한 노력들이 계속되기 때문에 이 가상현실을 이용한 스튜디오 기법은 보다 빨리 방송영역에 보편화될 수 있을 것이다.

가상 현실 기술은 컴퓨터의 눈부신 발전을 그래픽 화면을 실시간으로 처리할 수 있는 능력이 향상되면서 실제로 적용할 수 있는 분야가 넓어지고 있다. 그래픽 컴퓨터에서 처리하는 화면의 단위는 다면체 삼각형이다.
즉, 물체의 표면을 삼각형으로 모델하는 것이 일반적인 기법인데 컴퓨터마다 실시간으로 처리할 수 있는 삼각형 수는 한계가 있다. 방송 프로그램의 경우 1초에 60개의 화면을 처리하여야 소위 방송 질의 영상이 창출되는데 이 분야에서 가장 빠른 컴퓨터를 쓴다고 해도 5,000개에서 10,000개 정도의 삼각형을 실시간으로 처리 할 수 있는 정도이다.
그러나 실세계를 사진처럼 정교하게 삼각형으로 표시하기 위해서는 약 8,000만개의 삼각형이 필요하다.
따라서 가상 현실로 모든 방송 프로그램에 적용하는 것이 필요하다. 이러한 차원에서 황룡사 영상 복원 프로그램에 가상 현실 기술을 그대로 적용하기에는 부적합하다. 그러나 선거 투, 개표 방송에서 다양한 후보 득표 율이나 지방 개표 현황 같은 간단한 정보 가시화에 적용하는 것은 현재 가상 현실 기술로서도 효과를 나타낼 수 있는 분야로 여겨진다.

앞으로 컴퓨터의 그래픽 성능은 계속 향상할 것이고 따라서 가상 현실 기술의 발전도 가속화 할 것으로 예상되며 멀지않을 것이다. 현재로서는 컴퓨터 그래픽 기술로 처리할 분야와 가상 현실로 처리가 가능한 프로그랩 사이에는 분명한 구분이 있다는 것을 이해하고 이를 적절히 혼합하여 실제 방송 상황에 투입, 효과를 거두는 연출 능력이 절실한 상황이다.

5. 가상 스튜디오 시스템의 실례(매직 스튜디오 Ⅲ)

먼저 전체적인 구성은 사회자의 영상을 위한 파란 스크린, 다양한 영상을 위해 두 대의 카메라의 정보추출을 위한 메모리 헤드, 실시간 3차원 그래픽을 위한 SGI Onyx 시스템, 그리고 두 대의 카메라의 스위칭을 위한 루틴스위쳐, 그리고 두 영상의 정교한 비디오 합성을 위한 디지털 선형 Keyer 등으로 구성되었다.

크로마키 기법은 두 개의 영상을 하나로 합성하는 기법으로써 파란 스크린 상에서 촬영한 영상에서 파란 부분에 다른 영상을 합성한다. 예를 들어 일기예보를 할 때 파란 스크린 상의 아나운서의 영상과 일기 상태를 보여주는 영상이 파란 부분에서 합성된다.
또한 크로마키잉의 키값은 합성될 이미지가 파란 스크린 영상보다 앞으로 나오는지, 또는 반대로 나올지를 결정한다.
이때 키(key)값은 합성될 이미지의 알파값으로(Alpha Value) 얻을 수 있다. 이 시스템에서는 SGI Onyx와의 고화질의 이미지 입출력과 비디오 텍스쳐링을 위해 시리어스 비디오보드를 사용하여 3차원 가상 오브젝트의 이미지와 알파 값을 출력으로 얻고 비디오텍스쳐링을 위해 직접 Onyx의 텍스쳐 메모리로 입력되는 비디오 이미지를 실시간 영상 매핑하였다.

가상 스튜디오에서 비디오 영상을 오브젝트에 매핑하여 보여주는 기법으로 이를 위해서는 입력되는 비디오 영상을 실시간으로 SGI Onyx의 텍스쳐 메모리로 직접 전송하는 시리어스 비디오보드가 필요하며 시리어스 비디오보드의 입출력에서 소스 노드는 비디오 텍스쳐링을 위해 아나로그 비디오 영상과 크로마킹을 위한 렌더 영역의 이미지로 구성되었고, 드레인 노드는 텍스쳐 메모리로의 이미지 전송과 렌더 영역의 비디오 영상으로의 출력으로 구성되었다.
즉 입력되는 영상은 실시간 비디오 텍스쳐링과 렌더 영역의 비디오 출력이 동시에 이루어진다.

가상 스튜디오에서 실사와 가상 세트를 일체화 시켜야 한다. 즉, 피사체 및 시나리오 따라 팬(Pan), 틸트(Tilt), 줌(Zoom)과 카메라의 움직임이 같도록 한다.
이때, 실제 카메라에 의해 촬영되는 실사와 연동하여 컴퓨터 그래픽 배경이 적절히 움직여야 실제 카메라에 포착되는 실사 이미지가 가상의 컴퓨터 그래픽 배경에 마치 존재하는 효과를 얻게 된다. 실제 카메라의 움직임에 따라 가상 컴퓨터 그래픽 배경을 적절히 움직이기 위해 실제 카메라와 동일하게 움직이는 가상 카메라를 정의 하였다.
가상 카메라의 기본 요소는 Viewing Frustum과 Viewpoint로 구성되어 있다. 이것은 각각 실제 카메라 렌즈의 Field-of-View와 카메라의 위치/움직임과 연관된다.

가상 카메라가 실제 카메라와 동일하게 연동되어 움직이도록 하기 위해서는 실제 카메라의 움직임을 추적할 수 있어야 한다.
이를 위해서 이 시스템에서는 메모리 헤드라는 제품을 사용하였다. 메모리 헤드는 카메라와 함께 삼각대에 장착되어 카메라의 움직임(Pan, Tilt, Zoom, Focus)에 관한 정보를 측정하여 그 결과를 출력하는 기능을 보유하고 있기 때문에 카메라의 움직임 측정을 위해 사용하였다.
카메라를 움직이기 위해서는 이 메모리 헤드의 손잡이를 좌우 위아래로 그리고 줌/초점 스위치를 작동시켜 메모리 헤드를 움직이므로 그 위에 장착된 카메라를 움직인다. 이러한 메모리 헤드의 움직임은 실제적으로는 손잡이에 의해 움직여지는 것이 아니고, 그 손잡이에 가해지는 압력을 갑지해 모터로 구동된다고 할 수 있다.
따라서 손잡이를 움직였을 때 모터에 의해 구동되는 메모리 헤드의 움직임에 압력이 감지된 후 모터 구동 시까지 어느 정도의 지연을 줄 수 있고 이것은 가상 컴퓨터 그래픽 배경이 실제 카메라에 의해 포착된 영상에 비해 그 움직임이 지연되는 것을 보상 하는데 사용될 수 있다.

이 시스템에서는 메모리 헤드로부터 위치 정보를 그래픽 서버인 Onyx와 RS232를 연결하여 전송하였고, 이 데이터는 Onyx에서 팬 및 틸트의 각도 그리고 줌에 대한 Field- Of- View 값으로 변환시켜 그래픽의 Viewpoint 및 Field-Of-View 값으로 전송, 그래픽 배경의 적절한 움직임을 디스플레이 하였다.
실제적인 운영 결과, 실사 이미지에 대하여 가상 배경이 자연스럽게 연동이 되기 위해서는 그래픽 디스플레이의 프레임율이 30-60Hz가 되어야 하는 것으로 나타났다. 따라서 카메라 헤드 움직임의 고속/정밀한 측정, 데이터 전송 및 전처리 그리고 그래픽의 고속 처리가 기본적으로 선행되어야 만족한 결과를 기대할 수 있다.
또한 카메라 움직임 데이터의 전송 및 데이터의 전처리 과정에서 지연되는 시간을 보상하기 위해 카메라를 움직이기 위한 모터 구동 신호에 약 3 프레임 정도의 지연을 주어 어느 정도 만족할 만한 결과를 얻었다.
실제 컴퓨터 그래픽의 처리 속도는 그 장면의 복잡도에 따라 가변적이므로 이 지연 정도가 해당 그래픽 처리 속도에 따라 가면적으로 변경될 수 있도록 앞으로 개선하여야 할 것이다.
3차원 모델링 데이터를 가상 세트로 쓰기 위해서는 좌표 단위의 조정이 필수적이다.
3차원 모델링 데이터는 각각 그 좌표의 크기가 모델링하는 사람에 따라 천차만별이기 때문에 가상 스튜디오에서는 그 데이터를 적절한 기준에 따라 변경하여 적용함으로써 통일된 스튜디오의 크기를 얻을 수 있어야 한다. 따라서 각각 1미터 크기의 가상 박스를 모델링 된 스튜디오와 같이 합성하여 표시한 후 적절히 박스의 스케일(Scale)을 조절하면서 가상 스튜디오의 적절한 표시 비율을 찾아내었다.
또한, 카메라에는 렌즈의 특성에 따라 고유의 FOV(Field-Of-View)가 있다. 그리고 줌의 정도에 따라서 이 FOV가 연속적으로 변화하게 된다. 따라서 컴퓨터 그래픽에 의해서 생성되는 배경은 카메라의 FOV와 동일하게 맞추어져야 한다.
이 시스템에서는 특정 측정 지점에 표시를 설치하고 다음의 치수를 측정하였다.
■ Marker와 카메라 기준점간의 거리
■ 카메라 높이

그리고 이에 맞추어 가상 카메라와 가상 표시를 가상 세트 내에 그린 후 그것이 실사 이미지와 겹치도록 FOV를 조정하고, 이 측정을 줌의 최대, 최소 범위 내에서 균일 간격으로 10회 정도 측정, 보간해 주어 측정 오차 및 줌의 변화에 따른 오차를 보정하여 주었다. 최종적으로 가상 스튜디오를 운영하기 위해서는 가상 스튜디오 내의 물체의 위치, 크기, 색깔, 모션 그리고 가상 스튜디오의 조명의 갯수, 위치, 색깔, 시작 눈 위치, 스튜디오의 전체 위치 설정 등의 환경을 미리 편집할 필요가 있다. 따라서 최종적인 가상 스튜디오의 스크립트 파일을 만들기 위해서 가상 스튜디오 에디터가 필요하다. 이러한 가상 스튜디오 에디터의 기능은 다음과 같다.
■ 가상 스튜디오를 기술하는 스크립트 파일을 읽어서 Scene Database을 구성한다.
■ 가상 수튜디오를 구성하는 스크립트 파일의 Object의 종류와 이름을 계층적으로
　 보여주고 사용자가 원하는 Object를 선택할 수 있다. 이때 선택된 Object는 선으로
　 구성된 육면체의 바운딩 박스(Bounding Box)를 그려주고 해당되는 정보를 보여준다.
■ 사용자가 선택한 Object의 3차원 위치, 회전(Pitching, Rolling, Heading), 스케일 등
　 을 Motif의 스케일 바를 이용하거나 직접 값을 입력하여 변경시킨다.
■ 선택된 Object의 모션을 메뉴에서 선택하여 바꿀 수 있다.
■ 선택된 Object의 이름을 바꿀 수 있다.
■ 가상 스튜디오에서 사용한 Light의 수 만큼 추가할 수 있고 에디터 내에서는 Light의
　 위치와 방향을 사용자에게 알려주기 위해 3차원 아이콘으로 나타난다. 사용자는 이 　　　Light 아이콘을 보고 위치와 방향을 변경할 수 있고 변경될 때는 Light 효과를 실시간
　 으로 볼 수 있도록 하였다. 또한 Light의 Diffuse 칼라를 편집할 수 있다.
■ 편집이 끝난 가상 스튜디오는 스크립트 파일로 저장할 수 있다.