입체음향

입체음향(立體音響, Surround Sound)은 음원이 존재하는 공간에 위치하지 않은 청취자에게 음향의 방향성을 제공하는 모든 기술적, 실제적 방법 등을 일컫는다.

역사

입체음향의 출현부터 아날로그 입체음향의 대두

입체음향의 발전은 영화의 발전과 그 궤를 같이한다. 영화가 출연한 이후, 무성영화 시대를 거쳐 1채널(모노) 음향을 시청자에게 제공해 왔다. 이 시절 영화음향은 다수의 마이크로 녹음한 트랙을 1개의 트랙으로 다운믹스하는 방식으로 구성되었는데, 이때의 영화음향은 음원의 방향성은 고려하지 않은 형태를 취했다.

그러나 1940년 11월 13일에 공개된 디즈니의 영화 《판타지아》는 이때까지의 형식을 깨고 프론트 3채널 구성의 스테레오 음향을 채용함으로써 입체음향의 시작을 열었다. 이후 다수의 영화가 스테레오 음향을 채용함으로써 입체음향을 채용하는 것은 일반적인 추세가 됨과 동시에 1957년에 출현한 2채널 스테레오 LP 레코드로 인해 이는 음악 산업까지 확장되었다. 1953년에 공개된 워너브라더즈의 영화 살의 밀랍인형관은 프론트 3채널 외에 서라운드 채널을 추가한 4채널 구성을 채용하여 본격적인 입체음향의 형식을 구축하였다.

1960년대부터 새로운 입체음향의 구현 방식으로서 4채널 스테레오(쿼드러포닉)가 출현하였고, 이는 여러 가지 형식으로 분화하였다. 전면에 4개의 스피커를 배치하는 4-0 쿼드러포닉부터 정사각형 모양으로 스피커를 배치하는 2-2 쿼드러포닉, LRCS 구성으로 이루어진 3-1 쿼드러포닉 시스템 등이 경쟁하였다. 그러나 이러한 쿼드러포닉 시스템은 각각의 시스템에 맞게 제작된 음원을 필요로 했고, 무엇보다도 당시 대중적으로 사용되던 LP 레코드를 지원하지 못함으로서 대중화에 문제가 있었다. 그러나 그 후 2채널 음원으로부터 4채널 신호를 합성할 수 있는 '매트릭스 기술'의 출현으로 이러한 문제점은 해결되었으나 시스템 간 비호환성으로 인해 쿼드러포닉은 도태되었다.

이 시기 돌비 연구소는 돌비 A 타입 노이즈 감소 기술을 영화음향에 응용하는 '돌비 스테레오' 포맷을 발표하였고 이는 다이나믹 레인지와 SNR을 극적으로 끌어올려 순식간에 시장을 장악하였다. 단, 이는 서라운드 채널과 센터 채널을 지원하지 않는 순수 2채널 스테레오 방식이었기 때문에 입체음향 효과는 덜했고, 이는 센터 채널과 서라운드 채널을 추가한 '돌비 스테레오 서라운드' 포맷의 출현을 야기했다. 그리고 돌비 스테레오 서라운드를 채용한 스타워즈가 발표, 그 후 아카데미상 베스트 사운드 부문을 수상함으로서 돌비 스테레오 서라운드 형식은 일반화되었다.

CD의 출현과 아날로그 입체음향의 마지막

돌비 스테레오로 대표되는 아날로그 입체음향 포맷의 성공 이후, 1983년 CD의 출현으로 영화음향 시장에 새로운 자극이 가해졌다. CD는 지금껏 볼 수 없었던 우수한 DR과 SNR을 가지고 있었으며, 무엇보다도 디지털 형식이라 음원의 열화가 적은 혁신적인 포맷이었다. 이에 자극받은 영화산업계는 두 가지 방향성을 논의하게 되었다.

1.기존의 아날로그 포맷을 발전시켜 고음질화하느냐
2.디지털 방식으로 이행하여 고음질화하느냐

돌비 연구소는 검증된 기존의 아날로그 포맷을 발전시키는 일환으로 돌비 SR(Dolby Spectral Recording)을 발표했다. 돌비 SR은 처리가 필요한 부분에 처리능력을 집중시켜 잡음 감소와 고음질화를 실현하는 방식으로 이는 아날로그 컴퓨터라고 부를 수 있을 정도로 정교한 처리과정을 통해 신호의 스펙트럼을 분석하고 처리하는 대규모의 회로를 사용함으로서 가능하였다. 돌비 SR에 의한 고음질화는 실로 대단한 수준으로, 잡음레벨이 극장의 암소음 수준까지 감소하였고, 최대 110db에 이르는 광대한 DR를 이룩하였다.

이와 더불어 루카스 필름 등의 영화 제작자들도 고음질화에 몰두하여 영화 제작단계의 설비 대부분을 돌비 SR로 교체하였다. 제작과정 중 저품질의 처리과정이 개입되면 전체적인 품질이 감소하므로, 영화 촬영과 더빙, 삽입곡 제작 등 여러 분야에서의 돌비 SR의 채용은 영화음향의 전체적 품질을 밑에서 끌어올리는 데에 기여하였다.

이 시기의 유명한 작품으로는 돌비 SR을 채용한 《이너 스페이스》, 《로보캅》 등이 있다.

돌비 디지털의 출현, 디지털 포맷과 5.1채널의 등장

돌비 SR 등의 개선된 아날로그 포맷에도 불구하고, 아날로그 형식의 근본적인 한계로 인해 디지털 기반 포맷의 필요성이 점점 대두되었다.

제일 처음 상용화된 디지털 포맷은 1987년부터 ORC와 코닥에 의해 개발이 시작된 CDS이다. CDS는 기존의 아날로그 포맷과 같이 70mm 필름의 음성 트랙을 사용하였으며 16비트 PCM 형식으로 6채널 구성을 채용하였다. 하지만 당시의 영화관 설비로는 6채널의 무압축 PCM 데이터를 정밀하게 재생할 수 없었고, 이에 따른 트러블이 발생하면 상영이 중단되는 문제 등으로 인해 영화관에서는 다시 아날로그 포맷을 사용하는 현상이 빈번하게 일어났다. 결국 CDS는 큰 효과를 거두지 못하고 사장되었다. CDS 포맷으로 제작된 영화는 딕 트레이시 등이 있다.

1992년 개봉된 배트맨 리턴즈와 함께 등장한 돌비 디지털은 이러한 문제를 해결하기 위해 여러 기술적인 조치를 행했다. 우선 재생 중간에 트러블이 발생하면 재생이 중단되는 문제에 대한 해결책으로 기존에 검증된 돌비 SR 형식 필름을 기반으로 이를 개량하는 방법을 채택하였다.

기존의 필름 형식에서는 스프로켓 구멍을 사용하지 않았으나, 돌비 디지털 형식에서는 이 위치에 사운드 트랙을 배치하였다. 영화의 상영 시에는 기본적으로 돌비 디지털을 사용하나, 재생 중 트러블이 발생하면 백업으로 돌비 SR방식을 대신 사용하는 방식으로, CDS가 가진 근본적인 문제를 해결하였다.

돌비 디지털은 CDS와 같이 6채널을 채용하였다. 돌비 스테레오(및 그를 기반으로 한 돌비 SR)이 매트릭스 방식을 사용하는 것과는 달리 6채널 형식은 채널 분리도, DR, 표현력 등에서 현저한 개선을 이끌어내었다. 그러나, CDS와는 달리 돌비 디지털은 무압축 PCM을 사용하지 않았다. 돌비 디지털은 AC-3이라는 포맷을 사용하였다. AC-3포맷은 MP3과 비슷한 손실 압축 포맷으로서 기존의 CDS 포맷이 수 Mbps를 요구한 것과는 다르게 전채널에서 320kbps 를 사용하는 혁신적인 압축 기술이었으며, 이는 재생 시 트러블의 발생 등을 획기적으로 낮춰주었다.

돌비 디지털 방식은 성공적으로 시장에 진입했고, 《드라큘라》, 《원령공주》, 《귀를 귀울이면》 등의 수많은 영화에 채택되어 널리 사용되었다. 또한 영화 제작에만 그치지 않고 384kbps를 사용하는 가정용 포맷이 1995년에 도입되어 DVD나 HDTV 등의 기본 사운드 포맷으로 채택되어 2010년대까지 사용되고 있다.

그러나 디지털 기반 포맷을 개발한 것은 돌비 연구소 뿐만이 아니었다. 1993년 개봉한 《쥬라기 공원》은 돌비 디지털 대신에 DTS를 채용하였다. 필름 기반이었던 돌비 디지털과 달리 DTS는 CD에 음성 데이터를 저장하는 방식을 사용하였다. DTS를 사용한 영화의 필름에는 동기화를 위한 신호가 탑재되고, 별도의 재생장치를 사용해서 영상과 동기화한 음성을 재생하는 것이다. DTS에는 2채널 형식과 6채널 형식을 사용할 수 있었는데, 이것은 각각 DTS-2, DTS-6이라고 불렸다. 영화의 길이가 보통 120분이 넘어가는 만큼, CD 한 장에 무압축 데이터를 저장할 수 없었고, DTS사는 apt-x를 사용하였다. 그러나 apt-x를 사용해도 6채널 사운드를 CD 1장에 실을 수 없었고, 따라서 DTS-6 형식은 CD 2장을 동시에 재생한다. 또한 서브우퍼 채널은 독립적으로 저장되지 않고 서라운드 채널에 함께 저장된 후 재생 시 분리되는 형식을 취했다. 그러나 영화 필름에 사운드를 수록하지 않고 별도의 매체를 이용한 것 때문에 자주 영사사고가 벌어졌고, 이는 DTS가 돌비 디지털을 능가하지 못하는 결과를 낳았다.

DTS와 비슷한 시기에 나온 포맷이 또 있는데, 소니가 개발한 SDDS이다. SDDS는 1993년 《라스트 액션 히어로》로 대중에 알려졌고, SDDS가 개발되었을 당시 소니는 컬럼비아 픽쳐스를 소유하고 있었기에, 컬럼비아 픽쳐스에서 나온 다수의 영화들이 SDDS를 채용하였다. 대표작으로는 《다이하드 3》와 《시크릿 서비스》 등의 영화가 있다.

SDDS는 기존의 6채널 구성과는 사뭇 다른 8채널 구성을 취했다. 현대의 8채널 구성과 달리 프론트 5채널, 서라운드 2채널, 서브우퍼 1채널로 이루어진 특이한 구성을 하였고, 돌비 디지털과 같이 필름의 여유공간에 사운드 트랙을 탑재하였다.

SDDS의 스피커 배치 구도이다.

이외에 SDDS는 좌측과 우측 중 한쪽 채널이 완전히 유실되어도 다른 채널에 기록된 백업 데이터로 인해 큰 영사사고 없이 재생할 수 있는 장점이 있으나, 돌비 디지털 포맷과의 경쟁에는 한계가 있었고, 소니가 콜롬비아 픽쳐스를 매각하는 등의 여러 사건이 겹친 후 자연스럽게 사장되었다.

더 높게! 더 많이!

7.1채널의 도입

기존의 5.1채널 환경에서는 시청자의 정확히 왼쪽이나 오른쪽에 있는 음상은 프론트와 리어를 사용한 팬텀 음장으로밖에 표현할 수 없었기 때문에 명료도의 한계과 공간적인 문제가 발생했다. 따라서 이전의 리어 스피커를 서라운드 스피커로 취급하고, 리어 스피커를 새로 붙인 형태의 7.1채널을 새로 만들게 되었다.

• 

  7.1채널이 출현한 후의 5.1채널의 대략적인 구조

• 

  7.1채널 포맷

PC에서는 5.1채널이나 7.1채널이나 채널 2개만 늘어나면 되는 문제이고, 사운드야 게임 엔진에서 실시간으로 생성하기 때문에 문제가 없었다. 하지만 영화에서는 이야기가 다른데, 돌비 디지털과 DTS는 모두 최대 5.1채널까지만 지원한다는 문제가 있었다. 그래서 돌비 사는 2004년에 기존의 돌비 디지털(AC-3)을 확장한 돌비 디지털 플러스를 내놓았다. 돌비 디지털 플러스는 AC-3 코덱의 발전형이라는 의미의 E-AC3이라는 코덱을 사용하였으며 최대 15.1채널까지 지원한다. 하지만 이 포맷은 S/PDIF 규격으로 전송할 수 있는 데이터 한계보다 큰 용량이었고, 이를 디코딩한다고 해도 8채널의 PCM 신호를 디지털로 전송할 만한 규격이 없다는 문제가 있었다. 그렇기 때문에 재생 기기에서 디코더와 DAC를 내장하여 아날로그 형태의 신호를 내보내거나, 전혀 다른 방법을 동원해야 한다는 것이다. 초창기에는 신호 자체는 5.1채널로 보내되 리시버에서 이를 이용해서 추가적인 채널을 생성하는 방식을 주로 사용하였다. 이때 사용된 포맷이 돌비 사는 Dolby digital EX부터 Dolby Pro Logic 2 등이었고 DTS 사는 DTS-ES였다. 이런 포맷들은 전적으로 리시버에서 매트릭스 디코딩을 하여 채널을 생성하기 때문에 명료도와 입체감이 떨어지는 문제가 발생하였다. 하지만 다채널의 신호를 전송할 방법이 없었기 때문에 택했던 고육지책이었던 것이다.

무손실 압축의 등장

이전의 포맷들은 모두 비트레이트와 압축률의 차이가 있음에도 불구하고 손실 압축이라는 결정적인 한계가 존재했기 때문에 기술의 발전에 따라서 좀 더 고음질을 요구하는 사용자의 수요에 반응할 필요가 있었다. 그리고 최대 8채널의 무손실 PCM을 전송할 수 있는 HDMI가 발표됨으로서 가정에서 다채널을 좀 더 쉽게 사용할 수 있는 환경이 만들어졌다. 그래서 돌비나 DTS사 등 기존의 음향 업체는 이런 높은 대역폭을 활용하는 코덱을 개발하여 새로운 시장에 대응하게 되었다. 이렇게 개발된 Dolby TrueHD와 DTS-HD Master Audio는 기본적으로 무손실 압축을 채용하였고 24비트 192Khz의 데이터를 담을 수 있었다.

여기서 Dolby TrueHD는 하위 호환성을 포기하고 MLP라는 압축 방식에 메타데이터를 씌우는 방식으로 구현하였으나 DTS-HD Master Audio는 기존의 DTS 포맷을 코어 트랙으로 사용하고 다른 트랙에 원본 신호와 이 신호와의 차이를 기록하는 방식으로 구현한 차이점이 있다. 그렇기 때문에 DTS-HD Master Audio는 이를 지원하지 않는 기기로 전송할 경우 코어 트랙인 DTS로 전송되기 때문에 하위 호환성을 보장하였으나, Dolby TrueHD는 그렇지 못하다. 돌비 사는 이런 문제점을 해결하기 위해서 영화 제작사에게 Dolby TrueHD로 제작된 영화의 경우에는 Dolby Digital을 같이 수록하게 의무화함으로서 이런 문제를 회피하였다. DVD와 블루레이 플레이어 규격 상 모든 블루레이 플레이어는 PCM, Dolby Digital, DTS 3개 포맷을 재생할 수 있어야 하였기 때문에 포맷이 변경되었다고 해서 영화를 재생하지 못하는 일은 일어나지 않았다.

이전에는 Dolby Digital Plus와 같이 HDMI를 사용할지라도 PCM으로 디코딩해서 전송해야 하였으나 2006년에 발표된 HDMI 1.3 버전에서부터 이들 포맷에 대한 비트스트림 전송이 가능해졌고 이를 디코딩할 수 있는 리시버가 발매됨으로서 대중화되었다. 따라서 이전에는 플레이어에서 디코딩해서 리시버로 보내던 구조가 플레이어는 리시버로 비트스트리밍을 한 다음 리시버가 음향 환경에 맞게 적절하게 디코딩 후 재생하는 방식으로 변한 것.

3차원 음향의 대두

지금까지의 포맷은 모두 2차원 평면 상에서의 입체음향을 구현한 것이었으나, 업계에서는 높이 채널을 추가해서 3차원 음향을 구현하는 기술을 내어놓았다. 보통 프론트 하이트 2채널을 추가해서 5.1.2 구성으로 만들거나 서라운드 하이트 채널까지 추가해서 5.1.4 구성으로 만드는 게 일반적이었다. 하지만 이런 입체음향 형식은 대응하는 영화가 없었기 때문에 리시버 쪽에서 대응을 해 주어야 했고 돌비 사의 Dolby Pro Logic IIz나 DTS 사의 DTS Neo:X와 같은 매트릭스 디코더를 사용해서 가상으로 채널을 구현할 수밖에 없었다. 가상 음장의 한계로 명확한 음상을 만들 순 없었지만 3차원 음장이란 개념을 도입하는 중요한 역할을 하였다.

음원을 영화관으로 가져오다

3차원 음향의 도입과 동시에 영상음향 업계에서는 한 가지 고민이 생겼는데, 게임에서의 음향과 영화음향에서의 차이이다. 게임에서는 모든 음향 신호가 라이브로 생성되고, 사용자의 설정이나 상황이 실시간으로 반영되는데, 영화에서의 음향은 사전에 엔지니어가 설정한 대로 트랙이 만들어지고, 이 신호를 사용자 선에서 가공하기는 해도 완벽하게 적용하지는 못한다는 것이다. 예를 들어서 게임에서는 헤드폰으로 들을 때나 전통적인 5.1채널 시스템에서 들을 때 소리를 다르게 만들 수 있지만, 영화에서는 업믹스나 다운믹스와 같은 방법을 통하지 않고서는 대응하게 만들 수 없는 것이다. 그리고 규격에 맞춘 스피커 배치가 아닌 경우에는 음장이 망가지는 상황이 생기게 된다.

이 문제는 극장에서 더 크게 드러난다. 천장 스피커까지 포함해서 다양한 구성을 적용한 극장이 있는데, 극장에 있는 사운드 엔지니어가 신호를 극장에 맞게 만질 수는 있지만 궁극적으로 이를 표준화할 수는 없는가의 문제이다. 그래서 기존의 '채널 기반 음향'이 아닌 게임이 소리를 처리하는 방식을 채용하여 '객체 기반 음향'으로 지향점이 바뀌게 되었다.

객체 기반 음향에서는 최종 신호가 맨 마지막에 생성된다. 쉽게 설명하면 객체 기반 음향 포맷은 이런 좌표에서 저런 소리가 난다는 데이터의 집합체이다. 그리고 이것을 디코더에서 사용자의 환경에 맞게 디코딩하는 식이다. 예를 들면 사용자가 2채널 스피커만 사용한다면 2채널 스피커에 맞게 신호를 생성하게 된다. 그렇기 때문에 기존의 다운믹스/업믹스보다 채널 조정에 자유로워진다.

하지만 이런 포맷은 궁극적으로 디코딩의 방법론 자체를 바꾸는 것이기 때문에 기존의 오디오는 호환되지 않는다. 그래서 돌비 사와 DTS 사 양측 모두 기존 포맷에 메타데이터를 입히는 방식으로 구현했는데, 예를 들어서 돌비 사의 객체 음향 포맷인 돌비 애트모스는 PCM, Dolby Digital Plus, Dolby TrueHD 3가지 포맷 위에 메타데이터가 입혀져서 구현된다. 반면에 DTS 사의 객체 음향 포맷인 DTS X는 DTS-HD Master Audio 상에서 구현된다. 따라서 객체 음향을 재생할 수 없는 기기의 경우에는 다른 포맷으로 폴백되어서 재생된다.

참고문헌

• 다카하시 유키오. 음악에서의 서라운드 역사
• Fushiki Masaaki. 영화음향의 역사