음장효과

대표적인 헤드폰 음장 데모

음장효과(Sound Effect)는 소리의 원 신호에 추가적으로 변형을 거쳐 음원 제작자 또는 청취자가 의도한 대로의 소리로 바꾸는 과정이다.

보다 실용적으로는 청취자의 환경이나 선호에 맞춰서 신호를 변형시키는 것이다. 예를 들어서 배틀그라운드와 같은 게임을 플레이할 때 게임 자체는 입체음향을 구현할 수 있게 멀티채널 신호를 출력한다고 가정해보자. 하지만 헤드폰만 사용해서 게임을 플레이하고 있다면 사용자는 2채널밖에 재생할 수 없다. 따라서 멀티채널의 신호를 어떻게 2채널에서 공간감을 유지한 채 재현하고자 한다면 음장효과를 적용하게 되는 것이다.

음장효과는 단순한 다운믹스 알고리즘부터 시작해서 보다 정교한 매트릭스 인코딩/디코딩에서 심리음향을 반영한 복잡한 효과에까지 이른다. 그 대상도 헤드폰에서부터 22채널이 넘어가는 멀티채널 환경까지 다양하다.

구현 방식에 따른 분류

위에 설명한 대로 음장효과는 간단한 다운믹스 알고리즘으로부터 보다 복잡한 구현 방식에까지 다양하게 존재한다. 개중 사용자가 자신의 환경에 맞는 효과를 찾게 되는데, 그 구현 방식에 따라 그 특징이 다른 만큼 적절하게 사용해야 할 필요가 있다.

가장 간단한 음장효과는 기본적인 다운믹스 알고리즘이다. 5.1채널의 경우 좌, 우 채널은 그대로 사용하고 센터 채널은 중복되는 부분이므로 볼륨을 3db 낮춰서 좌, 우에 각각 넣는다. 그리고 서라운드 채널은 그대로 좌, 우에 배당하거나 적절하게 볼륨을 낮춰서 믹스한다. 이런 알고리즘을 사용하는 이유는 최소한의 처리를 통해서 자연스러운 소리를 구현하는 한편 어떤 채널에서 발생한 소리도 사용자가 듣지 못하는 일을 방지하기 위해서이다. 이것보다 더 정교하게는 잔향을 추가하거나 서라운드 채널에 딜레이를 넣어서 공간감을 추가하는 방식이 있다.

그 다음은 매트릭스 디코딩/인코딩인데 이것도 위의 방식과 유사하다. 5.1채널 신호를 2채널로 압축하거나(당연하지만 손실압축이다.) 2채널 신호를 보다 많은 채널의 신호로 확장하는데 쓰인다. 임의의 2채널 신호를 확장할 수 있으므로 멀티채널 환경에서 자주 쓰이는 기술인데 예를 들면 돌비 프로로직 2 디코더는 2채널 신호를 5.1채널로 확장할 수 있는데, 좌우 채널은 그대로 삽입하고 센터 채널은 좌우 채널에서 약 70%가량으로 볼륨을 줄여서 합성한다. 그리고 서라운드 채널은 좌우 채널의 위상을 바꾼 다음 크기를 줄여서 넣게 된다. 이렇게 하면 5.1채널의 신호가 생성된다. 이 방식도 역시 최소한의 손실로 멀티채널 신호를 얻고 싶을 떄 사용한다. 헤드폰 앰프에 자주 들어가는 크로스피드 효과도 위의 매트릭스 디코딩과 유사한 방법으로 동작한다. 좌우 채널을 일정 정도 섞어서 입체감을 구현하는 것이다.

보다 복잡한 방식은 HRTF와 같은 기술을 사용해서 심리음향적 효과를 통해 공간을 시뮬레이션하는 방법들이다. 리버브와 같은 효과가 들어가기도 하고 EQ를 사용하기도 한다. 특허로 보호되어 있는 알고리즘도 많고 알고리즘마다 그 구현 방식이 다르기 떄문에 일괄적으로 설명하기 힘들다. 최근에는 기존의 채널 기반 음원을 객체 기반 음원으로 변환한 다음 다시 채널 기반 음원으로 변환하는 방식으로 입체음향을 구현하는 기술도 있다.

사용 용도에 따른 분류

음장효과는 사용하는 용도에 따라서도 분류할 수 있다. 가장 일반적인 것은 2채널 환경에서 멀티채널 환경을 시뮬레이션하거나, 자체적인 공간감을 형성하는 것이다. 하지만 AV 분야에서는 보통 낮은 채널 수를 높은 채널 수로 변환하는 음장효과를 자주 사용한다.

가장 흔한 부류는 헤드폰에 맞춰서 제작된 음장효과이다. 헤드폰은 기본적으로 2채널이기 때문에 멀티채널 음원을 2채널에 맞게 재생하거나, 2채널 음원을 추가적인 처리를 거쳐서 자체적인 공간감을 형성하는 부류이다. 최근에는 객체 기반 입체음향 기술을 바탕으로 한 효과도 출시되고 있다.

그 다음은 멀티채널을 위한 업믹스 음장효과이다. 주로 AV 리시버에서 채용되는데, 이런 부류의 음장효과는 2채널이나 5.1채널과 같은 표준적인 채널 배치에서 자신이 사용하는 환경에 맞게 업믹스해 준다. 간단하게는 매트릭스 디코더를 사용하는데 돌비 프로로직 시리즈나 DTS Neo6과 같은 제품들이 이에 해당한다. 이보다 더 발전되면 리시버 제조사 고유의 알고리즘을 사용하거나 돌비 서라운드 업믹스나 DTS 뉴럴 X와 같은 객체 기반 입체음향 기술을 사용한 제품들을 사용한다.

지금은 대체적으로 사장되는 기술이지만 2채널 스피커를 위한 기술들이 있다. 2채널 환경에서 HRTF와 같은 기술들을 이용해서 다채널 스피커가 있는 것처럼 시뮬레이션해 주는 것들이다. 예전부터 돌비 버츄얼 스피커와 같은 기술이 사용되었으나 현재는 DTS 버츄얼 X와 같은 기술들까지 개발되었다. 하지만 2채널 환경을 AV에 사용하는 경우가 사운드바와 같은 특수한 환경에만 한정되기 때문에 사장된 기술이었으나, 최근에는 스마트폰에 스테레오 스피커가 탑재되고 사용자들의 오디오 품질에 대한 수요가 늘었기 때문에 스마트폰의 스테레오 스피커를 위한 음장효과 개발도 활발히 진행되고 있다.

논쟁

오디오파일과 AV 마니아 사이에서는 음장효과를 사용하는 것이 좋냐 마냐의 논쟁이 계속해서 이루어져 왔다. 기본적으로 모든 오디오 신호에 추가적인 처리를 거치면 원본 신호와 비교해서 왜곡이 발생하는 것이기 때문에 이를 허용하느냐 마느냐는 취향에 따라 극적으로 갈리는 요소이다.

우선 HI-FI 매니아의 경우에는 음반에 기록된 원음을 최대한 그대로 재생하는 것을 목표로 하기 때문에 음장효과의 적용을 기피해왔다. 이쪽은 기본적으로 '비트 퍼펙트'라고 해서 오디오 기기까지 신호의 변화 없이 전달되는 것을 추구한다. 예를 들면 입체감을 향상시킬 시 명료도가 낮아지는 것도 있고, 소스기기가 아날로그 신호일 경우에는 디지털로 변화하고 다시 아날로그로 변환하는 과정에서의 손실이라던가, 디지털 신호일 경우라도 비트레이트의 변화가 발생한다는 것이 대표적인 기피요소로 꼽힌다.

하지만 2010년대에 들어서서는 높은 연산력을 가진 DSP를 사용한 이퀄라이저로 룸 코렉션과 같은 용도로 제한적으로 사용하는 경우가 늘고 있다. 연산량이 증가할수록 이퀄라이저나 다른 음장효과를 적용했을 때 발생하는 부작용이 감소하기 때문이다. 주로 어큐페이즈 사의 보이싱 이퀄라이저나 DIRAC Live같은 소프트웨어들이 사용되고 있다.

반면 AV 마니아의 경우에는 소스 채널과 청취환경이 다른 경우가 많기 때문에 예전부터 매트릭스 디코더와 같은 음장효과를 사용하는 경우가 많다. 하지만 일부는 소리의 명료도가 낮아진다는 이유로 추가적인 처리를 거치지 않고 그대로 청취하였다. 절충해서 룸 코렉션과 같은 용도로만 제한적으로 DSP를 사용하는 부류도 있다.

블루투스 오디오와 사운드바는 크기의 제약과 채널 수의 제약으로 적극적으로 DSP를 활용한다. 블루투스 이어폰이라면 EQ를 통해 음역대를 보강하거나, 플랫하게 만드는 등의 목적으로 활용한다. 블루투스 스피커는 저음대 재생이 어려운 것을 EQ로 보상하는 방법을 채택하고 사운드바의 경우에는 멀티채널 오디오를 구현하기 위해 가상 서라운드 음장효과를 사용하는 식이다.

주로 2000년대 중후반까지 '노멀음'과 같은 주제와 더불어 이런 논쟁이 활성화되었지만 2010년대에 들어서서는 컨슈머 제품에서 음장효과를 사용하는 비중이 감소하였기 때문에 논쟁도 자연스럽게 감소하고 개인의 취향에 맞춰서 음장효과를 사용하거나 사용하지 않는 추세이다. 주로 음악감상 시에는 EQ를 제외한 음장효과를 적용하는 것을 기피하지만 동영상 재생이나 게임에는 음장효과를 적극적으로 사용하는 것이 일반적.

음장효과 소개 및 촌평

SRS

SRS Labs(지금은 DTS에 합병됨)에서 개발한 입체감 강화 솔루션이다.

• SRS WOW

  윈도우 미디어 플레이어에 번들된 것으로 유명하며, 적용하면 가운데에서 들리는 소리(주로 보컬)를 양 옆으로 확장시켜주는 효과가 난다. 조절 가능한 파라미터로 효과 강도를 지정 가능하다. 하지만 소리를 강제로 잡아찢는 만큼 명료도 손실이 매우 크게 일어난다. SRS Truebass와 같이 내장되는 경우가 많다.

• SRS WOW HD

  SRS WOW를 개선하여 만든 솔루션이다. 구버전에 비해 적용시 명료도가 크게 개선되었다. 윈도우 모바일 환경이라면 cab 인스톨만으로 쉽게 적용할 수 있었으므로 많은 PDA와 초창기 스마트폰 유저들이 애용하였다. 또한 삼성전자에서 발매한 MP3 플레이어인 Yepp 시리즈에 적용되었는데, 구체적으로는 DNSE(후일 사운드얼라이브로 발전)가 탑재되기 전 모델들에 주로 탑재되었다. 또한 파라미터는 제공하지 않았지만 갤럭시 플레이어초창기 모델이나 갤럭시 S와 같은 초창기 스마트폰에 내장된 음악 플레이어에 채용되었다. SRS WOW HD는 크게 4가지 구성요소로 이루어지는데 각각의 효과 크기를 조절할 수 있었다. SRS Truebass와 같이 내장되는 경우가 많다.

  가장 주요한 요소는 SRS 3D이다. SRS WOW 효과의 직접적인 개선판인데, 이 부분은 사운드의 입체감 확장에 관여한다. 많이 적용할수록 명료도가 낮아지고 입체감이 향상되나 후술할 Focus와 Center Effect로 보정할 수 있다.

  SRS Center Effect는 다른 채널에 비치된 요소를 얼마나 센터 채널로 보낼지를 결정한다. SRS 3D만 사용하면 사운드가 모두 다른 채널로 퍼져서 명료도가 극악이 되는데, 이것을 사용하면 좌우 채널에서 공통되어야 할 부분을 가운데에 정위치시켜서 명료도 손실을 막아준다. 파라미터를 높이면 높일수록 소리가 가운데에 모이고 입체감이 떨어진다.

  SRS Focus는 음상을 개선하는 요소이다. 파라미터를 높이면 높일수록 음상이 또렷해지는데, 위의 Center Effect를 최소한으로 사용하더라도 Focus를 높임으로서 명료도를 개선할 수 있다.

  SRS Definition은 사운드 블라스터 시리즈에 내장되는 X-fi crystalizer와 유사한데, 고음역대의 배음을 확장시켜서 명료도를 개선하는 수단이다. 위의 효과만큼 강하지는 않지만 명료도 확장에 기여한다. 하지만 파라미터를 너무 높일 시 치찰음이 강조되거나 클리핑이 생기는 부작용이 있다.

• SRS Truebass

  SRS에서 개발한 저음 강화 솔루션이다. 저음 강화는 EQ만으로도 해결될 것 같지만, 소형 스피커가 달린 기기에서는 저음역대 자체를 재생할 수 없는 경우가 많기 때문에 저음역대의 신호는 손실된다. 따라서 모든 악기에는 기음과 배음이 있는 점에서 착안하여 저음역대 신호의 배음을 증폭하는 기술이다. 이를 통해 청취자가 해당 음역대에 해당하는 악기의 존재감을 잘 느끼도록 하는 데에 초점이 맞춰져 있다.

• SRS TruSurround

  2채널 스피커에서 멀티채널 효과를 내기 위한 기술이다. 멀티채널 신호를 심리음향적 효과를 사용해서 2채널로 다운믹스하는데, 대부분의 음악은 2채널로 제작되어서 상관 없으나 영화와 같은 포맷에서는 돌비 디지털 등을 사용해서 5.1채널 포맷으로 제작되기 때문에 이를 적절하게 듣기 위해서 개발되었다. 나중에 버전업을 통해 SRS TruSurround XT로 이름이 바뀐다.

• SRS Dialog Clarity

  멀티채널 환경에서 대사의 명료도를 개선하기 위한 기술이다. 센터 채널이나 다른 채널에 있는 대사 요소를 강조한다.

• SRS Circle Surround 5.1

  5.1채널 환경에서 사용하는 솔루션이다. 매트릭스 디코더보다 복잡한 알고리즘을 사용해 2채널 신호를 5.1채널 신호로 확장할 수도 있었으며, 각 채널 간의 요소를 재배치해서 공간감을 사용하는데 주로 쓰였다. 돌비 프로로직과 같은 매트릭스 디코더와 병행해서 사용하는 방법도 많이 활용되었다.

• SRS Circle Surround Headphone

  위의 SRS Circle Surround 5.1의 헤드폰 버전이다. 5.1채널 신호를 입력받거나 2채널 신호를 HRTF 등을 사용해서 확장시켜주는 기술이다. 하지만 상당히 초창기의 기술이었기 때문에 품질이 낮아 실제 사용되는 경우는 드물었다.

윈도우 XP까지는 SRS Audio Sandbox라는 프로그램을 사용해서 SRS WOW HD, SRS TruSurround XT, SRS Circle Surround 5.1, SRS Circle Surround Headphone과 같은 기술들을 사용할 수 있었다.설명서 PDF 이 프로그램은 SRS premium sound으로 버전업하였지만 SRS가 DTS에 인수된 다음 판매종료되었다.

Dolby 계열

돌비 사는 돌비 디지털과 같은 다채널을 담을 수 있는 코덱뿐만이 아니라 전통적인 음장기술 쪽의 제품도 내놓고 있다. 윈도우 10이 출시되기 전까지만 해도 AV 리시버나 노트북 같은 곳에 OEM으로 주로 탑재되었기 때문에 사용자들이 접하기 힘들었으나, 최근에는 윈도우 10에서 Dolby Access 앱을 통해 적용할 수 있는 Dolby Atmos For Headphones와 같은 경우나 삼성 갤럭시 스마트폰에 Dolby Atmos 음장이 탑재되어서 쉽게 접할 수 있는 음장 중 하나가 되었다.

Dolby Pro Logic 계열

• Dolby Surround
  

  초창기 쿼드러포닉 시대에 사용했던 음장효과로서 VHS와 같은 영상매체에서 자주 사용되던 음장효과이다. VHS는 아날로그 스테레오 트랙만 담을 수 있었기 때문에 당시 최신 AV 환경인 쿼드러포닉에서 사용하기에는 후방과 센터 채널 부분을 따로 만들어줘야 하는데, 당시 영화관에서 사용하던 돌비 스테레오 서라운드에서 사용하던 매트릭스 디코더와 근본적으로 같은 기술을 사용하였다. 예전 워크래프트 3 같은 게임을 하면 사운드 옵션에 'Dolby Surround'를 볼 수 있었는데, 이것은 돌비 서라운드에 대응하게 인코딩한다는 의미이다. 출력은 2채널로 하지만 대응하는 리시버에 연결하면 쿼드러포닉 형식으로 변환하여 출력된다. 슈퍼패미컴과 같은 게임 콘솔에서도 지원한다.

• Dolby Pro Logic
  

  돌비 서라운드가 좀 더 발전된 형태로서 기본적인 사항은 돌비 서라운드와 크게 다르지는 않다. 차이점은 디코더를 개량해서 후방 서라운드 채널의 저음역대 개선과 딜레이를 삽입하는 등 입체감 개선에 영향을 주었다. 이것도 역시 대응하는 디코더를 탑재하고 있는 장비에 연결해야 입체음향을 구현할 수 있다.

여기까지는 2010년대 이후 시점에서 주로 사용되지는 않는 형식들이다. 왜냐하면 표준적인 5.1채널 배열이 아니기 때문에 현대의 환경에 맞지 않기 때문이고, 현대의 매트릭스 디코더들이 같은 역할을 좀 더 잘 수행할 수 있기 때문이다.

• Dolby Pro Logic II
  

  돌비 프로로직은 쿼드러포닉을 전제하여 설계하였으나, Dolby Digital(AC3) 이후 5.1채널 배열이 보편화되었기 때문에 이에 대응하여 나온 매트릭스 디코더이다. 돌비 서라운드를 전제하여 제작된 음원 및 보통의 2채널 음원도 대응하여 5.1채널로 확장할 수 있다. 꽤나 간단한 원리로 구성되어 있기 때문에 많은 업체들이 채용하였으며 일부는 자사 고유의 알고리즘으로 후처리를 하기도 한다. 돌비 프로로직 2는 현재에도 많은 기기들이 2채널 소스를 5.1채널로 확장하는 도구로 사용되고 있으며 같은 용도로 DTS: NEO 6과 경쟁한다. 플레이스테이션 2가 일부 타이틀에서 돌비 프로로직 2 형식으로 인코딩한 소리를 출력할 수 있다.

• Dolby Pro Logic IIx

  돌비 프로로직 2의 리어 서라운드 대응 버전. 7.1채널 형식의 신호를 생성할 수 있다. 2채널 신호의 확장뿐만 아니라 5.1채널 신호도 7.1채널로 확장할 수 있다. 또한 파라미터가 추가되었는데, SRS WOW 3D에서 나온 것과 유사하다. Dolby Center Width는 전방 채널(센터와 프론트)에서 재생될 소리의 비율을 조정하고 Dolby Panorama는 얼마나 많은 신호를 후방이나 사이드 채널로 보낼지를 결정한다. Dolby Dimension은 심리음향적인 음장의 크기를 조절한다. 이런 파라미터들은 소니의 WH-L600같이 고정되어서 작용시키는 경우도 있고, 야마하의 사운드바처럼 설정에서 조절할 수 있는 경우도 있다.

• Dolby Pro Logic IIz

  2000년대 후반과 2010년대 초반에 높이 개념이 추가된 3차원 입체음향이란 개념이 도입되었지만 대응 소스가 없었기 때문에 기존의 매트릭스 디코더를 개량하여 우선적으로 대응하는 발상에서 나온 기술이다. 기본적인 5.1채널 배치로부터, 7.1채널 배치, 그리고 각각의 경우에 2채널의 전방 하이트 채널을 추가한 경우에 맞춰 유연하게 설정할 수 있으며 보통은 사용하는 AV 리시버의 채널 설정에 맞춰서 조절된다. 위의 돌비 프로로직 2나 돌비 프로로직 2x와는 달리 하술할 Dolby Surround Upmixer에 의해 거의 완벽하게 대체된 상태라 역설적으로 현대에는 거의 볼 수 없다.

  돌비 사의 설명에 따르면 하이트 채널에서는 비방향성인 앰비언스 성분만 재생하여 원래 소스를 해치지 않는다고 한다. 바꿔 말하면 이후에 나온 객체 음향 기반 업믹서들과는 방향성이 다르게 (보다 소극적인) 설정되었다는 의미이다.

Dolby ATMOS 계열

Dolby사의 객체 기반 입체음향 기술인 Dolby ATMOS가 출시된 이후, 그에 대응하는 음장효과 기술도 같이 출시되었다. 대표적으로 Dolby Surround Upmixer와 Dolby atmos for headphones이다. 기존 돌비사의 기술들이 제품들에 OEM으로 포함되어 나온 반면, Dolby Atmos for Headphone은 애프터마켓 시장에 출시되었고, 갤럭시 S9 등의 스마트폰에 통합되어서 대중화되었다.

• Dolby Surround Upmixer

  Dolby Pro Logic 시리즈에서 벗어나서 Dolby Atmos에 통합된 채널 확장 음장효과이다. 그렇기 때문에 Dolby Atmos와 같이 제공되며 Dolby Atmos가 탑재된 기기는 대부분 이것을 포함하고 있다. Dolby Atmos 디코더 (객체 음향 렌더러, 채널 기반 음향 디코더) 후단에서 작용하는 후처리로서, 2채널, 5.1채널, 7.1채널과 같은 기존 채널 배열의 신호를 사용자가 원하는 채널로 믹싱해주는 역할을 하고 있다. 경쟁사의 기술인 DTS Neural:X보다는 효과가 극적이지 않기 때문에 취향에 따라 선호가 갈리게 된다.

  여기까지만 해도 Dolby Pro Logic 시리즈와 같은 기능을 하지만 (알고리즘이 다르긴 해도) 화제가 된 이유는 돌비 사가 자사 코덱을 사용한 경우 경쟁사의 서라운드 업믹스 기술을 사용할 수 없게 막아버림으로서 기존에 나온 수많은 돌비 사의 코덱을 사용한 기기들이 눈물을 머금고 이것을 사용해야 했기 때문이다. 하지만 유럽에서 패소하였기 때문에 이 제한은 풀릴 것으로 보인다.

• Dolby Atmos For Headphones

  돌비 사의 헤드폰 가상 음장 기술이다. 적용상으로는 위의 Dolby Surround Upmixer 후단에 적용되는 '서라운드 버추얼라이저'로서 적용된다. 윈도우에서의 7.1채널 가상 서라운드나 삼성 갤럭시 시리즈에서 Dolby Atmos 옵션을 키면 이것이 적용된다. DTS 사의 DTS: Headphone X의 직접적인 경쟁사인데, DTS 사의 기술은 사전에 인코딩하는 것도 포함되는 반면 이것은 순수한 후처리 기술이다. 예전에 적용되었던 헤드폰 음장들에 비해 원음을 크게 훼손하지 않는 범위 내에서 공간감을 증대시켜 준다. 이것이 독립적으로 적용되는 것도 있는데 오버워치 같은 경우에는 윈도우에서 이것을 사용하지 않더라도 게임 내에서 옵션을 키면 이것이 적용된다.

  많은 게이밍 헤드폰들에도 자체 가상 서라운드 음장 대신 이것이 번들로 탑재되기도 하고 엑스박스 원 같은 경우에도 이것을 사용할 수 있다. 경쟁작인 DTS: Headphone X에 비하면 서라운드 효과나 다이나믹감(박진감)이 약한 대신 조금 더 자연스럽다.