Spatial Audio In UWP apps and games - Build 2016

https://channel9.msdn.com/Events/Build/2016/B876

 

이 세션을 진행하는 동안 당신은 공간 오디오(Spatial Audio)가 무엇인지, 가장 좋은 공간 오디오를 사용하는 방법, 앱과 게임에 적용하는 방법등을 배울 수 있다.

 

 

 

 

1. 공간 오디오가 뭔가요?(Spatial Audio)

 

1) 전통 적인 오디오는 평면이다(?) 5.1 채널, 7.1 채널 기타..

2) 공간 오디오는 소리가 오브젝트로부터 3차원 공간을 통해 직접 전달되는 환상을 줄 것이다.

3) 현실에서 당신이 듣는 것들이 공간 오디오이다.

 

 

2. 프로젝트 페노로스(Project Penrose)

 

1) 마이크로소프트 홀로랜즈의 오디오 기술을 UWP app과 홀로랜즈, 데스크탑, 폰, 엑스박스 원용 게임에 사용할 수 있다.

2) 이 오디오 기술은 HRTFs와 해드폰에 최적화 되어 있다.

3) 개발자는 공간오디오를 AudioGraph API나 Unity를 이용해서 사용할 수 있다.

 

 

3. HRTF가 뭔가용?(Head-related transfer function)

 

1) 2개의 귀는 3차원의 소리를 듣는다.

. 방향(left/right, front/back)

. 고도(위/아래)

. 거리

2) 머리 모양, 외부 귀, 내부 귀, 뇌의 작업은 우리가 위치를 인식할 수 있도록 한다.

3) HRTF는 소리가 우리 귀의 왼쪽이나 오른쪽에 도달하는 방법을 이야기한다.

 

 

4. HRTFs와 머리 방향 추적(Head Orientation Tracking)

 

1) 듣는이의 머리 움직임을 추적하고 방향을 업데이트하면 정확한 사운드를 만들 수 있다.

. 앞과 뒤의 혼돈을 줄일 수 있다.

. 고도 인식을 향상 시킬 수 있다.

2) 잠재적으로 머리의 움직임은 공간의 정보를 정확하게 이해하도록 되어있다.

3) HRTF 기반 오디오 랜더링은 해드폰과 방향을 추적할 때 향상된다.

 

 

5. AudioGraph API in Windows 10

 

입력된 신호들을 SubmixNode를 이용해서  먼가 작업을 하는 듯하내요..

 

 

 

6. Emitter와 Listener를 추가

1) Emitter

. 사운드를 만드는 소스

. 입력 소스나 submix를 사용할 수 있다.

. #emitters 멀티 팩터 지원

. 방향, 위치, 속도에 영향을 준다.

2) Listener

. 공간 오디오를 듣는

. 오직 1개의 리스터/AudioGraph만 지원

. 방향, 위치, 속도에 영향을 준다.

 

 

7. AudioGraph in Windows 10 RS

 

기다리던 데모

 

. 데모를 시작하기전에 코드를 잔득 보여주면서 설명을 하는데..음음..

 

. 경찰차가 사이렌을 울리면서 위 아래로 움직이면 사운드가 크게 들렸다가 작게 들렸다가 하네요..

. Emitter를 변경하는 데모네요~

 

 

 

 

8. Head Tracking and AudioGraph Listener Position

 

두번째 데모 이번에는 리스너를 변경하는 데모..

그러나 감동이 없어서 패스

 

 

 

9. 공간 오디오 응용프로그램

 

1) 증강 및 가상 현실

2) 영화 감상

3) 음악 감상

4) 게임

 

 

10. The Guide Dogs Project

 

공간 오디오를 이용해서 어르신들을 위한 안내 앱 개발 프로젝트를 진행하는 듯합니다.

 

 

 

11. 가상 스피커 포지션

 

기존 5.1 채널 동영상을 가상 스피커를 추가한 후에 재생해주는 데모

 

 

 

12. Background Audio는 한번에 처리 가능

 

앱에 backgroundMediaPlayback 기능을 추가하고 사용하면 된다

 

 

 

 

13. Unity와 공간 오디오

 

우왕 여기는 으흠..유니티에 공간 오디오를 도입하면 어떻게 된다..라는 내용이 대부분인데..

분야가 좀 다르다 보니 무슨 이야기인지 잘 모르겠네요..

여하튼 유니티를 이용해서 공간 오디오를 추가하면 엄청난 효과를 낼 수 있다는 내용인 것 같네요

 

더 자세한 내용은 직접 동영상을 보시는 것이 좋을 듯하네요