10. 컴퓨터 게임과 AV기술

1. AV 데이터의 품질

AV란?

 Audio Video 혹은 Audio Visual

* 오디오(Audio) : 귀, 청각

* 비디오(Video, Visual) : 눈, 시력

가. 컴퓨터게임의 기술

1) 온라인 게임의 장르

- 슈팅게임 : 반응속도, 정확도, 위치, Interactive

- 시뮬레이션 게임 : 화질

2) AV Quality

RTS장르에서 중요하다.

3) 지연(Latency)

얼마나 즉각적인 반응을 보이는지 반응

4) 동기화(Synchronization)

동시에 뭔가 일어아는 것

나. 게임장르 품질 요구사항

1) 인터넷 품질

- 좋은 품질의 게임은 데이터양이 많다.

- 많은 데이터량을 빨리 보내지 못하면 반응속도가 떨어짐

- 버퍼링이 생김

2) 미디어품질(Media Qos)

- AV quality

- 반응성(Interactivity)

- 연속성(Continuity)

3) 네트워크 품질(Network Qos)

- 대역폭(Bandwidth)

- 지연, 지터(Delay, Jitter) : 데이터 도착 속도 지연

- 손실 (Loss) : 데이터를 쪼개서 보내는데 이것이 중간에 손실이 될 수도 있다.(Packet)

※ 네트워크 우선순위 ※

- 오디오

- 비디오

4) 미디어 서비스의 품질

- RPG : 딜레이에 덜 민감, 화실에 민감

- 레이싱게임 : 딜레이에 민감, 화질에 덜 민감

하지만, 최근 경계가 무너지도 모든 것이 다 중요하게 됨

5) 모바일과 비디오

- 모바일망, 3 low, 1 high

* 3 low *

- 대역폭이 낮음

- 배터리 유지

- 소명화로 인한 낮은 성능

* 1 high *

- 높은 통신요금

* 변화가 심한 망 *

핸드오버순간에 일시적으로 통신이 끊길 수가 있기 때문에 중간

네트워크가 불안하다.

※ 핸드오버(Hand over) : 통신망이 기지국 간으로 옮겨가는 것

2. 오디오 데이터

가. 인간과 소리

- 사람의 능력과 크게 관계됨

- 가청주파수(약16Hz ~ 20,000kHz)

- 사람이 낼 수 있는 주파수 3.2kHz

- 높은 주파수 = 심한 변화

- 오디오에 따라 변화하는 감정

나. 공명 주파수

1) 징

- 신체의 폐를 자극한다.

- 220Hz

2) 꽹과리

- 방광

- 355Hz

다. 오디오 데이터 생성

1) 스태틱 오디오(Synthetic Audio)

- Text to Speech

- 합성한 소리

- 전자악기

2) Natural sound

- 마이크로 들어오는 소리

- AD conversion에서 아날로그에 해당된다.

3) 증강현실 사운드

- Natural sound + Synthetic Sound

4) TTS(문자음성 자동변환기술) and Synthesizer

- 정보를 미리 넣어 저장한 후 변환을 통해 아날로그 소리로 바뀌는 것이다.

5) 음색(Timber, Tone Color)

같은 주파수의 소리를 만들어도 들었을 때의 느낌이 다른 것

신호의 비율차이에 의해서 생긴다.

라. 오디오의 품질

- 1초에 몇 번의 샘플링

- 한 샘플 당 몇 비트

- 몇 개의 채널

1) Sample Rate

주파수가 많을 수록 더 많은 샘플링을 더 많이 해야된다.

2) Accuracy

- 샘플의 정확도

- 레벨의 개수

3) Number of Channels

- 스테레오 : 좌우를 통해 입체감을 살린다.

- 5.1채널, 7,1채널 등

※ 최소한의 샘플링 횟수

- 가장 높은 주파수의 2배 이상

4) 오디오 데이터의 압축

-  CD 1장은 1시간을 들을 수 있게 되어있었다.

- 압축기술의 발전으로 이제 CD 1장으로 10시간 재생이 가능하다.

5) 입체음향과 5.1 Surround Channels

FPS게임에서 말하는 사플(사운드플레이라)이 가능한 이유가 바로 입체음향 덕분이다.

* 입체음향 *

- 입체음향은 좌우의 소리 도착 속도 차이를 이용한다.

- 현재는 인공적으로도 가능하다고 한다.

- 현장감이 구현된다.

* 5.1 서라운드 채널 *

- 6개의 스피커를 사용한 입체 방향을 구현한 채널

- 5개의 보통 주파수

- 1개의 낮은 주파수

- 더 많게 스피커를 배치할 경우 더욱 질 좋은 입체음향이 탄생한다.

5.1 채널 뿐만 아니라 7.1 채널 / 10.2채널 / 11.1채널 / 22.2 채널 등 다양한 규격이 나왔다.

3. 비디오 데이터

가. 비디오 데이터의 소스

1) Synthetic

- 포토샵

- 그림판

- 컴퓨터 그래픽(CG)

2) Natural

- 많은 데이터양

- AD conversion을 거쳐 디지털화

3) Augmented reality

- Synthetic + Natural

- 합성하는 것

- 뉴스에서 일기예보 기상캐스터(Natural), 배경(Synthetic)

- 포켓몬고의 풍경은 Natural, 포켓몬은 Synthetic

나. 컴퓨터 그래픽(Computer graphic)

1) 벡터(Vector Graphic)

- 그림단위 : 선, 면

- CG에서 사용

- Amount of data(데이터의 양) : 비트맵에 비해 적음

2) 비트맵(Bitmap)

- 그림단위 : 픽셀, 점

- CG는 불가능

- Amount of date(데이터의 양) : 벡터에 비해 많음

다. 비디오의 품질요소

1) 해상도(Resolution)

- 4K(3840 * 2160)는 8,294,000 화소

- FHD(1920*1080)은 2,073,600 화소

2) 비트수(bits)

- Accuracy에 관여함

- 8비트(bit), 24비트(bit) 등 비트의 양에 따라 구현할 수 있는 색의 수가 다르다.

- 비트가 많은 수록 선명하다.

- 1바이트(byte)는 흑백화면이다.

3) 프레임(Frame)

- 초당 몇 장의 그림을 생산하는가?

- 24프레임, 60프레임

4) 시점(View)

- 3D로 볼 경우 눈의 각각 위치차이를 이용하여 2개의 영상을 동시에 송출하는 것이다.

- Mono - 1view

- Stereoscopic = 2view

5) 샘플링(Sampling)

- 높은 해상도에 맞춰 샘플링

- 샘플링 빈도는 해상도가 높아지는 것이다.

6) 색묘사 방식(Color representation)

* RGB방식 *

: 빛의 삼원색의 비율에 따라(Red Green Blue) / 1픽셀당 3바이트

* YUV방식 *

: Y(밝기), UV(컬러) / 사람이 흑백에 세밀함이 우선 / 데이터양이 RGB에 비해 적다.

7) 비디오 데이터 압축

60Hz UHD의 경우 17GBPS가 필요하기 때문에 900배 압축을 하여 20MBPS로 전달한다.

- 시간적 중복성 : 이전 화면을 참고해서 압축

- 공간적 중복성 : 기본적인 패턴에 매칭하여 압축

※ 압축의 문제, 디지털의 한계 ※

(1) 화면의 연이어 깨짐

(2) 복원화면을 넣음

(3) 화면이 늦게 뜸

8) 발전하는 비디오 기술

* RGBD *

- RGB방식에서 거리(Depth)까지 묘사하는 방식

* Streoscopic Video *

3차원적 입체감을 느끼게 하는 방식

- 적청 안경

- Oculus방식

- 편광안경

- 셔터방식

* 멀티 뷰 *

- 어느쪽에 있든 입체적으로 보이게 하는 방식

- 무안경