Chapter 17

AR/VR 근안 디스플레이

스마트폰 화면은 30 cm 앞에 있지만, 헤드셋의 디스플레이는 눈앞 2~5 cm에 있다. 이렇게 가까운 화면을 편하게 보려면 렌즈가 상을 멀리 띄워 주어야 하고, 시야 전체를 덮으면서도 망막의 해상도를 따라잡아야 하며, AR이라면 바깥 세상까지 투명하게 보여야 한다. 이 장에서는 근안 디스플레이(Near-Eye Display, NED)의 요구사항부터 마이크로디스플레이, 확대경과 팬케이크 렌즈, AR 도파관, 수렴–조절 불일치, 포비티드 렌더링, 저잔상 구동까지 차례로 다룬다.

시야각(FOV), 각해상도(PPD), 아이박스, 아이 릴리프 사이의 상충 관계를 설명하고 PPD를 계산한다.
마이크로OLED·LCoS·마이크로LED·DLP 마이크로디스플레이의 구조와 장단점을 비교한다.
얇은 렌즈 공식으로 확대경의 허상 위치·배율·FOV를 구하고, 팬케이크 렌즈의 광효율이 최대 25%인 이유를 편광으로 설명한다.
도파관의 전반사 조건과 격자 방정식으로 회절 결합이 가능한 범위와 색 분산을 계산한다.
수렴–조절 불일치(VAC), 포비티드 렌더링, 모션-투-포톤 지연과 저잔상 구동의 원리를 안다.

근안 디스플레이가 풀어야 할 문제

사람 눈은 25 cm보다 가까운 물체에 초점을 잘 맞추지 못한다(근점, (Near Point)). 그런데 헤드셋의 패널은 눈앞 수 cm에 있다. 그래서 모든 근안 디스플레이는 패널과 눈 사이에 광학계를 두어 패널의 상을 1~2 m 이상 멀리 띄운 허상(Virtual Image)으로 만든다. 이 광학계의 성능은 다섯 가지 숫자로 요약된다.

시야각(Field of View, FOV) — 허상이 덮는 각도. 사람의 양안 시야는 수평 약 200°, 단안은 약 160°이다. VR은 수평 90~120°, AR 안경은 대각 30~70°가 보통이다.
각해상도(Pixels Per Degree, PPD) — 시야 1°에 들어가는 화소 수. 시력 1.0(20/20)인 눈은 1 arcmin을 구분하므로 약 60 PPD가 "망막 해상도"의 기준이다(1장).
아이박스(Eyebox) — 영상 전체를 볼 수 있는 동공 위치의 허용 범위(보통 가로 10~15 mm 이상). 사용자마다 눈 사이 거리(IPD 54~74 mm)가 다르고 헤드셋이 흔들리므로 넉넉해야 한다.
아이 릴리프(Eye Relief) — 마지막 광학면에서 각막까지의 거리(보통 12~20 mm). 안경을 쓴 채 보려면 더 길어야 한다.
무게와 무게중심 — 머리에 쓰는 장치이므로 수백 g 차이가 착용감을 가른다. 광학계가 길수록 무게중심이 앞으로 쏠려 목에 걸리는 토크가 커진다.

그림 17-1. 근안 디스플레이의 기본 기하. 패널은 렌즈의 초점 거리 근처에 놓여 허상을 멀리 띄우고, 렌즈 가장자리와 동공이 만드는 각도가 FOV를 정한다. 동공이 움직여도 영상이 잘리지 않는 영역이 아이박스다.

PPD: 근안 디스플레이의 해상도 단위

스마트폰은 PPI로 해상도를 말하지만(3장), 근안 디스플레이에서는 패널 크기보다 눈에서 본 각도가 중요하다. 렌즈가 상을 확대하므로 패널의 PPI가 아무리 높아도 FOV를 넓히면 1°에 들어가는 화소는 줄어든다. 평균 PPD는 다음처럼 간단히 계산한다.

$$\text{PPD}_{\text{avg}} \approx \frac{N_h}{\text{FOV}_h}, \qquad \Delta\theta_{\text{px}} = \frac{60}{\text{PPD}}\ \text{arcmin}$$

$N_h$는 한쪽 눈의 수평 화소 수, $\text{FOV}_h$는 수평 시야각(°). 실제로는 렌즈 왜곡을 보정하는 과정에서 중심 PPD가 평균보다 10~30% 높고 가장자리는 낮다. 시력 1.0의 기준은 $\Delta\theta=1'$, 즉 60 PPD이다.

예를 들어 한쪽 눈 2064×2208 화소 LCD에 수평 FOV 약 110°인 헤드셋은 평균 $2064/110\approx19$ PPD, 렌즈 중심에서 약 25 PPD이다. 60 PPD를 110° 전체에서 얻으려면 한쪽 눈에만 가로 6,600 화소가 필요하다. 이것이 "넓은 FOV"와 "망막 해상도"를 동시에 얻기 어려운 근본 이유다.

제품(예)	패널	한쪽 눈 화소	FOV	PPD(중심)	광학
초기 VR(2016년경)	OLED 3.5"	1080×1200	~100° H	~11	프레넬
보급형 VR(2023년경)	고속 LCD 2.5"	2064×2208	~110° H	~25	팬케이크
고급 MR(2024년경)	마이크로OLED 1.4"	~3660×3200	~100° H	~34	팬케이크(3매)
전문가용 VR	마이크로OLED + LCD	중심 고해상 영역	~120° H	~50+	비구면 복합
AR 안경(회절 도파관)	LCoS / 마이크로LED	1280×720~2K	30~70° D	~30–50	도파관

표의 수치는 공개 자료를 바탕으로 한 대표값이며 제품·측정 방식에 따라 다르다.

PPD가 낮으면 두 가지 문제가 생긴다. 하나는 단순히 글자와 윤곽이 계단처럼 거칠어지는 것, 다른 하나는 화소 사이의 비발광 영역(블랙 매트릭스)이 격자처럼 보이는 스크린 도어 효과(Screen-Door Effect, SDE)다. 방충망 너머로 세상을 보는 느낌이라 붙은 이름이다. 화소 하나가 눈의 해상 한계(약 1′)보다 크게 보이면 그 사이의 틈도 보이기 때문이다. 아래 시뮬레이터는 시야 중심의 작은 영역(가로 4°, 모바일 2°)을 확대해 PPD에 따라 장면이 어떻게 보이는지 그린다.

SIMULATOR

PPD 계산기와 스크린 도어 효과

시야 중심 4°×2.5° 확대

한쪽 눈 수평 화소 수평 FOV 필 팩터(발광 면적비) RGB 서브픽셀 표시 눈의 해상 한계(≈1′) 블러 적용

프리셋

평균 PPD—

화소 1개의 각크기—

망막(60 PPD) 대비—

60 PPD에 필요한 화소—

해볼 것: ① 프리셋 "초기 VR"(≈11 PPD)에서 격자 무늬(SDE)와 작은 글자가 뭉개지는 것을 보자. ② 필 팩터를 100%로 올리면 SDE는 사라지지만 계단 현상은 남는다. ③ 화소를 6600까지 올리면 110°에서도 60 PPD에 도달해 블러를 켠 눈에는 화소 구조가 보이지 않는다. 장면은 교육용 합성 이미지이며, 패널 화소 하나의 평균색으로 다시 그리는 근사 모델이다.

에텐듀: 아이박스와 FOV는 공짜가 아니다

광학계는 빛다발의 "면적 × 입체각"인 에텐듀(Étendue)를 줄일 수 없다($G = A\,\Omega$ 보존). 눈 쪽의 에텐듀는 대략 (아이박스 면적) × (FOV 입체각)이고, 패널 쪽은 (패널 면적) × (패널이 빛을 내보내는 각도)다. 그래서 작은 마이크로디스플레이로 넓은 FOV와 큰 아이박스를 동시에 만들려면 패널이 넓은 각도로 빛을 내야 하거나, 도파관처럼 사출동을 여러 번 복제하는 기법(사출동 확장, Exit Pupil Expansion)으로 효율을 희생해야 한다. 이 장에서 계속 나오는 "효율 대 크기"의 상충은 결국 에텐듀 보존의 다른 얼굴이다.

마이크로디스플레이: 우표 크기의 초고해상 패널

렌즈의 초점 거리가 짧을수록 헤드셋이 얇아지는데, 짧은 초점 거리에서 같은 PPD를 얻으려면 화소 피치가 작아야 한다. 화소 피치 $p$, 유효 초점 거리 $f$인 확대경에서 화소 하나의 각크기는 $p/f$ 라디안이므로 중심 PPD는 다음과 같다.

$$\text{PPD}_{\text{center}} \approx \frac{\pi}{180}\cdot\frac{f}{p}, \qquad \text{FOV} = 2\arctan\frac{W}{2f}$$

$W$는 패널 폭. 예: $f=14$ mm, $p=6.6$ µm(약 3,850 PPI)이면 PPD ≈ 37. 같은 PPD를 $f=40$ mm 렌즈로 얻으려면 피치 19 µm(약 1,340 PPI)면 되지만 헤드셋 두께가 늘어난다.

스마트폰 OLED(약 450 PPI, 피치 56 µm)로는 이런 피치를 만들 수 없다. 유리 기판 위 TFT와 FMM 증착(15장)의 정렬 한계가 수십 µm이기 때문이다. 그래서 근안 디스플레이는 반도체 공정으로 만드는 마이크로디스플레이(Microdisplay)를 쓴다. 대각 0.2~1.5인치에 2,000~6,000 PPI가 보통이다.

그림 17-2. 마이크로OLED(왼쪽)는 실리콘 웨이퍼 위에 백색 OLED와 컬러 필터를 올린 자발광 패널이고, LCoS(오른쪽)는 실리콘 위 반사 전극과 액정으로 외부 조명의 편광을 화소마다 바꾸는 반사형 변조기다. 두 소자 모두 CMOS 백플레인 덕분에 화소 회로를 µm 단위로 만들 수 있다.

마이크로OLED(OLED on Silicon, OLEDoS)는 4장의 TFT 대신 실리콘 MOSFET으로 화소 회로를 만든다. 실리콘 트랜지스터는 이동도가 수백 cm²/V·s로 높고 균일해서 화소당 수 nA 이하의 미세 전류를 정확히 제어할 수 있다. RGB를 따로 증착할 수 없을 만큼 화소가 작으므로 백색 OLED + 컬러 필터 방식을 쓰며, 휘도를 높이려고 2~3단 탠덤 구조와 마이크로캐비티(8장)를 쓴다. 명암비가 사실상 무한대이고 응답이 µs 수준이지만, 컬러 필터가 빛의 2/3을 흡수하고 패널이 작아 휘도는 수천~1만 nits 수준이며 웨이퍼 크기 때문에 대형화가 어렵다.

LCoS(Liquid Crystal on Silicon)는 6장의 액정을 실리콘 위에 얇게 올린 반사형 공간 광변조기다. 스스로 빛을 내지 않으므로 외부 LED나 레이저를 비추어야 하고, R·G·B를 시간적으로 번갈아 비추는 색 순차(Field Sequential Color) 방식이 흔하다. 조명을 세게 하면 매우 밝아져 AR에 많이 쓰인다. DLP는 수 µm 미세 거울을 ±12° 기울여 빛을 켜고 끄는 MEMS 소자로 효율이 높지만 화소가 상대적으로 크다. 마이크로LED(10장)는 자발광이면서 수백만 nits까지 밝아 AR의 궁극 후보지만, 수 µm 칩의 효율 저하와 풀컬러 집적이 숙제다.

항목	마이크로OLED	LCoS	마이크로LED	DLP(DMD)
방식	자발광	반사형 액정 변조	자발광	반사형 MEMS 거울
화소 밀도	3,000–6,000 PPI	3,000–8,000 PPI	5,000–10,000 PPI(단색)	~2,000–4,000 PPI
휘도(패널)	1,000–10,000 nits	조명에 비례(높음)	10⁵–10⁷ nits	조명에 비례(높음)
명암비	매우 높음(∞급)	수백~수천:1	매우 높음	~1,000:1 이상
광학계 부담	작음(직접 관찰)	조명계+PBS 필요	작음	조명계 필요
과제	휘도·수명, 웨이퍼 크기	색 분리(Color Break-up)	효율·풀컬러·수율	크기·전력
주 용도	고급 VR/MR, 버드배스 AR	도파관 AR	도파관 AR(차세대)	AR 일부, 프로젝터

SIMULATOR

패널 크기·초점 거리 → PPI·PPD·FOV

패널 대각(정사각형 가정) 가로 화소 수 유효 초점 거리 f

화소 피치—

PPI—

FOV (수평)—

중심 PPD—

해볼 것: 패널 대각을 2.5"로 키우고(LCD급, 피치 증가) 초점 거리를 40 mm로 늘리면 FOV는 비슷하지만 헤드셋이 두꺼워진다. 반대로 1.3" 마이크로OLED에 f=14 mm를 쓰면 얇으면서 PPD가 높다. 왼쪽은 패널 크기를 실제 비율로, 오른쪽은 패널–렌즈–눈 기하를 그린다(왜곡 없는 이상 확대경 근사).

실리콘 백플레인이 주는 덤

CMOS 공정은 화소 회로 옆에 데이터 드라이버, 타이밍 제어, 감마 보정, 심지어 프레임 버퍼까지 같은 칩에 넣을 수 있다. 외부 배선이 몇 가닥으로 줄고, 4K×4K 패널을 90~120 Hz로 구동하는 대역폭(14장)도 칩 안에서 처리할 수 있다. 대신 8인치/12인치 웨이퍼 한 장에서 나오는 패널 수가 제한되어 단가가 높다.

VR 광학 ①: 확대경과 프레넬 렌즈

VR 렌즈의 원리는 돋보기와 같다. 볼록 렌즈의 초점 거리 $f$보다 가까이($d<f$) 물체를 두면 렌즈 뒤에서 볼 때 물체가 더 크고 먼 곳에 있는 것처럼 보이는 정립 허상이 생긴다. 얇은 렌즈 공식에 부호를 붙이면 다음과 같다.

$$\frac{1}{s'} = \frac{1}{f} - \frac{1}{d}\ \Rightarrow\ s' = \frac{d\,f}{d-f}\ (<0), \qquad m = -\frac{s'}{d} = \frac{f}{f-d}$$

$d$는 패널–렌즈 거리, $s'$는 상 거리(음수면 패널 쪽에 생긴 허상), $m$은 횡배율. $d\to f$이면 $s'\to-\infty$, 즉 허상이 무한원으로 가고 눈은 긴장을 푼 상태(0 D)로 본다. 실제 VR은 허상을 1~2 m(0.5~1 D)에 두도록 $d$를 $f$보다 약간 짧게 잡는다.

그림 17-3. 확대경 작도. 패널을 초점 안쪽($d=\tfrac{2}{3}f$)에 두면 굴절된 광선들을 뒤로 연장한 점에 3배 확대된 정립 허상이 생긴다($m=f/(f-d)=3$). 눈은 렌즈를 통해 이 허상을 본다.

FOV는 패널 가장자리에서 나온 빛이 렌즈를 지나 동공으로 들어오는 각도로 정해진다. 패널을 초점면에 두면 $\text{FOV}=2\arctan(W/2f)$로 렌즈와 눈 사이 거리와 무관하지만, 렌즈 지름이 유한하므로 아이 릴리프 $e$가 길어지면 렌즈 테두리가 시야를 잘라 $\text{FOV}\le 2\arctan(D_L/2e)$로 제한된다. 넓은 FOV를 원하면 지름이 크고 초점 거리가 짧은 렌즈, 즉 두껍고 무거운 렌즈가 필요하다.

초기 VR 헤드셋은 이 무게를 줄이려고 프레넬 렌즈(Fresnel Lens)를 썼다. 굴절은 렌즈 표면의 기울기만으로 결정되므로, 두꺼운 렌즈의 곡면을 동심원 띠로 잘라 평평하게 접어도 굴절 작용은 거의 같다. 대신 각 띠의 계단면에서 빛이 산란되어 밝은 물체 주변에 방사형 빛줄기(God Ray)가 생기고, 동심원 무늬가 대비를 떨어뜨린다.

그림 17-4. 프레넬 렌즈는 곡면의 기울기만 남기고 두께를 덜어 낸다. 같은 초점 거리를 얻으면서 가볍고 얇지만, 계단면에서 생기는 산란과 회절이 빛줄기(God Ray)와 동심원 아티팩트를 만든다.

SIMULATOR

광선 추적: 확대경의 허상·배율·FOV

패널을 좌우로 끌어 보세요

패널–렌즈 거리 d 초점 거리 f 패널 높이 W 아이 릴리프 e 렌즈 지름 D_L 프레넬 렌즈로 그리기

허상 거리(눈 기준)—

조절 요구량—

횡배율 m—

FOV (세로)—

해볼 것: ① d를 f에 가깝게 하면 허상이 무한원(0 D)으로 멀어지고, d를 줄이면 허상이 가까워진다. ② d > f로 넘기면 렌즈 뒤에 실상이 생겨 눈이 볼 수 없다. ③ 아이 릴리프를 늘리면 바깥 광선(빨간 점선)이 렌즈 테두리에 걸려 FOV가 줄어든다. 수평축은 실제 비율(mm), 얇은 렌즈·근축 근사.

VR 광학 ②: 팬케이크 렌즈와 편광 접힘 광로

확대경 방식의 헤드셋은 패널과 렌즈 사이에 초점 거리만큼(40~50 mm)의 빈 공간이 필요하다. 팬케이크 렌즈(Pancake Lens)는 이 공간을 빛이 세 번 왕복하도록 접어서 광학 모듈 두께를 절반 이하로 줄인다. 빛을 "되돌려 보냈다가 다시 통과시키는" 스위치 역할은 편광이 맡는다. 필요한 부품은 세 가지다.

하프 미러(50/50 Beam Splitter) — 렌즈 곡면에 코팅. 빛의 절반은 투과, 절반은 반사한다. 곡면 거울이므로 반사할 때 굴절력(배율)을 얻는다.
λ/4 파장판(Quarter-Wave Plate, QWP) — 원편광 ↔ 선편광 변환(13장의 원편광판과 같은 원리).
반사 편광판(Reflective Polarizer) — 한 방향 선편광은 투과, 직교 방향은 흡수하지 않고 반사한다(와이어 그리드·다층 복굴절 필름).

그림 17-5. 팬케이크 렌즈의 접힌 광로. ① 원편광이 하프 미러를 50% 투과 → λ/4가 선편광(↔)으로 바꿔 반사 편광판이 되돌려 보낸다(②). ③ 다시 λ/4를 지나 원편광이 된 빛은 하프 미러에서 50% 반사되며 손잡이가 뒤집히고, λ/4를 지나 직교 선편광(↕)이 되어 반사 편광판을 통과한다.

빛은 하프 미러를 한 번 투과하고 한 번 반사해야 눈에 도달한다. 하프 미러 반사율을 $R$이라 하면 투과율은 $1-R$이므로 두 사건의 곱은 다음과 같다.

$$\eta = (1-R)\,R \le \frac{1}{4}\quad(R=0.5\text{에서 최대}), \qquad \eta_{\text{unpol}} = \frac{1}{2}\,(1-R)\,R \le 12.5\%$$

편광되지 않은 빛을 내는 패널은 입사단 편광판에서 다시 절반을 잃는다. 실제 모듈은 코팅·필름 손실까지 더해 약 10~20%의 효율을 보인다. 나머지 빛은 패널 쪽으로 되돌아가거나 흡수되며, 일부는 의도치 않은 경로로 눈에 들어와 고스트를 만든다.

즉 팬케이크 렌즈는 두께를 효율과 맞바꾼 설계다. 눈에 100 nits를 보내려면 패널이 400~1,000 nits 이상을 내야 하므로, 휘도가 높은 고속 LCD(미니LED 백라이트)나 탠덤 마이크로OLED와 짝을 이룬다. 대신 반사가 곡면에서 일어나므로 수차 보정 자유도가 커서 프레넬보다 선명하고 갓 레이가 거의 없다.

SIMULATOR

단계별로 따라가는 팬케이크 렌즈의 편광

단계 진행

자동 재생 하프 미러 반사율 R 비편광 광원(편광판에서 50% 손실)

단계—

편광 상태—

남은 광량—

최종 효율—

해볼 것: "다음"을 눌러 빛이 세 번 지나가는 과정을 따라가자. 흐린 화살표는 손실되는 빛이다. 반사율 R을 바꿔도 효율 곡선(아래)은 R=50%에서 25%를 넘지 못한다. 이상적인 부품(흡수 0, 완벽한 λ/4)을 가정한 모델이다.

고스트와 편광 누설

반사 편광판의 소광비가 유한하거나 λ/4 파장판의 위상차가 파장·입사각에 따라 어긋나면, 첫 통과에서 일부 빛이 곧장 투과해 버린다. 이 빛은 하프 미러 반사를 거치지 않아 배율이 다른 흐릿한 이중상(고스트)을 만든다. 광대역·광시야각 λ/4 필름과 소광비 1000:1 이상의 반사 편광판이 팬케이크 품질을 좌우하는 이유다.

3D로 보는 근안 광학 모듈

지금까지 단면으로 본 두 가지 광학 구조를 입체로 살펴보자. VR 모드는 마이크로OLED–팬케이크 렌즈 적층–눈으로 이어지는 몰입형 헤드셋의 광학 모듈이고, AR 모드는 다음 절에서 다룰 회절 도파관이다. 마이크로 프로젝터에서 나온 빛이 입력 결합기에서 꺾여 유리판 안에 갇힌 채 전반사로 진행하다가, 출력 결합기를 만날 때마다 조금씩 눈 쪽으로 빠져나간다.

VR 팬케이크 모듈 · AR 회절 도파관

구조

VR: 분해 간격 AR: 도파관 내부 전파각 θ 라벨 표시 자동 회전

모드—

——

해볼 것: VR 모드에서 분해 간격을 0으로 하면 접힌 광로가 얼마나 얇은 공간에 들어가는지 보인다. AR 모드에서 전파각을 키우면 한 번 반사하는 동안 더 멀리 가서(바운스 간격 증가) 출력 결합기에서 빠져나오는 빔 사이가 벌어진다. 드래그로 회전, 휠로 확대. 두께와 각도는 보기 쉽게 과장했다.

AR 도파관: 전반사와 회절 결합

AR 안경은 바깥 세상을 그대로 보여 주면서 그 위에 가상 영상을 겹쳐야 한다. 디스플레이를 눈앞에 둘 수 없으므로 관자놀이나 안경테에 숨긴 작은 프로젝터의 빛을 눈앞까지 운반해 오는 광학 결합기(Optical Combiner)가 필요하다. 그중 가장 얇은 방식이 두께 0.5~1 mm 유리판을 광섬유처럼 쓰는 도파관(Waveguide)이다.

그림 17-6. 회절 도파관. 입력 격자가 프로젝터의 빛을 큰 각도로 꺾어 유리판 안에 가두고, 빛은 전반사로 진행하다가 출력 격자를 만날 때마다 일부가 회절되어 빠져나온다. 같은 영상이 여러 위치에서 복제되므로 아이박스가 넓어진다(사출동 확장). 바깥 빛은 유리판을 그대로 통과한다.

전반사 조건

굴절률 $n$인 유리 안에서 표면 법선과 이루는 각 $\theta$가 임계각보다 크면 빛은 밖으로 나가지 못하고 모두 반사된다(전반사(Total Internal Reflection, TIR)).

$$\theta \ge \theta_c = \arcsin\frac{1}{n}, \qquad p = 2\,t\,\tan\theta$$

$n=1.5$이면 $\theta_c=41.8°$, $n=2.0$이면 30°. $p$는 같은 면에 다시 닿기까지 진행하는 거리(바운스 간격), $t$는 도파관 두께. $\theta$가 너무 크면(약 75° 이상) 바운스 간격이 커져 출력되는 빔 사이에 틈이 생기므로, 실제로 쓸 수 있는 각도 범위는 $\theta_c$~약 75°이다.

회절 격자로 빛을 가두고 꺼내기

정면에서 들어온 빛($\theta_i\approx0$)은 그대로는 전반사 조건을 만족하지 못한다. 그래서 표면에 주기 $\Lambda$가 수백 nm인 표면 부조 격자(Surface Relief Grating, SRG)를 새겨 빛의 방향을 꺾는다. 격자는 빛에 $\pm m\lambda/\Lambda$만큼의 횡방향 파수를 더해 준다.

$$n\,\sin\theta_m = \sin\theta_i + m\,\frac{\lambda}{\Lambda} \qquad\Rightarrow\qquad \text{TIR 조건:}\ \ 1 < \sin\theta_i + \frac{\lambda}{\Lambda} < n$$

$\theta_i$는 공기 중 입사각, $\theta_m$은 유리 안 $m$차 회절각(보통 $m=+1$만 쓰도록 격자 모양을 설계). 왼쪽 부등식은 전반사, 오른쪽은 회절 빛이 유리 안에서 전파 가능(소멸파가 아님)할 조건이다. 출력 격자는 같은 주기로 반대 방향 파수를 빼서 빛을 원래 각도로 돌려보낸다.

이 부등식에서 두 가지 핵심 결론이 나온다. 첫째, 입사각 $\theta_i$의 허용 범위(=AR 영상의 FOV)는 $\sin\theta_i$가 폭 $n-1$ 안에 들어가야 하므로 굴절률이 높을수록 FOV가 넓다. $n=1.5$이면 FOV가 약 30°에 그치지만 $n=2.0$ 고굴절 유리(또는 SiC, 약 2.6)를 쓰면 50° 이상이 가능하다. 둘째, $\lambda/\Lambda$가 파장에 비례하므로 같은 격자에서 빨강은 크게, 파랑은 작게 꺾인다. 색마다 바운스 간격이 달라져 출력 균일도가 어긋나고 무지개 빛이 생기므로, 고급 설계는 R·G·B용 도파관을 2~3장 쌓는다.

SIMULATOR

격자 방정식: 회절각, 전반사 판정, 색 분산

격자 주기 Λ 파장 λ 도파관 굴절률 n 입사각 θ_i R·G·B 동시 보기 (색 분산)

회절각 θ₁ (유리 내)—

임계각 θ_c—

상태—

바운스 간격 (t=0.5 mm)—

이 λ에서 가능한 FOV—

해볼 것: ① 기본값(Λ=400 nm, λ=530 nm, n=1.8)에서 빛이 전반사로 갇힌다. Λ를 560 nm 이상으로 키우면 λ/Λ < 1이 되어 빛이 새어 나간다. ② RGB를 켜면 파랑은 각도가 작아 새기 쉽고 빨강은 각도가 커 바운스 간격이 넓다 — 한 장으로 세 색을 고르게 운반하기 어려운 이유. ③ n을 1.5에서 2.0으로 올리면 "가능한 FOV"가 크게 늘어난다(θ 상한 75° 가정). 1차 회절만 그린 근사 모델.

결합기의 종류: 버드배스·반사형·회절형

그림 17-7. 대표적인 AR 광학 결합기. (a) 버드배스는 빔스플리터와 곡면 부분 거울로 상을 만들어 선명하지만 두껍고 외광을 많이 가린다. (b) 반사형 도파관은 유리 속에 비스듬히 박은 부분 반사 거울들이 빛을 차례로 꺼낸다. (c) 회절 도파관은 나노 격자로 결합하며 가장 얇지만 파장에 따라 회절각이 달라 색 얼룩이 생기기 쉽다.

결합기	FOV(대각)	영상 광효율	외광 투과율	두께	주요 이슈
버드배스	40–50°	~10–25%	~20–40%	15–25 mm	부피, 어두운 시야
반사형 도파관	30–50°	~5–15%	~80–90%	1.5–2 mm	거울 접합 공정, 줄무늬
회절 도파관(SRG)	30–70°	~0.5–5%	~80–90%	0.5–1.5 mm	색 분산, 무지개, 전방 누광
홀로그래픽(VHG)	20–40°	~1–10%	~85–90%	~1 mm	각도·파장 선택성 좁음

효율과 투과율은 설계에 따라 크게 다르며, 대략적인 범위만 나타낸다.

투명 디스플레이의 숙제: 외광과 휘도 예산

VR은 바깥 빛을 완전히 막으므로 눈에 100~200 nits만 보내도 충분히 밝다. AR은 다르다. 맑은 날 실외 배경의 휘도는 수천~1만 nits이고, 가상 영상은 그 위에 더해지는 빛이라 검은색을 표시할 수 없다(검정 = 투명). 결합기의 외광 투과율을 $T$, 배경 휘도를 $L_a$, 눈에 도달하는 영상 휘도를 $L_v$라 하면 AR 명암비는 다음과 같다.

$$C_{\text{AR}} = \frac{L_v + T L_a}{T L_a} \ \Rightarrow\ L_v = (C_{\text{AR}}-1)\,T L_a, \qquad L_{\text{src}} = \frac{L_v}{\eta}$$

$\eta$는 광원(마이크로디스플레이)에서 눈까지 광학계 전체의 휘도 효율. 글자가 읽히려면 $C_{\text{AR}}$이 최소 1.5~3 정도는 되어야 한다. 13장의 주변광 명암비와 같은 구조지만, 반사광이 아니라 투과된 외광이 바닥을 깐다는 점이 다르다.

예를 들어 $L_a=5{,}000$ nits, $T=0.85$, $C_{\text{AR}}=2$이면 눈에 $L_v\approx4{,}250$ nits가 필요하다. 회절 도파관의 효율이 1%라면 패널은 42만 nits를 내야 한다. 마이크로OLED(수천 nits)로는 불가능하고, 수백만 nits를 내는 마이크로LED나 강한 LED/레이저 조명의 LCoS가 도파관 AR에 쓰이는 이유가 여기에 있다. 반대로 실외 밝기를 줄이려고 선글라스처럼 투과율을 낮추는 전기변색 조광 필름(Dimming Layer)을 덧대기도 한다.

SIMULATOR

AR 휘도 예산: 바깥이 밝을수록 패널은 몇 nits?

배경 휘도 L_a 외광 투과율 T 목표 명암비 C_AR 광학 효율 η

결합기 프리셋

눈에 필요한 휘도 L_v—

패널에 필요한 휘도—

감당 가능한 소자—

해볼 것: 배경 휘도를 실내(100~300 nits)에서 맑은 실외(10,000 nits)까지 움직이면 왼쪽 미리보기의 초록 HUD가 점점 배경에 묻힌다. 막대는 로그 눈금이며, 소자 범위는 2020년대 중반 공개 자료 기준의 대략값이다. 미리보기는 눈이 배경 밝기에 순응한다고 가정한 단순 톤 매핑이다.

수렴–조절 불일치(VAC)

가까운 물체를 볼 때 눈은 두 가지 일을 동시에 한다. 두 눈의 시선을 물체 쪽으로 모으는 수렴(Vergence), 그리고 수정체 두께를 바꿔 초점을 맞추는 조절(Accommodation)이다. 현실에서는 두 거리가 항상 같으므로 뇌는 둘을 신경적으로 묶어 함께 움직인다. 그런데 일반적인 헤드셋은 허상을 한 거리(예: 1.5 m)에 고정해 두고, 좌우 영상의 시차로만 깊이를 표현한다. 50 cm 앞 가상 물체를 보면 눈은 50 cm로 수렴하지만 초점은 1.5 m에 맞춰야 선명하다. 이것이 수렴–조절 불일치(Vergence–Accommodation Conflict, VAC)이다.

그림 17-8. 현실(왼쪽)에서는 수렴과 조절 거리가 같다. 헤드셋(오른쪽)에서는 가상 물체를 0.5 m에 그려도 초점은 고정된 허상면(1.5 m)에 맞춰야 하므로 두 신호가 $1/0.5-1/1.5\approx1.33$ D만큼 어긋난다.

거리 대신 디옵터(Diopter, D = 1/m)로 생각하면 편하다. 눈의 초점 심도는 약 ±0.3 D이고, 연구에 따르면 수렴과 조절의 차이가 대략 0.5 D 안쪽이면 편안하고 1 D를 넘으면 불편과 피로가 뚜렷해진다(개인차가 크다).

$$D_v = \frac{1}{d_v},\quad D_a = \frac{1}{d_a},\quad \Delta D = |D_v - D_a|, \qquad \theta_v = 2\arctan\frac{\text{IPD}}{2\,d_v}$$

$d_v$는 가상 물체까지의 수렴 거리, $d_a$는 허상면(조절) 거리(m), $\theta_v$는 두 시선이 이루는 수렴각. IPD 63 mm에서 0.5 m 물체는 $\theta_v\approx7.2°$.

SIMULATOR

가상 물체 거리와 수렴–조절 불일치

가상 물체 거리 d_v 허상면(초점) 거리 d_a

광학 방식

수렴각 θ_v—

수렴 D_v—

조절 D_a—

불일치 ΔD—

해볼 것: 고정 초점에서 물체를 30 cm까지 당기면 ΔD가 2 D를 넘어 빨간 영역으로 들어간다(가까운 UI·손 상호작용이 피곤한 이유). 가변 초점은 시선 추적으로 허상면을 물체 거리로 옮겨 ΔD를 0으로 만들고, 다초점면(0.5·1.5·3 D 세 평면)은 가장 가까운 평면을 골라 계단식으로 줄인다. 불편 경계(0.5 D·1 D)는 교육용 단순화다.

VAC를 줄이는 방법들

가변 초점(Varifocal) — 시선 추적으로 사용자가 보는 깊이를 알아내고, 패널을 기계적으로 움직이거나 액정/액체 렌즈의 초점 거리를 바꿔 허상면을 그 깊이로 옮긴다. 초점이 맞지 않는 영역에는 렌더링으로 흐림(Defocus Blur)을 더해 준다.
다초점면(Multifocal) — 서로 다른 거리에 2~4개의 허상면을 두고 장면을 깊이에 따라 나눠 보여 준다. 시분할로 구현하면 프레임률이 그만큼 높아야 한다.
라이트필드(Light Field) — 마이크로렌즈 배열로 광선의 방향까지 재현해 눈이 스스로 초점을 맞출 수 있게 한다. 방향 정보를 표현하는 데 화소가 소모되어 공간 해상도가 크게 떨어진다.
홀로그래픽(Holographic) — 공간 광변조기(위상형 LCoS)로 빛의 파면 자체를 만들어 깊이마다 실제로 초점이 생긴다. 원리상 가장 완전하지만 계산량, 레이저 스페클, 작은 에텐듀가 숙제다.

포비티드 렌더링: 보는 곳만 선명하게

60 PPD로 110° FOV를 채우려면 한쪽 눈에 약 6,600×6,600 화소, 양쪽 합쳐 초당 90프레임이면 초당 80억 화소를 렌더링해야 한다. 그러나 눈이 1′를 구분하는 것은 시선 중심의 중심와(Fovea), 지름 약 2°뿐이다. 시력은 이심률(Eccentricity) $e$가 커질수록 빠르게 떨어진다.

$$\text{MAR}(e) \approx \text{MAR}_0\left(1 + \frac{e}{e_2}\right), \qquad \text{PPD}_{\text{eye}}(e) \approx \frac{60}{1 + e/e_2}$$

MAR은 최소 분해각(Minimum Angle of Resolution), $\text{MAR}_0\approx1'$, $e_2\approx2$~$2.5°$는 시력이 절반이 되는 이심률. 시선에서 10° 떨어지면 필요한 PPD는 약 11, 30°면 약 4로 줄어든다.

포비티드 렌더링(Foveated Rendering)은 시선 추적기(Eye Tracker)로 사용자가 보는 곳을 실시간으로 측정해 그 주변만 원래 해상도로, 바깥은 1/2·1/4 해상도로 렌더링한다. 시선 추적이 없으면 렌즈 중심이 가장 선명하다는 점을 이용해 화면 중앙을 고정적으로 우대하는 고정 포비에이션(Fixed Foveated Rendering)을 쓴다. 눈은 1초에 3~4번 도약 안구 운동(Saccade)을 하고 그 속도가 최대 500°/s를 넘으므로, 시선 추적부터 화면 갱신까지의 지연이 짧아야 사용자가 해상도 변화를 눈치채지 못한다.

SIMULATOR

시선 연동 해상도 맵과 픽셀 절감률

마우스/터치 위치 = 시선

고해상 영역 반경 중간 영역 반경

주변부 해상도 (중간 영역은 1/2)

해상도 영역 색 표시 고정 포비에이션 (시선 추적 없음)

셰이딩 화소 비율—

절감률—

시선 위치—

시력 부족 영역—

해볼 것: 마우스를 움직이면 고해상 영역이 시선을 따라간다. 아래 그래프에서 렌더 해상도(계단)가 눈의 시력 곡선 아래로 내려가는 구간(빨강)이 있으면 사용자가 흐림을 느낄 수 있다. 고해상 반경을 줄이면 절감률은 커지지만 빨간 구간이 생긴다. 화면은 FOV 100°, 패널 25 PPD를 가정했다.

렌더링만이 아니다: 전송과 구동도 줄인다

포비에이션은 GPU 셰이딩뿐 아니라 영상 전송 대역폭(14장)과 패널 구동에도 쓸 수 있다. 일부 마이크로OLED는 주변 영역에서 2×2 화소를 같은 데이터로 묶어 구동하는 "다중 해상도 주사"를 지원해 링크 대역폭과 전력을 함께 줄인다.

모션-투-포톤 지연과 저잔상 구동

머리를 돌리면 세상은 제자리에 있어야 한다. 헤드셋은 IMU로 머리 자세를 측정해 그 자세에 맞는 영상을 그리지만, 측정에서 화면에 빛이 나오기까지의 모션-투-포톤 지연(Motion-to-Photon Latency) 동안 머리는 이미 더 돌아가 있다. 머리가 각속도 $\omega$로 움직이면 가상 물체는 $\omega\,t_{\text{lat}}$만큼 뒤처졌다가 따라오며 "출렁이는"(Judder/Swim) 것처럼 보이고, 이는 멀미의 주요 원인이다. 일반적으로 20 ms 이하가 목표다.

그림 17-9. 모션-투-포톤 파이프라인(90 Hz 예시). 렌더링이 끝난 직후 최신 IMU 값으로 영상을 살짝 회전·이동시키는 타임워프(재투영)가 체감 지연을 수 ms로 줄이고, 화소는 프레임의 일부 시간(1~2 ms)만 켜서 잔상 번짐을 줄인다.

지연을 줄이는 핵심 기술은 타임워프(Asynchronous Time Warp / Reprojection)다. 영상을 다 그린 뒤 스캔아웃 직전에 가장 최신 머리 자세로 영상을 2D 변환해 보정하므로, 체감 지연이 렌더링 시간과 거의 무관해진다. 여기에 머리 움직임을 수 ms 앞으로 예측하는 필터를 더한다.

또 하나의 문제는 11장에서 본 홀드형 모션 블러다. 머리를 돌리는 동안 눈은 세상(가상 물체)을 따라 회전하는데, 화소가 프레임 내내 같은 위치에서 빛나면 망막 위에서 그 빛이 끌려 번진다. 번짐 폭은 발광 시간 $t_p$에 비례한다.

$$\Delta\theta_{\text{blur}} = \omega\,t_p, \qquad N_{\text{blur}} = \omega\,t_p\cdot\text{PPD}, \qquad L_{\text{peak}} = \frac{L_{\text{avg}}}{t_p\,f_{\text{frame}}}$$

$\omega$는 머리 각속도(°/s), $t_p$는 한 프레임 중 화소가 켜져 있는 시간, $f_{\text{frame}}$은 주사율. 90 Hz 홀드 구동($t_p=11.1$ ms)에서 100°/s로 고개를 돌리면 1.1°, 25 PPD 기준 28화소나 번진다. $t_p$를 1~2 ms로 줄이는 저잔상 구동(Low Persistence)은 번짐을 1/5~1/10로 줄이지만, 같은 평균 휘도를 내려면 순간 휘도가 그만큼 높아야 한다.

SIMULATOR

머리 회전 중의 지연 오차와 잔상 번짐

최대 머리 각속도 ω 모션-투-포톤 지연 발광 시간 t_p (90 Hz) 타임워프 + 자세 예측 적용

위치 오차 최대—

잔상 번짐 (최대)—

번짐 화소 (25 PPD)—

필요 순간 휘도 배율—

해볼 것: 머리가 좌우로 흔들리는 동안 점선 막대(세상에 고정되어야 할 위치)와 실제 보이는 막대를 비교하자. 지연을 늘리면 막대가 뒤처지고, 발광 시간을 11.1 ms(홀드)에서 1.5 ms로 줄이면 번짐이 얇아진다. 타임워프를 켜면 유효 지연이 수 ms로 줄어든다. 아래 그래프는 시간에 따른 위치 오차다. 사인파 머리 운동을 가정한 근사 모델.

패널에 주는 요구

저잔상 구동은 LCD에는 특히 어렵다. 액정 응답이 수 ms라 짧은 발광 구간 안에 화소가 전환을 끝내야 하므로, 전 화면을 다 쓴 뒤 백라이트를 짧게 번쩍이는 글로벌 플래시 방식과 빠른 액정 모드가 필요하다. OLED·마이크로OLED는 µs 응답 덕분에 롤링 방식의 짧은 듀티 구동이 쉽다. 어느 쪽이든 순간 휘도를 5~10배 높여야 하므로 수명과 전력이 함께 부담이 된다(9장).

핵심 정리

근안 디스플레이는 광학계로 패널의 허상을 1~2 m 이상에 띄우며, FOV·PPD·아이박스·아이 릴리프·무게가 서로 상충한다(에텐듀 보존).
각해상도는 $\text{PPD}\approx N_h/\text{FOV}$이고 망막 해상도 기준은 약 60 PPD다. 110°에서 60 PPD를 얻으려면 한쪽 눈 가로 6,600화소가 필요하다. PPD가 낮으면 스크린 도어 효과와 계단 현상이 보인다.
짧은 초점 거리에서 높은 PPD($\approx\tfrac{\pi}{180}f/p$)를 얻으려면 피치 수 µm의 마이크로디스플레이(마이크로OLED·LCoS·마이크로LED·DLP)가 필요하며, 실리콘 CMOS 백플레인이 이를 가능하게 한다.
확대경은 $d<f$에서 정립 허상을 만들고 $m=f/(f-d)$, 허상 거리 $|s'|=df/(f-d)$이다. 프레넬 렌즈는 가볍지만 갓 레이가 생긴다.
팬케이크 렌즈는 하프 미러·λ/4·반사 편광판으로 광로를 세 번 접어 두께를 줄이지만, 효율은 $R(1-R)\le25\%$(비편광이면 12.5%)로 제한된다.
AR 도파관은 전반사 $\theta\ge\arcsin(1/n)$로 빛을 운반하고, 격자 $n\sin\theta_m=\sin\theta_i+m\lambda/\Lambda$로 결합한다. 고굴절률일수록 FOV가 넓고, 파장 의존성 때문에 색 분산이 생긴다.
AR은 외광 위에 빛을 더하므로 $L_v=(C-1)TL_a$의 휘도가 필요하고, 효율이 낮은 도파관에는 수십만~수백만 nits 광원(마이크로LED, LCoS+LED)이 필요하다.
고정 초점 헤드셋은 수렴과 조절이 어긋나는 VAC를 일으킨다. 불일치를 디옵터로 계산하며, 가변 초점·다초점면·라이트필드·홀로그래픽이 해결책이다.
시력은 이심률에 따라 $\approx60/(1+e/e_2)$ PPD로 떨어지므로, 시선 추적 기반 포비티드 렌더링으로 셰이딩 화소를 크게 줄일 수 있다.
모션-투-포톤 지연은 20 ms 이하가 목표이며 타임워프·예측으로 보정한다. 잔상 번짐 $\omega t_p$는 저잔상 구동으로 줄이되 순간 휘도가 $1/(t_p f)$배 높아야 한다.

확인 퀴즈

1. 한쪽 눈 가로 2,880화소 패널로 수평 FOV 120°를 덮는 헤드셋의 평균 PPD와, 시력 1.0 기준과의 비교로 옳은 것은?

PPD ≈ 2880/120 = 24. 화소 하나가 2.5′로 보여 1′를 구분하는 눈에는 화소 구조와 SDE가 보일 수 있다.

2. 초점 거리 40 mm인 확대경에서 패널을 렌즈로부터 36 mm에 두었다. 허상의 위치와 배율은?

s′ = df/(d−f) = 36·40/(−4) = −360 mm(허상), m = f/(f−d) = 40/4 = 10. 눈에서는 아이 릴리프만큼 더 먼 약 0.37 m에 보인다.

3. 이상적인 팬케이크 렌즈의 광효율이 25%를 넘을 수 없는 근본 이유는?

접힌 광로에서 유효 경로는 하프 미러 투과 1회와 반사 1회를 반드시 포함한다. R(1−R)은 R=0.5에서 최대 0.25이다. 비편광 광원이면 편광판 손실로 다시 절반이 된다.

4. 굴절률 1.8인 도파관에 수직 입사(θᵢ=0)한 530 nm 빛을 1차 회절로 전반사시키려면 격자 주기 Λ의 조건은?

1 < λ/Λ < n → λ/n < Λ < λ, 즉 530/1.8 ≈ 294 nm < Λ < 530 nm. Λ가 530 nm 이상이면 회절각이 임계각보다 작아 빛이 새고, 294 nm 이하이면 1차 회절이 유리 안에서도 전파하지 못한다.

5. 같은 회절 격자로 R·G·B를 함께 보낼 때 생기는 현상으로 옳은 것은?

회절 항 λ/Λ가 파장에 비례하므로 긴 파장일수록 크게 꺾인다. 그래서 고급 도파관은 색별로 다른 주기의 도파관을 쌓는다.

6. 허상면이 2 m에 고정된 헤드셋에서 0.4 m 앞 가상 물체를 볼 때 수렴–조절 불일치는?

ΔD = |1/0.4 − 1/2| = |2.5 − 0.5| = 2.0 D. 편안한 범위(약 0.5 D)를 크게 넘으므로 가까운 가상 물체를 오래 보면 피로하다.

7. 시선에서 20° 떨어진 곳의 시력(e₂ = 2.5°)과 그에 맞는 포비티드 렌더링 설정으로 가장 적절한 것은?

60/(1+20/2.5) = 60/9 ≈ 6.7 PPD. 25 PPD의 1/3은 8.3 PPD로 시력보다 높으므로 화질 저하를 느끼기 어렵다.

8. 90 Hz 헤드셋에서 머리를 150°/s로 돌릴 때, 발광 시간을 11.1 ms(홀드)에서 1.5 ms로 줄이면 잔상 번짐과 필요한 순간 휘도는 어떻게 되는가?

Δθ = ω·tₚ: 150×0.0111 = 1.67°, 150×0.0015 = 0.225°. 듀티가 1.5/11.1로 줄어들어 같은 평균 휘도를 내려면 순간 휘도가 11.1/1.5 ≈ 7.4배여야 한다.