스테레오 카메라 편집하기

'''스테레오 카메라'''(stereoscopic camera, stereo camera)는 동시에 2장의 화상을 얻을 수 있게 한 특수카메라이다. 2개의 촬영용 렌즈를 일정 간격 띄워놓고 같은 물체를 촬영하는 방법을 사용한다. 이렇게 얻은 사진을 스테레오 뷰어를 이용하여 보면 상이 입체적으로 보인다. '''입체카메라'''라고도 한다.

카메라 몸통 좌우에 7cm 정도의 간격을 두고, 2개의 촬영용 렌즈를 설치하여 같은 피사체를 촬영하여 동시에 2장의 화상(畵像)을 얻을 수 있게 한 특수카메라이다.

사람은 두 눈으로 물체를 입체시(立體視)하고 원근을 판단하게 된다. 입체카메라는 이런 원리를 응용하여 만든 것이다. 두 눈의 간격은 대체로 6∼7cm 정도이며, 입체카메라도 이에 따라 6.5∼7cm 정도의 기선간격(基線間隔)을 두고 같은 성능의 렌즈를 좌우에 나란히 설치한 쌍안카메라로 이루어진다. 두 렌즈는 초점조절과 노출조절, 그리고 셔터의 작동이 연동되도록 설계되어 있다.

입체카메라로 촬영한 슬라이드나 사진을 스테레오 뷰어(stereo scopic viewer:스테레오카메라나 스테레오 어댑터로 촬영한 포지티브 필름)로 보면 두 렌즈의 시점(視點)의 차로 인한 시차로 인해 입체적으로 피사체의 상이 보이게 된다.

이 입체카메라의 원리는 1838년경 영국의 C.휘트스톤에 의해 알려졌고, 1849년 D. 브루스터에 의해 계승·발전되어 오늘날에 이르고 있다.

입체사진은 1950년대까지 상당히 유행하였으나 요즈음은 거의 이용하지 않고 있으며, 외국에서는 스테레오 뷰어를 비롯하여 스테레오 어댑터(stereo adapter:반사경으로 광축을 둘로 나누어 시차가 있는 2장의 사진을 찍는 장치), 스테레오 환등기 등을 이용하여 입체사진을 즐기기도 하며, 이런 스테레오 장치는 벨기에의 소여(Sawyer/GAF view master system)의 제품이 세계적으로 알려져 있다.<ref> 〈[https://terms.naver.com/entry.naver?docId=1137145&cid=40942&categoryId=32354 입체카메라]〉, 《두산백과》, </ref> 

[[자동차]] 업체들과 부품업체들은 장기적인 관점에서 고가의 스테레오 카메라를 장착하고 있다. [[벤츠]], [[BMW]], [[오토리브]], [[콘티넨탈]], [[보쉬]]같은 업체들이 대표적이다. 벤츠는 오토리브의 스테레오 카메라를 공급받아서 자체적인 영상 처리 기술을 적용한 것으로 알려져 있다.<ref name="읽고">읽고보고맛보고, 〈[https://study.tistory.com/21 자율주행의 눈, 카메라]〉, 《티스토리》, 2021-01-24</ref> 

== 개요 ==
[[파일:자율주행을 위한 다양한 센서 예시.png|썸네일|500픽셀|자율주행을 위한 다양한 센서 예시]]
자율주행을 위해서는 먼저 차량의 곳곳에 장착된 센서들로부터 주변 정보를 수집하는 것이 필요하다. 이러한 센서들은 그 종류가 매우 다양하다. 자율주행을 위해 필요한 센서는 여러 종류가 있는데, 이 센서들은 크게 [[라이다]](LiDAR), [[레이더]](RADAR), 스테레오 카메라(Stereo Camera), [[초음파센서]](Ultrasonic sensor) 등으로 구분되어지고, 측정 범위(각도와 거리)에 따라 장착되는 위치와 역할이 달라진다. 이 센서들은 자율 주행차를 연구하는 제조사에 따라 각각 다양하게 조합되어 장착되는데, 그 중 하나의 예시는 오른쪽 그림과 같다.

메르세데스 벤츠(Mercedes benz)사 S클래스 모델의 [[ADAS]]를 위해 장착된 센서들의 예시이다. 이 경우에는 RADAR(그림의 레이더)와 스테레오 카메라, 적외선 카메라, 초음파 센서를 조합하였다.

자율주행을 위한 카메라에는 렌즈가 한 개인 [[모노카메라]](Mono Camera, 단안카메라)도 사용되지만, 두 개의 렌즈를 갖는 카메라이거나 두 대의 카메라를 하나로 묶은 형태의 스테레오 카메라(Stereo Camera)도 사용된다.

스테레오 카메라는 사람이 양쪽 눈을 통해 거리를 인식하는 것과 같은 원리로 거리정보를 계산한다. 이 과정에서 카메라 간의 내/외 변수를 추정하는 계산과 두 카메라로부터 들어온 영상 내에서 서로 대응되는 위치를 찾는 스테레오 매칭(Stereo Matching)작업이 수반된다. 이 때문에 이 방식은 모노카메라 방식에 비해 알고리즘이 복잡하고 가격이 올라가는 단점이 있지만, 최근 하드웨어적 성능향상과 가격 하락으로 인해 대중화에 가까워지고 있다. 또한 자율주행차에서 고가의 장비인 LiDAR와 모노카메라의 조합에 대한 대체재로도 각광받고 있다.

현재 자율주행차를 위한 스테레오 카메라의 선두업체는 자회사로 메르세데스 벤츠사를 거느리고 있고 한때 미국의 크라이슬러사도 합병했던, 독일의 다임러(Daimler)그룹 이다. 이미 2014년에 LiDAR를 사용하지 않고 자체 개발한 스테레오 카메라로 103km의 거리를 완전 자율주행 한 바가 있다.<ref>안성원 AI정책연구실 실장, 〈[https://spri.kr/posts/view/21781?code=column  자율주행을 가능하게 하는 기반 기술들]〉, 《소프트웨어정책연구소》, 2017-05-30</ref>

== 장단점 ==
스테레오 카메라의 가장 큰 장점은 비용이 저렴하고 무게가 가볍다는 것이다. 실제로 보면 휴대전화 카메라 두 대 정도 크기다. 

대부분의 ADAS 업체들은 이 모빌아이 칩셋에 의존하고 있다. 예를 들면 한의 대표적인 ADAS 업체인 '만도'는 모빌아이의 칩셋을 활용하여 카메라를 개발하고 있고, [[현대 모비스]]는 발레오의 카메라를 사용하는데, 이 발레오는 모빌아이의 칩셋을 활용하여 카메라를 생산한다. 미국의 앱티브 역시 모빌아이의 칩셋을 활용하고 있다. 거의 전 세계의 모든 자동차용 카메라를 모빌아이가 지배했다고 해도 과언이 아니다. [[콘티넨탈]]의 카메라 정도만 자체적인 영상 인식 기술을 바탕으로 생산되고 있는 실정이다. 

국내, 해외 업체들이 영상 인식 기술을 등한시 했거나, 자체 개발의 노력을 하지 않은 것은 아니다. 하지만 그들의 기술은 모빌아이를 따라갈 수 없었다. 더 많은 카메라가 장착될수록 더 많은 시험 기록, 영상 기록을 취득할 수 있었던 모빌아이는 타사에서 따라갈 수 없는 압도적인 영상 처리 성능을 보여주었다.

하지만 여기서 끝이 아니다. 자동차 업체들, 그리고 부품업체들은 게임 체인저를 찾아 나섰다. 이 게임 체인저가 '스테레오 카메라'이다. 이 스테레오 카메라는 단순히 생각하면 카메라 렌즈를 두 개를 부착한 카메라이다. 이는 단순히 영상을 하나 더 늘린 카메라가 아니다. 기술적으로 모빌아이의 단안 카메라와는 완전히 다르다. 모빌아이의 단안 카메라가 영상에서 차량을 찾아내는 방식이라면, 스테레오 카메라는 사람의 '양안시'와 동일한 방식으로 눈앞의 화면을 왼쪽에서 본 것과 오른쪽에서 본 것을 조합하여 3차원 영상을 만들어 낸다. 그래서 눈앞의 물체들이 얼마나 떨어져 있는지를 찾아내는 것이다. 이 방식은 우선은 물체의 종류와 상관없이 물체를 인식할 수 있다. 단안 카메라가 미리 정의되지 않은 물체에 대하여는 영상 처리 과정에서 누락시키게 되고 마는 반면에 스테레오 카메라는 '뭔지 모르겠지만 뭔가 물체가 앞에 있다'라는 프로세싱이 가능한 것이다. 물체까지의 거리 인식에 있어서도 단안에 비하여 압도적인 정확도를 가질 수 있다. 단안 카메라가 영상에서 물체의 크기, 영상에서 물체의 위치 등에 따라 위치를 인식하여 경사가 있거나 거리가 먼 경우에 위치를 많이 틀릴 수밖에 없는 것에 비하여 스테레오 카메라는 직접 양안시로 거리를 계산할 수 있는 것이다.

그렇다고 스테레오 카메라가 만능은 아니다. 두개의 렌즈가 함께 확인할 수 있는 영역에서만 인식이 가능하여 렌즈를 두 개 썼음에도 단안 카메라에 대하여 인식 범위가 좁다. 또 차선과 같은, 도로에 위치한 구조물이 아닌 물체들 (신호등, 표지판 등도 여기에 속합니다.) 인식 성능에 있어서 스테레오 카메라가 단안 카메라보다 유리한 점은 없다. 영상 처리 기술에 있어서 모빌아이가 압도적인 성능을 자랑하는 만큼 오히려 성능이 떨어지는 경우가 대부분이다. 초기의 스테레오 카메라 장착 [[벤츠]]의 차로 이탈 경고 기능들은 타사에 비하여 성능이 부족한 경우도 있었다. (차로를 제법 오랜 시간 달린 이후에만 작동한다거나 하는 한계점들이 있었던 것이다.)<ref name="읽고"></ref> 

== 스테레오 카메라를 이용한 거리 측정 기술 ==
=== 영상기반 거리감지 및 객체인식 기술 ===
* 다중 카메라를 활용한 거리측정 및 사물 인식기술로 [[자율주행]] 차량의 충돌방지를 위한 [[ADAS]] 핵심 기술
* ADAS 카메라 센서는 차선/보행자를 감지하고 신호등 인식 및 비상 제동 기능을 하는 전방 카메라와 주차보조, 사각지대 감지 및 후측방 접근 차량 경고 기능을 하는 측방 및 후방 카메라를 포함함
* 다만, 자동차의 전방 카메라의 경우 원근 분석능이 상대적으로 낮기 때문에 두 개의 카메라가 서로 분리되어 있는 스테레오 비전 시스템을 활용하여 주변 환경을 인식하고 장애물을 감지하며 장애물까지의 거리를 측정함

=== 기술1 : Stereo Matching 기술 ===
* 기술구성 : 스테레오 카메라로부터 거리 정보를 획득하기 위해서는 두 카메라의 내·외부 변수를 추정하는 카메라 칼리브레이션 과정과 두 카메라에서 획득된 영상 상에서 서로 대응되는 위치를 찾는 스테레오 매칭 과정이 반드시 필요함 - 스테레오 매칭의 경우 많은 연산량을 필요로 한다는 문제로 인해 과거에는 세로 Edge만을 매칭하는 것과 같은 단순한 방식의 기술이 개발되었으나, 최근 효율적인 알고리즘들의 개발 및 프로세서의 성능의 향상으로 인해 영상 전체를 매칭하여 사용하는 조밀한 스테레오 매칭 방법인 Dense Disparity Map 기술이 사용되고 있음

=== 기술2 : Stereo Vision 기반 전방 장애물 거리 감시 시스템 ===
[[파일:스테레오 카메라를 이용한 거리 측정 기술개념도.png|썸네일|300픽셀|기술개념도]]
* 기술구성 : 차선을 통한 ROI 설정을 통해 주변 차량 및 noise를 제거하여 자차선의 장애물을 인식하고 거리 정보를 획득하는 기술 - stereo camera를 통해서는 좌측camera 영상에서의 점과 우측camera 영상에서의 점이 서로 다른 곳에 위치함에 따라 각 영상에서의 차이를 거리 정보로 활용 할 수 있음<ref>최락현 연구원, 〈[https://tmarket.dgist.ac.kr/tech/view.do?techNo=304&type=search<기술> 스테레오 카메라를 이용한 거리 측정 기술]〉, ''DGiST T-Market'', </ref>

== 더 진화한 기술 ==
;트라이포컬 카메라
[[교차로]]에서 옆에서 오는 차 등을 확인하기 위해서 더 넓은 화각의 카메라가 요구된다. 그런데 또 멀리 있는 물체를 확인하는 성능까지 한꺼번에 요구된다. 그런데 이는 서로 대치되는 개념이라 동시에 만족할 수 없다. 이를 보강하기 위해서 카메라 업체들은 '''트라이포컬 카메라'''를 내놓았다. 이 3개의 렌즈를 가지는 카메라는 스테레오 카메라와는 완전히 다른 기술이다. 3개의 카메라는 각각 독립적으로 단안 카메라처럼 영상을 인식한다. 하나는 근거리를 넓은 화각으로, 또 하나는 중간 거리를 중간 화각으로, 또 나머지 하나는 먼 거리를 좁은 화각으로 인식한다. 결과적으로 단안 카메라 3개를 장착한 것과 마찬가지다.<ref name="읽고"></ref> 


== 동영상 ==
<youtube>hqqM3P5gomE</youtube>
<youtube>hqqM3P5gomE</youtube>
<youtube>enrBczyV4Mw</youtube>
<youtube>HDaiNitDJ1U</youtube>

{{각주}}
== 참고자료 ==
* 〈[https://terms.naver.com/entry.naver?docId=1137145&cid=40942&categoryId=32354 입체카메라]〉, 《두산백과》
* 안성원 AI정책연구실 실장, 〈[https://spri.kr/posts/view/21781?code=column  자율주행을 가능하게 하는 기반 기술들]〉, 《소프트웨어정책연구소》, 2017-05-30<
* 읽고보고맛보고, 〈[https://study.tistory.com/21 자율주행의 눈, 카메라]〉, 《티스토리》, 2021-01-24
* 최락현 연구원, 〈[https://tmarket.dgist.ac.kr/tech/view.do?techNo=304&type=search<기술> 스테레오 카메라를 이용한 거리 측정 기술]〉, ''DGiST T-Market''

== 같이 보기 ==
* [[자율주행]]
* [[ADAS]]
* [[라이다]]
* [[레이더]]
* [[초음파센서]]

{{자동차 전장|검토 필요}}