스테레오 카메라

LG전자가 개발하는 모노 카메라 센서 모듈(왼쪽)과 스테레오 카메라 센서 모듈(오른쪽)

스테레오 카메라(stereoscopic camera, stereo camera)는 동시에 2장의 화상을 얻을 수 있게 한 특수카메라이다. 2개의 촬영용 렌즈를 일정 간격 띄워놓고 같은 물체를 촬영하는 방법을 사용한다. 이렇게 얻은 사진을 스테레오 뷰어를 이용하여 보면 상이 입체적으로 보인다. 입체카메라라고도 한다.

카메라 몸통 좌우에 7cm 정도의 간격을 두고, 2개의 촬영용 렌즈를 설치하여 같은 피사체를 촬영하여 동시에 2장의 화상(畵像)을 얻을 수 있게 한 특수카메라이다.

사람은 두 눈으로 물체를 입체시(立體視)하고 원근을 판단하게 된다. 입체카메라는 이런 원리를 응용하여 만든 것이다. 두 눈의 간격은 대체로 6∼7cm 정도이며, 입체카메라도 이에 따라 6.5∼7cm 정도의 기선간격(基線間隔)을 두고 같은 성능의 렌즈를 좌우에 나란히 설치한 쌍안카메라로 이루어진다. 두 렌즈는 초점조절과 노출조절, 그리고 셔터의 작동이 연동되도록 설계되어 있다.

입체카메라로 촬영한 슬라이드나 사진을 스테레오 뷰어(stereo scopic viewer:스테레오카메라나 스테레오 어댑터로 촬영한 포지티브 필름)로 보면 두 렌즈의 시점(視點)의 차로 인한 시차로 인해 입체적으로 피사체의 상이 보이게 된다.

이 입체카메라의 원리는 1838년경 영국의 C.휘트스톤에 의해 알려졌고, 1849년 D. 브루스터에 의해 계승·발전되어 오늘날에 이르고 있다.

입체사진은 1950년대까지 상당히 유행하였으나 요즈음은 거의 이용하지 않고 있으며, 외국에서는 스테레오 뷰어를 비롯하여 스테레오 어댑터(stereo adapter:반사경으로 광축을 둘로 나누어 시차가 있는 2장의 사진을 찍는 장치), 스테레오 환등기 등을 이용하여 입체사진을 즐기기도 하며, 이런 스테레오 장치는 벨기에의 소여(Sawyer/GAF view master system)의 제품이 세계적으로 알려져 있다.

자동차 업체들과 부품업체들은 장기적인 관점에서 고가의 스테레오 카메라를 장착하고 있다. 벤츠, BMW, 오토리브, 콘티넨탈, 보쉬같은 업체들이 대표적이다. 벤츠는 오토리브의 스테레오 카메라를 공급받아서 자체적인 영상 처리 기술을 적용한 것으로 알려져 있다.

개요

자율주행을 위한 다양한 센서 예시

자율주행을 위해서는 먼저 차량의 곳곳에 장착된 센서들로부터 주변 정보를 수집하는 것이 필요하다. 이러한 센서들은 그 종류가 매우 다양하다. 자율주행을 위해 필요한 센서는 여러 종류가 있는데, 이 센서들은 크게 라이다(LiDAR), 레이더(RADAR), 스테레오 카메라(Stereo Camera), 초음파센서(Ultrasonic sensor) 등으로 구분되어지고, 측정 범위(각도와 거리)에 따라 장착되는 위치와 역할이 달라진다. 이 센서들은 자율 주행차를 연구하는 제조사에 따라 각각 다양하게 조합되어 장착되는데, 그 중 하나의 예시는 오른쪽 그림과 같다.

메르세데스 벤츠(Mercedes benz)사 S클래스 모델의 ADAS를 위해 장착된 센서들의 예시이다. 이 경우에는 RADAR(그림의 레이더)와 스테레오 카메라, 적외선 카메라, 초음파 센서를 조합하였다.

자율주행을 위한 카메라에는 렌즈가 한 개인 모노카메라(Mono Camera, 단안카메라)도 사용되지만, 두 개의 렌즈를 갖는 카메라이거나 두 대의 카메라를 하나로 묶은 형태의 스테레오 카메라(Stereo Camera)도 사용된다.

스테레오 카메라는 사람이 양쪽 눈을 통해 거리를 인식하는 것과 같은 원리로 거리정보를 계산한다. 이 과정에서 카메라 간의 내/외 변수를 추정하는 계산과 두 카메라로부터 들어온 영상 내에서 서로 대응되는 위치를 찾는 스테레오 매칭(Stereo Matching)작업이 수반된다. 이 때문에 이 방식은 모노카메라 방식에 비해 알고리즘이 복잡하고 가격이 올라가는 단점이 있지만, 최근 하드웨어적 성능향상과 가격 하락으로 인해 대중화에 가까워지고 있다. 또한 자율주행차에서 고가의 장비인 LiDAR와 모노카메라의 조합에 대한 대체재로도 각광받고 있다.

현재 자율주행차를 위한 스테레오 카메라의 선두업체는 자회사로 메르세데스 벤츠사를 거느리고 있고 한때 미국의 크라이슬러사도 합병했던, 독일의 다임러(Daimler)그룹 이다. 이미 2014년에 LiDAR를 사용하지 않고 자체 개발한 스테레오 카메라로 103km의 거리를 완전 자율주행 한 바가 있다.

장단점

스테레오 카메라의 가장 큰 장점은 비용이 저렴하고 무게가 가볍다는 것이다. 실제로 보면 휴대전화 카메라 두 대 정도 크기다.

대부분의 ADAS 업체들은 이 모빌아이 칩셋에 의존하고 있다. 예를 들면 한의 대표적인 ADAS 업체인 '만도'는 모빌아이의 칩셋을 활용하여 카메라를 개발하고 있고, 현대 모비스는 발레오의 카메라를 사용하는데, 이 발레오는 모빌아이의 칩셋을 활용하여 카메라를 생산한다. 미국의 앱티브 역시 모빌아이의 칩셋을 활용하고 있다. 거의 전 세계의 모든 자동차용 카메라를 모빌아이가 지배했다고 해도 과언이 아니다. 콘티넨탈의 카메라 정도만 자체적인 영상 인식 기술을 바탕으로 생산되고 있는 실정이다.

국내, 해외 업체들이 영상 인식 기술을 등한시 했거나, 자체 개발의 노력을 하지 않은 것은 아니다. 하지만 그들의 기술은 모빌아이를 따라갈 수 없었다. 더 많은 카메라가 장착될수록 더 많은 시험 기록, 영상 기록을 취득할 수 있었던 모빌아이는 타사에서 따라갈 수 없는 압도적인 영상 처리 성능을 보여주었다.

하지만 여기서 끝이 아니다. 자동차 업체들, 그리고 부품업체들은 게임 체인저를 찾아 나섰다. 이 게임 체인저가 '스테레오 카메라'이다. 이 스테레오 카메라는 단순히 생각하면 카메라 렌즈를 두 개를 부착한 카메라이다. 이는 단순히 영상을 하나 더 늘린 카메라가 아니다. 기술적으로 모빌아이의 단안 카메라와는 완전히 다르다. 모빌아이의 단안 카메라가 영상에서 차량을 찾아내는 방식이라면, 스테레오 카메라는 사람의 '양안시'와 동일한 방식으로 눈앞의 화면을 왼쪽에서 본 것과 오른쪽에서 본 것을 조합하여 3차원 영상을 만들어 낸다. 그래서 눈앞의 물체들이 얼마나 떨어져 있는지를 찾아내는 것이다. 이 방식은 우선은 물체의 종류와 상관없이 물체를 인식할 수 있다. 단안 카메라가 미리 정의되지 않은 물체에 대하여는 영상 처리 과정에서 누락시키게 되고 마는 반면에 스테레오 카메라는 '뭔지 모르겠지만 뭔가 물체가 앞에 있다'라는 프로세싱이 가능한 것이다. 물체까지의 거리 인식에 있어서도 단안에 비하여 압도적인 정확도를 가질 수 있다. 단안 카메라가 영상에서 물체의 크기, 영상에서 물체의 위치 등에 따라 위치를 인식하여 경사가 있거나 거리가 먼 경우에 위치를 많이 틀릴 수밖에 없는 것에 비하여 스테레오 카메라는 직접 양안시로 거리를 계산할 수 있는 것이다.

그렇다고 스테레오 카메라가 만능은 아니다. 두개의 렌즈가 함께 확인할 수 있는 영역에서만 인식이 가능하여 렌즈를 두 개 썼음에도 단안 카메라에 대하여 인식 범위가 좁다. 또 차선과 같은, 도로에 위치한 구조물이 아닌 물체들 (신호등, 표지판 등도 여기에 속합니다.) 인식 성능에 있어서 스테레오 카메라가 단안 카메라보다 유리한 점은 없다. 영상 처리 기술에 있어서 모빌아이가 압도적인 성능을 자랑하는 만큼 오히려 성능이 떨어지는 경우가 대부분이다. 초기의 스테레오 카메라 장착 벤츠의 차로 이탈 경고 기능들은 타사에 비하여 성능이 부족한 경우도 있었다. (차로를 제법 오랜 시간 달린 이후에만 작동한다거나 하는 한계점들이 있었던 것이다.)

스테레오 카메라를 이용한 거리 측정 기술

영상기반 거리감지 및 객체인식 기술

• 다중 카메라를 활용한 거리측정 및 사물 인식기술로 자율주행 차량의 충돌방지를 위한 ADAS 핵심 기술
• ADAS 카메라 센서는 차선/보행자를 감지하고 신호등 인식 및 비상 제동 기능을 하는 전방 카메라와 주차보조, 사각지대 감지 및 후측방 접근 차량 경고 기능을 하는 측방 및 후방 카메라를 포함함
• 다만, 자동차의 전방 카메라의 경우 원근 분석능이 상대적으로 낮기 때문에 두 개의 카메라가 서로 분리되어 있는 스테레오 비전 시스템을 활용하여 주변 환경을 인식하고 장애물을 감지하며 장애물까지의 거리를 측정함

기술1 : Stereo Matching 기술

• 기술구성 : 스테레오 카메라로부터 거리 정보를 획득하기 위해서는 두 카메라의 내·외부 변수를 추정하는 카메라 칼리브레이션 과정과 두 카메라에서 획득된 영상 상에서 서로 대응되는 위치를 찾는 스테레오 매칭 과정이 반드시 필요함
  

  기술개념도
  - 스테레오 매칭의 경우 많은 연산량을 필요로 한다는 문제로 인해 과거에는 세로 Edge만을 매칭하는 것과 같은 단순한 방식의 기술이 개발되었으나, 최근 효율적인 알고리즘들의 개발 및 프로세서의 성능의 향상으로 인해 영상 전체를 매칭하여 사용하는 조밀한 스테레오 매칭 방법인 Dense Disparity Map 기술이 사용되고 있음

기술2 : Stereo Vision 기반 전방 장애물 거리 감시 시스템

• 기술구성 : 차선을 통한 ROI 설정을 통해 주변 차량 및 noise를 제거하여 자차선의 장애물을 인식하고 거리 정보를 획득하는 기술 - stereo camera를 통해서는 좌측camera 영상에서의 점과 우측camera 영상에서의 점이 서로 다른 곳에 위치함에 따라 각 영상에서의 차이를 거리 정보로 활용 할 수 있음

더 진화한 기술

트라이포컬 카메라

교차로에서 옆에서 오는 차 등을 확인하기 위해서 더 넓은 화각의 카메라가 요구된다. 그런데 또 멀리 있는 물체를 확인하는 성능까지 한꺼번에 요구된다. 그런데 이는 서로 대치되는 개념이라 동시에 만족할 수 없다. 이를 보강하기 위해서 카메라 업체들은 트라이포컬 카메라를 내놓았다. 이 3개의 렌즈를 가지는 카메라는 스테레오 카메라와는 완전히 다른 기술이다. 3개의 카메라는 각각 독립적으로 단안 카메라처럼 영상을 인식한다. 하나는 근거리를 넓은 화각으로, 또 하나는 중간 거리를 중간 화각으로, 또 나머지 하나는 먼 거리를 좁은 화각으로 인식한다. 결과적으로 단안 카메라 3개를 장착한 것과 마찬가지다.

참고자료

• 〈입체카메라〉, 《두산백과》
• 안성원 AI정책연구실 실장, 〈자율주행을 가능하게 하는 기반 기술들〉, 《소프트웨어정책연구소》, 2017-05-30<
• 읽고보고맛보고, 〈자율주행의 눈, 카메라〉, 《티스토리》, 2021-01-24
• 최락현 연구원, 〈<기술> 스테레오 카메라를 이용한 거리 측정 기술〉, DGiST T-Market

같이 보기

• 자율주행
• ADAS
• 라이다
• 레이더
• 초음파센서

이 스테레오 카메라 문서는 자동차 전장에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

자동차 : 자동차 분류, 자동차 회사, 한국 자동차, 독일 자동차, 유럽 자동차, 미국 자동차, 중국 자동차, 일본 자동차, 전기자동차, 자동차 제조, 자동차 부품, 자동차 색상, 자동차 외장, 자동차 내장, 자동차 전장 □■⊕, 자동차 부품 회사, 배터리, 배터리 회사, 충전, 자동차 판매, 자동차 판매 회사, 자동차 관리, 자동차 역사, 자동차 인물 자동차 전장 2채널 블랙박스 • 4채널 블랙박스 • 360도 블랙박스 • CAN • CANdb • ECU • HMI 계층 • LVDS • MCU • OBD • OTA • SOS 버튼 • UVC • V2G • V2L • VCU • 가상 엔진 사운드 시스템 • 디지털 신호처리장치(DSP) • 마이크로컨트롤러 • 무선충전기 • 미들웨어계층 • 배선 • 배선도 • 블랙박스 • 블루링크 • 어드밴스드 케어 • 와이어링 하네스 • 운영체제계층 • 응용계층 • 자동차 전장 • 전자제어장치 • 접지 • 접지선 • 제어회로 • 중앙제어장치 • 집적회로(칩, IC) • 차량용 반도체 • 첨단안전장치 • 충전기 • 컨비니언스 패키지 • 컴포트 패키지 • 텔레매틱스 • 트랙패드 • 파퓰러 패키지 • 하네스 • 하드웨어계층 • 하이테크 패키지 • 하이패스 단말기 • 회로 • 회로도 운전보조 360도 카메라 • 3D 클러스터 • ADAS • AEB • AVM • DDREM • DMP • FCA • GPS • HDA • HDA2 • HDA3 • HDP • HSAC • LDWS • LKA • NSCC • SVM • V2X • 경사로 밀림 방지 • 경사로 저속주행 • 고속도로 자율주행(HDP) • 고속도로 주행보조 • 과속단속 카메라 감지 • 광각카메라 • 나이트비전 시스템 • 내비게이션 • 내비게이션 기반 스마트 크루즈 컨트롤(NSCC) • 능동형 전복방지(ARP) • 드라이브 와이즈 • 드라이빙 어시스턴스 패키지 • 모니터 • 모니터링 • 브레이크 오버라이드 시스템(BOS) • 비상 자동제동 시스템 • 사각지대 감지 시스템 • 사각지대 경보장치 • 서라운드 뷰 모니터 • 스마트 크루즈 컨트롤(어댑티브 크루즈 컨트롤) • 스탑앤고 스마트 크루즈 컨트롤 • 스테레오 카메라 • 시티 세이프티 • 안드로이드오토 • 액티브 노이즈 컨트롤 • 액티브 디스턴스 어시스트 디스트로닉 • 어라운드 뷰 모니터링 • 어웨이 • 옴니뷰 기술 • 운전보조 • 운전자 주의 경고(DAW) • 원격 스마트 주차 • 자동긴급제동장치 • 자율주행 시스템 • 적외선 카메라 • 전기식 스티어링 컬럼 잠금(ESCL) • 전방 주시 경고 • 전방충돌방지보조 • 전방카메라 • 전후방카메라 • 증강현실 내비게이션 • 차로 이탈방지 보조 • 차선변경지원 시스템 • 차선이탈 경보 시스템(LDWS) • 차체 자세 제어장치(ESC, ESP, VDC) • 첨단 운전자 보조 시스템 • 카메라 • 카플레이 • 콕핏 플랫폼 • 크루즈 컨트롤 • 크리핑 • 트래픽 사인 어시스트 • 트랙션 컨트롤 시스템 • 페이스커넥트 • 헤드업 디스플레이(HUD) • 후방 교차 충돌방지 시스템 • 후방 긴급자동제동 • 후방모니터 • 후방주차 충돌방지 보조(PCA) • 후방카메라 • 후측방 모니터 • 후측방 모니터링 시스템 • 후측방 충돌방지 보조(BCA) • 후측방 충돌방지 시스템 조명 3차원 디지털 픽셀 • DRL • DTRL • LED • LED 라이트 • LED 램프 • LED 헤드라이트 • 경고등 • 경광등 • 경보등 • 등 • 등불 • 등화관제등 • 등화장치 • 라이트 • 라이트 캔버스 • 램프 • 레이저 • 레이저 라이트 • 룸램프 • 리어램프 • 멀티빔 • 무드등 • 미등 • 방향지시등(깜빡이) • 배니티램프 • 백열등 • 번호등 • 보조제동등 • 비상등 • 빔 • 사이드리피터 • 상단표시등 • 상향등 • 소등 • 손전등 • 실내등 • 실외등 • 안개등 • 앰비언트 라이트 • 오토 헤드램프 레벨링 시스템 • 전구 • 전구색 • 전등 • 전등갓 • 전조등(헤드램프, 헤드라이트) • 점등 • 제동등(브레이크등, 정지등) • 조명 • 조명기구 • 조명기기 • 조명등 • 조명장비 • 조명장치 • 주간주행등 • 주광색 • 주백색 • 지능형 헤드램프 • 지도등 • 지시등 • 차폭등(마커램프) • 코너링 램프 • 콤비네이션 램프 • 파킹램프(주차등) • 팝업 헤드램프 • 표시등 • 픽셀 라이트 • 하이빔 어시스트 • 하향등 • 할로겐 램프 • 헤드램프 와이퍼 • 후미등(테일램프) • 후미안개등 • 후진등 인포테인먼트 3D 사운드 시스템 • 5.1 채널 • A/V • AVN • CD • CID • DMB • DVD • FaaS • LCD • LED • MBUX • OLED • RSE • USB • 고가 스피커 • 노이즈 캔슬링 • 돌비 • 돌비 비전 • 돌비 애트모스 • 뒷좌석 듀얼 모니터 • 디스플레이 • 디지털 디스플레이 • 라디오 • 렉시콘 사운드 • 리모컨 • 메르세데스 미 커넥트 프리미엄 패키지 • 메리디안 사운드 • 메리디안 엘리베이션 • 미드레인지 • 미드우퍼 • 바워스 앤 윌킨스 사운드 • 뱅앤올룹슨 사운드 • 보스 사운드 • 보이스 어시스턴트 • 부메스터 사운드 • 블루투스 • 빌트인캠 • 사운드 • 사운드 시스템 • 서라운드 사운드 • 서라운드 스피커 • 서브우퍼 • 센터 디스플레이 • 소너스 파베르 사운드 • 스크린 • 스피커 • 스피커 그릴 • 액티브사운드(전자배기음) • 앰프 • 오디오 • 온디맨드 • 온디맨드 인포테인먼트 • 우퍼 • 음성명령 • 음성인식 • 음성제어 • 음향기기 • 음향장비 • 인포테인먼트 • 인포테인먼트 시스템 • 인포테인먼트 시스템 컨트롤러 • 저가 스피커 • 중가 스피커 • 차량용 인포테인먼트 시스템 • 카PC • 카오디오 • 카폰 • 터치스크린 • 트위터 • 티박스 • 파워앰프 • 프로젝터 • 하만카돈 사운드 • 하이파이 • 하이퍼스크린 • 핸즈프리 • 햅틱 • 헤드유닛 • 화면 공조장치 PTC 히터 • 가습 • 가습기 • 공기청정기 • 난방 • 난방기(히터) • 냉각수 온도계 • 냉매 • 냉방기 • 도그모드(강아지모드, 애견모드) • 디포거(김 서림 방지 장치) • 선풍기 • 에어컨 • 에어컨필터 • 열교환기 • 예열 • 예열제상 • 온도계 • 응축기 • 이온발생기 • 제상 • 제습 • 제습기 • 증발기 • 컴프레서 • 투명히터 • 풀오토 에어컨 버튼과 스위치 근접스위치 • 레벨스위치 • 리드 스위치 • 리미트 스위치 • 마이크로 스위치 • 버저(부저) • 버튼 • 벨 • 볼륨 스위치 • 셀렉터 스위치 • 스위치 • 스피드 스위치 • 시동버튼(스타트 스위치) • 신호 • 신호음 • 썬루프 스위치 • 압력스위치 • 열선스위치 • 온도스위치 • 워크인 스위치 • 유량스위치 • 잠금장치 • 전기스위치 • 전조등 스위치 • 조이스틱 스위치 • 차일드락 • 창문 스위치 • 창문잠금장치 • 토글 스위치 • 트렁크 열림 버튼 • 파워윈도우 스위치 • 푸시버튼 스위치 • 하차벨 • 햅틱버튼 센서 MEMS센서 • 가상센서 • 가속도센서 • 가스센서 • 감압식 센서 • 공기질센서 • 광센서 • 근접센서 • 냉각수 온도센서 • 노크센서 • 녹스센서 • 라이다 • 레이다 • 레인센서(우적센서) • 바이오센서 • 배기가스온도센서 • 버클센서 • 산소센서 • 센서 • 소리센서 • 속도센서 • 스로틀 포지션 센서 • 습도센서 • 압력센서 • 액추에이터 • 에어백센서 • 에어플로우 센서 • 온도센서 • 유량센서 • 이미지센서 • 자율주행센서 • 자이로스코프(자이로센서) • 점유센서(점유감지센서) • 정전식 센서 • 조도센서(일사센서) • 조향각센서 • 주차보조센서 • 중력센서 • 지문센서 • 지자기센서 • 차량용 센서 • 초음파센서 • 충격센서 • 충돌방지센서 • 카메라센서 • 크랭크각 센서 • 타이어 공기압 경보장치(TPMS) • 타이어 공기압 센서 • 타이어 압력 경고등 • 토크센서 • 하이트센서(차고센서) • 후방감지센서 • 흡기 온도센서 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반