적외선 카메라

적외선 카메라(Infrared Camera)는 적외선에 대한 충분한 감도를 갖는 전하 결합 소자(CCD1)로 만들어진 카메라이다. 열화상 카메라, 적외선 전방 주시장치(Forward Looking infrared)라고도 한다. 야간에 야생 동식물을 촬영할 경우, 집광성이 강한 조명에 적외선 필터를 부착해 사용하면 자연 생태계를 파손하지 않게 되므로 매우 효과적이다. 최근에는 레이저를 이용한 근적외선 광원과 II(Image Intensifier)를 사용한 일체형 적외선 카메라가 시험 제작되고 있다.

이와 같이 적외선 카메라는 야간에도 사물을 볼 수 있는 장점 때문에 주로 특수 산업 분야에서 활용되고 있다. 하지만 요즘에는 어두운 곳을 달리는 자동차의 전후방카메라, 폐쇄회로 TV(CCTV2) 등의 분야에도 적용하는 추세이다.

패시브 방식 원적외선 비전 시스템은 레이더나 라이더의 취약점을 보완해준다. 자동차 주변에 있는 사람이나 사물로부터 발산하는 열을 감지해 주변 상황을 인식한다. 특히 원적외선 기술은 수십년간 야간용 고글이나 보안 카메라에 적용됐다. 그러나 자동차 분야에는 매우 제한적으로 이용됐다. 오직 '오토리브(Autoliv)'라는 기업이 최고급 자동차용으로 적외선 카메라를 제공하고 있다. 그러나 가격이 2천 달러를 넘는다. BMW, 아우디, 메르세데스-벤츠, 롤스로이스 등 최고급 자동차에만 탑재되어 있을 뿐이다.

야간 자율주행의 새로운 대안

왜 적외선 카메라를 쓰는지 알려주는 영상. 왼쪽은 야간에 일반카메라로 촬영한 장면이고, 오른쪽은 같은 상황에서 FLIR로 촬영한 영상이다. 야간임에도 전방의 장애물 등이 더 뚜렷하게 보인다.

안전한 고급 ADAS(Advanced Driver Assist Systems) 차량 및 AV(Autonomous Vehicles)를 사용하려면 센서가 SAE(Society of Autonomous Engineers, 미국자동차 기술자협회) 자동화 레벨 5의 모든 조건에서 자율적으로 탐색하는 데 사용되는 감지 및 분류 알고리즘에 적합한 장면 데이터를 제공해야 한다. 이는 자동차 엔지니어와 개발자에게 까다로운 요구 사항이다.

가시광 카메라, 소나 및 레이더는 현재 SAE 자동화 레벨 2에서 생산 차량에 이미 사용되고 있다. SAE 자동화 레벨 3 및 4 테스트 플랫폼에는 LIDAR 센서 제품군이 추가되었다. 이러한 각 기술에는 장단점이 있다. 비극적으로 최근 Uber 및 Tesla 사고에서 볼 수 있듯이, SAE의 현재 센서 자동화 수준 2와 3은 자동차나 보행자를 적절하게 감지하지 못한다.

자율주행용 센서별 장단점

​ADAS 및 AV 플랫폼은 여러 기술의 센서를 사용하며, 핵심적인 기술은 객체를 감지하고 분류하는 작업 과정이다. 예를 들어, 레이더 및 LIDAR 시스템은 수집된 반사 정보로부터 획득한 점 밀도 구름에서 물체를 분류하고, 물체의 위치와 차량의 정지 속도를 계산한다. 모든 주행 조건을 만족하면서 효율적인 비용과 신뢰할 수 있는 솔루션으로 물체를 분류하기에 필요한 양의 데이터를 획득하기 위해서는 레이더와 LIDAR 이외에 가시광선 및 열화상 카메라의 정보가 융합되어야 한다.

센서 종류별 적용이 가능한 응용 분야

조명이 약한 환경(예를 들면, 야간 운전, 햇빛에 의한 눈부심 및 악천후)에서는 일반적인 센서 제품군의 경우 물체의 분류가 어렵다. 적외선 센서는 이러한 문제를 극복할 수 있으며, 상기와 같은 환경에서도 일반적인 주행 조건과 같이 차량, 사람, 동물 및 기타 물체를 안정적으로 분류할 수 있다. 또한 적외선 센서를 사용하는 열화상 카메라는 주간 주행에서도 똑같이 잘 작동하며 가시광 카메라에 유사한 정보(흑백 정보이기 때문에 신호등의 상태는 파악이 어려움)를 제공할 수 있다.

LIDAR 및 레이더와 결합된 저조도 가시광 카메라는 기본적인 야간 성능을 제공하지만, 약 50m (165 피트) 이상을 넘어서는 영역에서는 열화상 카메라가 저조도 가시광 카메라보다 성능이 훨씬 뛰어나며, 모든 조명 조건에서 보다 일관된 이미지를 제공한다.

​애리조나 주 템피에서 발생한 Uber 사건에 대한 NTSB 보고서에 따르면, 보행자는 LIDAR, 레이더 및 가시광 센서를 사용하는 개발형 SAE 수준 3 자율 주행 자동차에 치명타를 입었다. 보행자가 처음에는 알 수 없는 물체로 분류 된 후 자동차 또는 자전거로 분류되었고, 최종적으로 사람으로 분류되었다. 그러나 열화상 카메라 시스템으로 시험을 해 보면, 약 280 피트 (85.4m)에서부터 보행자로 분류하였다. 이는 43mph (135 피트 또는 41m)에서 사람이 운전하는 데 필요한 "빠른 반응" 정지 거리의 두 배 이상의 거리를 확보할 수 있음을 의미한다. 만약 좁은 FOV 열화상 카메라를 사용한다면, 200 미터에서도 보행자 분류가 가능하며 이는 일반적인 헤드라이트 및 가시광 카메라가 볼 수 있는 거리보다 4배 더 먼 거리이다.

열화상 카메라는 헤드라이트 대비 식별 능력이 최대 4배 향상

태양광으로 인한 눈부심 현상, 안개, 암흑 등 조광 상태가 어려운 상황에서도 정확하게 물체를 식별 가능

원리

LWIR 열화상 카메라는 자체적으로 어떠한 에너지도 내 보내지 않으면서 물체에서 방사되는 열을 감지하기 때문에 완전한 수동적(passive) 방식이며, 이는 능동형(active) 방식인 가시광 카메라와 LIDAR 및 레이더에 비해 가장 큰 장점이다. 왜냐하면 물체의 반사율 및 대기 효과와 같은 조건들은 능동형 센서의 센서 성능에 영향을 끼칠 수 있기 떄문이다.

• 가시광 카메라는 태양광, 가로등 또는 물체에서 반사되어 센서에 수신되는 헤드 라이트에 의존한다.
• LIDAR 센서는 레이저 광 에너지를 방출하고 광원의 비행 시간을 측정하여 반사된 에너지를 처리한다.
• 레이더는 무선 신호를 방출하고 물체에서 반사된 신호를 처리한다.

​열화상 이미지는 모든 물체가 열 에너지를 방출한다는 사실을 이용하므로 조명 소스에 대한 의존성이 없다. 아래 그림에서 보듯이 안개의 상황에 따라 열화상 카메라가 가시광 카메라 보다 최소 4배 더 멀리 볼 수 있다는 것을 보여준다.

열화상 카메라의 원리

최근 사건과 우리 자신의 운전 경험이 보여 주듯이 보행자를 밤낮으로 보는 것은 어려울 수 있다. 운전 조건과 다양한 환경에서의 열화상 카메라는 더욱 필요하다고 볼 수 있으며, 어찌보면 열화상 카메라가 유일한 대안 기술로 볼 수 있다.

보행자의 레이더 또는 LIDAR 신호는 근처 차량의 경쟁 신호에 의해 위장될 수도 있다. 보행자가 두 대의 자동차 사이를 건너고 있거나 일부가 나뭇잎에 의해 가려지면 보행자를 감지하는 반사 신호가 거의 또는 전혀 없을 수도 있다. 이러한 경우 수색 및 구조 또는 군사 분야에서 사용되는 열화상 카메라는 밝은 나뭇잎을 통해 볼 수 있다. 적외선 센서는 가시적인 모양이 아닌 열을 인식하기 때문에 부분적으로 분류할 때 가시광 카메라보다 유리하다. 나뭇잎 등에 가려진 사람과 동물의 열은 아래 그림과 같이 부분적으로 가려진 전경에서도 분류가 가능하다.

나뭇잎 등에 가려진 보행자도 열화상 카메라는 열을 감지하기 때문에 보행자로 분류가 가능

필요성

ADAS 및 AV 플랫폼의 주요 과제는 모든 주행 조건에 대비하는 것이다. 도로는 복잡하고 예측할 수 없는 상황으로 가득차 있으며, 자동차에는 매번 올바른 결정을 내리기 위해 가능한 한 많은 정보를 수집 할 수있어야 하며, 이를 위해 비용대비 효율적인 센서 제품군이 장착되어야 한다. 현재 표준 센서 제품군으로는 SAE 레벨 3 이상에 대한 요구 사항을 완전히 충족할 수 없다.

​최근까지 도로를 주행하는 SAE 자동화 레벨 2 (부분 자동화) 및 레벨 3 (조건부 자동화) 차량의 센서 제품군에 열 화상 카메라가 포함되어 있지 않았다. 많은 테스트 차량이 테스트 및 이상적인 조건에서 훌륭하게 작동하지만, 실제 성능은 실제 주행 조건의 엄격한 조건을 견뎌 내야 한다.

열 또는 LWIR 에너지는 도로 위 또는 모든 물체에서 자발적으로 방사 및 반사되고 있다. 열화상 카메라는 섭씨 0.05℃ 의 작은 온도 차이도 구분이 가능하다. VGA급 열화상 카메라 (640 x 512 픽셀)는 거의 모든 물체를 선명하게 나타낼 수 있다. 아래 그림은 (애리조나 주 템피에서 Uber 사고를 재현한 열화상 영상 화면 캡처) 운전자에게 필요한 "빠른 반응" 정지 거리의 두 배 이상에서 물체를 감지하고 보행자로 분류하였으며, 건물 벽에 있는 글자도 명확하게 볼 수 있다.

건물벽 글자

2016 AWARE (All Weather All Roads Enhanced) 비전 프로젝트에서 밤, 안개, 비, 눈과 같은 까다로운 가시성 조건에서 잠재적으로 시력을 향상시킬 수 있는 카메라 제품군을 테스트 했다. 최고의 전천후 비전을 제공하는 기술을 식별하기 위해 전자기 스펙트럼에서 가시광 RGB, 근적외선 (NIR), 단파 적외선 (SWIR) 및 LWIR 또는 열의 네 가지 대역에 대해 평가했다. 이 프로젝트는 다양한 안개 밀도에서 보행자 감지를 측정한 후 다음과 같은 세 가지 결론을 공식화했다.

• LWIR 카메라는 NIR 및 SWIR보다 안개를 더 잘 투과했다. 가시광 카메라는 가장 낮은 안개 투과 기능을 가졌다.
• LWIR 카메라는 완전한 어둠 속에서 보행자를 감지하는 유일한 센서였다. LWIR 카메라는 또한 안개 속에서 다가오는 전조등으로 인한 눈부심에 더 탄력적인 것으로 입증되었다.
• 가시광 RGB, SWIR 및 NIR 카메라는 보행자가 헤드 램프 눈부심으로 숨겨져 있기 때문에 때때로 보행자를 볼 수 없었다.

경제적인 문제점 및 전망

SAE 자동화 레벨 3 (조건부 자동화) 이상의 대량 채택은 합리적인 가격의 센서 기술, 들어오는 센서 데이터를 처리하는 데 필요한 컴퓨터 성능, 현실 세계에서 안전하고 신뢰할 수있는 운송을 제공하는 운전 명령을 실행하는 데 필요한 인공지능에 달려 있다.

일반적인 오해는 군사용 배경을 가진 적외선 센서가 자동차에 사용되기에는 너무 고가이라는 점이다. SAE 자동화 레벨 2 이상에 사용이 가능한 열화상 카메라는 열화상 기술의 발전, 제조 기술의 향상, 제조량 증가로 인해 합리적인 가격으로 대량 생산이 가능해지고 있다. 최근까지 열화상 카메라는 VGA 해상도 이상에서 수천 달러에 판매되었으나, 이제는 생산 수량과 기술 향상으로 인해 가격이 훨씬 저렴해지고 있다.

현재 개발 계획에 따르면 향후 몇 년 동안 추가로 2배의 비용 절감을 달성 할 수있을 것으로 예상된다. SAE2와 3의 자동화 수준을 위해 상당한 양의 열화상 카메라 채택이 2022년 또는 2023년에 시작될 것이며, 2030년까지 연간 성장률은 200 ~ 300% 정도로 예상하고 있다. 자동차 제조 규모에 따라 열 화상 카메라는 ADAS 및 AV 센서 제품군을 위한 저렴한 구성 요소가 될 것으로 예상하고 있다.

최근 한국에서도 자율주행 차량용 열화상 카메라를 개발하기 위해 노력하고 있다. 센서 전문업체인 트루윈과 한화시스템즈는 자율주행용 열화상 카메라 개발을 위해 협약을 맺었다.

참고자료

• 〈적외선 카메라〉, 《손에 잡히는 방송통신융합 시사용어》
• "FLIR", 《나무위키》
• 〈열화상카메라〉, 《나무위키》
• 센서로세계로미래로, 〈자율주행차량을 위해 열화상 카메라가 왜 필요한가?〉, 《네이버 블로그》, 2021-02-19
• 한상민 기자, 〈자율주행에 추가된 열화상 기술〉, AEM, 2020-07
• 〈야간 자율주행의 새로운 대안 '적외선 카메라'〉, 《로봇신문》, 2017-10-19

같이 보기

• 전후방카메라
• 레이더
• 라이다
• 자율주행
• 적외선

이 적외선 카메라 문서는 자동차 전장에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

자동차 : 자동차 분류, 자동차 회사, 한국 자동차, 독일 자동차, 유럽 자동차, 미국 자동차, 중국 자동차, 일본 자동차, 전기자동차, 자동차 제조, 자동차 부품, 자동차 색상, 자동차 외장, 자동차 내장, 자동차 전장 □■⊕, 자동차 부품 회사, 배터리, 배터리 회사, 충전, 자동차 판매, 자동차 판매 회사, 자동차 관리, 자동차 역사, 자동차 인물 자동차 전장 2채널 블랙박스 • 4채널 블랙박스 • 360도 블랙박스 • CAN • CANdb • ECU • HMI 계층 • LVDS • MCU • OBD • OTA • SOS 버튼 • UVC • V2G • V2L • VCU • 가상 엔진 사운드 시스템 • 디지털 신호처리장치(DSP) • 마이크로컨트롤러 • 무선충전기 • 미들웨어계층 • 배선 • 배선도 • 블랙박스 • 블루링크 • 어드밴스드 케어 • 와이어링 하네스 • 운영체제계층 • 응용계층 • 자동차 전장 • 전자제어장치 • 접지 • 접지선 • 제어회로 • 중앙제어장치 • 집적회로(칩, IC) • 차량용 반도체 • 첨단안전장치 • 충전기 • 컨비니언스 패키지 • 컴포트 패키지 • 텔레매틱스 • 트랙패드 • 파퓰러 패키지 • 하네스 • 하드웨어계층 • 하이테크 패키지 • 하이패스 단말기 • 회로 • 회로도 운전보조 360도 카메라 • 3D 클러스터 • ADAS • AEB • AVM • DDREM • DMP • FCA • GPS • HDA • HDA2 • HDA3 • HDP • HSAC • LDWS • LKA • NSCC • SVM • V2X • 경사로 밀림 방지 • 경사로 저속주행 • 고속도로 자율주행(HDP) • 고속도로 주행보조 • 과속단속 카메라 감지 • 광각카메라 • 나이트비전 시스템 • 내비게이션 • 내비게이션 기반 스마트 크루즈 컨트롤(NSCC) • 능동형 전복방지(ARP) • 드라이브 와이즈 • 드라이빙 어시스턴스 패키지 • 모니터 • 모니터링 • 브레이크 오버라이드 시스템(BOS) • 비상 자동제동 시스템 • 사각지대 감지 시스템 • 사각지대 경보장치 • 서라운드 뷰 모니터 • 스마트 크루즈 컨트롤(어댑티브 크루즈 컨트롤) • 스탑앤고 스마트 크루즈 컨트롤 • 스테레오 카메라 • 시티 세이프티 • 안드로이드오토 • 액티브 노이즈 컨트롤 • 액티브 디스턴스 어시스트 디스트로닉 • 어라운드 뷰 모니터링 • 어웨이 • 옴니뷰 기술 • 운전보조 • 운전자 주의 경고(DAW) • 원격 스마트 주차 • 자동긴급제동장치 • 자율주행 시스템 • 적외선 카메라 • 전기식 스티어링 컬럼 잠금(ESCL) • 전방 주시 경고 • 전방충돌방지보조 • 전방카메라 • 전후방카메라 • 증강현실 내비게이션 • 차로 이탈방지 보조 • 차선변경지원 시스템 • 차선이탈 경보 시스템(LDWS) • 차체 자세 제어장치(ESC, ESP, VDC) • 첨단 운전자 보조 시스템 • 카메라 • 카플레이 • 콕핏 플랫폼 • 크루즈 컨트롤 • 크리핑 • 트래픽 사인 어시스트 • 트랙션 컨트롤 시스템 • 페이스커넥트 • 헤드업 디스플레이(HUD) • 후방 교차 충돌방지 시스템 • 후방 긴급자동제동 • 후방모니터 • 후방주차 충돌방지 보조(PCA) • 후방카메라 • 후측방 모니터 • 후측방 모니터링 시스템 • 후측방 충돌방지 보조(BCA) • 후측방 충돌방지 시스템 조명 3차원 디지털 픽셀 • DRL • DTRL • LED • LED 라이트 • LED 램프 • LED 헤드라이트 • 경고등 • 경광등 • 경보등 • 등 • 등불 • 등화관제등 • 등화장치 • 라이트 • 라이트 캔버스 • 램프 • 레이저 • 레이저 라이트 • 룸램프 • 리어램프 • 멀티빔 • 무드등 • 미등 • 방향지시등(깜빡이) • 배니티램프 • 백열등 • 번호등 • 보조제동등 • 비상등 • 빔 • 사이드리피터 • 상단표시등 • 상향등 • 소등 • 손전등 • 실내등 • 실외등 • 안개등 • 앰비언트 라이트 • 오토 헤드램프 레벨링 시스템 • 전구 • 전구색 • 전등 • 전등갓 • 전조등(헤드램프, 헤드라이트) • 점등 • 제동등(브레이크등, 정지등) • 조명 • 조명기구 • 조명기기 • 조명등 • 조명장비 • 조명장치 • 주간주행등 • 주광색 • 주백색 • 지능형 헤드램프 • 지도등 • 지시등 • 차폭등(마커램프) • 코너링 램프 • 콤비네이션 램프 • 파킹램프(주차등) • 팝업 헤드램프 • 표시등 • 픽셀 라이트 • 하이빔 어시스트 • 하향등 • 할로겐 램프 • 헤드램프 와이퍼 • 후미등(테일램프) • 후미안개등 • 후진등 인포테인먼트 3D 사운드 시스템 • 5.1 채널 • A/V • AVN • CD • CID • DMB • DVD • FaaS • LCD • LED • MBUX • OLED • RSE • USB • 고가 스피커 • 노이즈 캔슬링 • 돌비 • 돌비 비전 • 돌비 애트모스 • 뒷좌석 듀얼 모니터 • 디스플레이 • 디지털 디스플레이 • 라디오 • 렉시콘 사운드 • 리모컨 • 메르세데스 미 커넥트 프리미엄 패키지 • 메리디안 사운드 • 메리디안 엘리베이션 • 미드레인지 • 미드우퍼 • 바워스 앤 윌킨스 사운드 • 뱅앤올룹슨 사운드 • 보스 사운드 • 보이스 어시스턴트 • 부메스터 사운드 • 블루투스 • 빌트인캠 • 사운드 • 사운드 시스템 • 서라운드 사운드 • 서라운드 스피커 • 서브우퍼 • 센터 디스플레이 • 소너스 파베르 사운드 • 스크린 • 스피커 • 스피커 그릴 • 액티브사운드(전자배기음) • 앰프 • 오디오 • 온디맨드 • 온디맨드 인포테인먼트 • 우퍼 • 음성명령 • 음성인식 • 음성제어 • 음향기기 • 음향장비 • 인포테인먼트 • 인포테인먼트 시스템 • 인포테인먼트 시스템 컨트롤러 • 저가 스피커 • 중가 스피커 • 차량용 인포테인먼트 시스템 • 카PC • 카오디오 • 카폰 • 터치스크린 • 트위터 • 티박스 • 파워앰프 • 프로젝터 • 하만카돈 사운드 • 하이파이 • 하이퍼스크린 • 핸즈프리 • 햅틱 • 헤드유닛 • 화면 공조장치 PTC 히터 • 가습 • 가습기 • 공기청정기 • 난방 • 난방기(히터) • 냉각수 온도계 • 냉매 • 냉방기 • 도그모드(강아지모드, 애견모드) • 디포거(김 서림 방지 장치) • 선풍기 • 에어컨 • 에어컨필터 • 열교환기 • 예열 • 예열제상 • 온도계 • 응축기 • 이온발생기 • 제상 • 제습 • 제습기 • 증발기 • 컴프레서 • 투명히터 • 풀오토 에어컨 버튼과 스위치 근접스위치 • 레벨스위치 • 리드 스위치 • 리미트 스위치 • 마이크로 스위치 • 버저(부저) • 버튼 • 벨 • 볼륨 스위치 • 셀렉터 스위치 • 스위치 • 스피드 스위치 • 시동버튼(스타트 스위치) • 신호 • 신호음 • 썬루프 스위치 • 압력스위치 • 열선스위치 • 온도스위치 • 워크인 스위치 • 유량스위치 • 잠금장치 • 전기스위치 • 전조등 스위치 • 조이스틱 스위치 • 차일드락 • 창문 스위치 • 창문잠금장치 • 토글 스위치 • 트렁크 열림 버튼 • 파워윈도우 스위치 • 푸시버튼 스위치 • 하차벨 • 햅틱버튼 센서 MEMS센서 • 가상센서 • 가속도센서 • 가스센서 • 감압식 센서 • 공기질센서 • 광센서 • 근접센서 • 냉각수 온도센서 • 노크센서 • 녹스센서 • 라이다 • 레이다 • 레인센서(우적센서) • 바이오센서 • 배기가스온도센서 • 버클센서 • 산소센서 • 센서 • 소리센서 • 속도센서 • 스로틀 포지션 센서 • 습도센서 • 압력센서 • 액추에이터 • 에어백센서 • 에어플로우 센서 • 온도센서 • 유량센서 • 이미지센서 • 자율주행센서 • 자이로스코프(자이로센서) • 점유센서(점유감지센서) • 정전식 센서 • 조도센서(일사센서) • 조향각센서 • 주차보조센서 • 중력센서 • 지문센서 • 지자기센서 • 차량용 센서 • 초음파센서 • 충격센서 • 충돌방지센서 • 카메라센서 • 크랭크각 센서 • 타이어 공기압 경보장치(TPMS) • 타이어 공기압 센서 • 타이어 압력 경고등 • 토크센서 • 하이트센서(차고센서) • 후방감지센서 • 흡기 온도센서 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반