위키원
"이미지센서"의 두 판 사이의 차이
잔글 |
잔글 (→같이 보기) |
||
| 96번째 줄: | 96번째 줄: | ||
{{자동차 전장|검토 필요}} | {{자동차 전장|검토 필요}} | ||
| + | {{반도체}} | ||
2024년 8월 18일 (일) 22:18 판
_%EA%B8%B0%EB%8A%A5%EC%9D%98_%EB%AA%A8%EC%8A%B5..jpg)
이미지센서(image sensor)는 카메라 렌즈로 들어온 영상정보인 빛을 디지털 신호로 바꾸는 센서이다.[1] 이미지 센서는 스마트폰 카메라, 디지털카메라, CCTV뿐만 아니라, 자율주행 자동차에도 필수적이다.
스마트 이미지센서에는 빛을 전기 신호로 전환하는 부분과, 잡음이나 간섭과 같은 현상을 제거하며 데이터를 압축하기 위한 프로세서(ISP)와 메모리가 들어간다. 자율주행 자동차 시장이 성장하며 휴대전화 뒷면처럼 자동차 내외부가 이미지센서로 도배되고 있다. 기본적으로 이는 안전 주행을 위한 차량 및 차선 인식에 사용되는데, 사람과 교통신호, 도로 표지판 인식에도 필요하다. 영상 인식을 통해서 주행 중 다양한 물체를 파악하고, 보행자를 탐지하며, 대상과의 거리와 공간 정보를 인식한다. 그리고 도난 방지, 운전자의 졸음, 감정과 건강 상태 관찰에도 사용된다. 하지만 이러한 이미지센서가 자동차에 실제 사용되기 위해서는 일반 상용 반도체에 비해서 매우 엄격한 테스트와 패키징 과정을 거쳐야 한다. 자동차는 북극에서도 정상 동작해야 하고, 적도 사막에서도 안전하게 운행되어야 하기 때문이다. 특히 엔진 근처는 온도가 매우 높다. 그래서 보장되어야 하는 테스트 조건이 휴대폰이나 가전 기기에 들어가는 반도체보다 휠씬 가혹하다.
이미지센서는 메모리 반도체와 구조적으로 그리고 공정상에서 매우 유사한 점이 많다. 메모리는 격자 모양으로 규칙적으로 기억 셀을 설치한다. 마찬가지로 이미지센서에도 화소들이 평면에 격자 구조로 배열된다. 그 화소의 크기도 나노 단위로 계속 줄어들고 있다. 초격차 메모리에서 확보한 나노 공정 기술과 설계 기술이 그대로 이미지센서에 적용된다. 거기에 인공지능(AI)과 패키징 기술이 결합하면 국제적으로 최고 경쟁력을 확보한다. 이미지센서가 바로 시스템 반도체 산업의 성장과 자동차 반도체 확보 경쟁에 전략적 돌파구로 여겨지는 까닭이다.[2]
  |
개요
이미지센서는 피사체 정보를 읽어 전기적인 영상신호로 변환해주는 장치이다. 빛 에너지를 전기적 에너지로 변환해 영상으로 만드는데, 카메라의 필름과 같은 역할을 한다. 쉽게 말해 렌즈를 통해 들어온 빛을 전기적 디지털 신호로 변환해주는 역할로, 영상신호를 저장하고 전송해 디스플레이 장치로 촬영한 사진을 볼 수 있도록 만들어 주는 반도체이다. 이러한 이미지센서가 사용되는 디지털카메라는 일반 필름카메라와 달리 필름, 인화 과정을 필요로 하지 않는데 사진을 찍은 후 바로 디스플레이 화면에서 사진을 확인하거나 삭제할 수 있는 것이다.
이미지센서는 응용 방식과 제조 공정에 따라 CCD 이미지센서와 CMOS 이미지센서로 나눌 수 있다. CCD 이미지센서는 전자 형태의 신호를 직접 전송하는 방식으로 아날로그 제조 공정이 사용되는데 CMOS 이미지센서 대비 노이즈가 적다는 장점을 가지고 있다. 반면 CMOS 이미지센서는 신호를 전압 형태로 변환해 전송하는 방식으로 CMOS 제조 공정이 사용되어 가격경쟁력이 있다는 장점이 있다. 이러한 특징 때문에 과거 CCD 이미지센서는 디지털카메라에 사용되고, CMOS 이미지센서는 주로 휴대폰에 사용됐다. 하지만 휴대폰, 태블릿PC 등 카메라 기능이 탑재된 모바일 기기의 시장이 확대되면서 핵심 부품으로 CMOS 이미지센서가 주목받기 시작했다. 특히 모바일 기기는 전력 소비를 줄이는 것이 중요한데 이는 배터리 사용 시간 연장과 직결되기 때문이다. 때문에 CCD 이미지센서 대비 저전력 공정으로 소비전력에서 강점을 가지는 CMOS 이미지센서가 핵심 부품으로 떠오르게 된 것이다. 또한, CMOS 이미지센서는 노이즈 등 성능이 매우 개선되고 동영상 지원 기능과 가격 측면에서도 지속적인 우위를 가지면서 최근에는 DSLR 카메라에도 많이 탑재되고 있다.
이외에도 CMOS 이미지센서는 CCD 이미지센서에 비해 많은 장점을 가지고 있는데 일반 반도체 공정인 CMOS 공정을 사용하기 때문에 가격 경쟁력을 가지며 이미지센서와 주변 회로를 원칩화할 수 있어 소형화 및 관리가 용이하다.
차량 이미지센서 플랫폼
자율주행차에 대한 관심이 높아지고 있는 가운데, 첨단운전자보조시스템(ADAS) 도입이 확대되면서 자율주행을 위한 기반이 마련되고 있다. 이미지 센서는 카메라 기반 시스템의 기본 요소로, 차량의 눈 역할을 한다. 운전자는 이미지 센서를 통해 후방 카메라와 전방위 서라운드 뷰 시스템으로 차량 후방과 주변을 볼 수 있다. 또한 이미지 센서는 ADAS를 통해 충돌을 방지하는 등의 기능도 제공한다.
또한, 이미지센서는 전방상황을 감지하는 전방 카메라 시스템을 통해 충돌을 방지하는 자동기능도 제공한다. 자동차 카메라 도입은 정부규제와 신차평가제도(NCAP)와 같은 안전등급이 마련됨에 따라 신속히 추진되고 있다. 자동차 제조사들은 고급 차량부터 보급형 차량에 이르는 모든 자동차 플랫폼에 이 시스템을 도입하고 있다.
시장조사업체 욜 디벨롭먼트가 최근 발표한 보고서에 따르면, 약 1억 2400만 개의 이미지 센서가 2018년 차량용 카메라로 출하됐다. 2018년 자동차 카메라 모듈 시장은 30억 달러(약 3조 5000억 원)에 달했으며, 11%의 CAGR(연평균성장률)로 2024년까지 57억 달러(약 6조 7000억 원)에 이를 것으로 예상된다.
또 다른 시장조사업체 카운터포인트리서치는 2019년 2월 차량용 이미지 센서 시장은 연간 19% 성장하며, 이미지 센서 탑재 차량이 2023년까지 약 2억 3000만 대 출시될 것이라고 전망한 바 있다.
운전자는 차량의 각 면에 장착된 네 개의 카메라로 제공되는 360도 서라운드 뷰 시스템을 통해 제공되는 저속 주차와 메뉴버링(Manoeuvring) 기능으로 차선을 변경하기 전에 차선이탈경고, 사각지대감지와 같은 경고를 제공받을 수 있다. 또한, 카메라는 카메라 모니터 시스템(CMS)으로 거울의 기능을 대체한다.
운전자는 85카메라 모니터 시스템을 통해 거울로 볼 수 없었던 사각 지대를 차 안에서 볼 수 있다. 관할 당국에서 거울관련 규정을 완화한다면, 차량 외부 거울을 제거할 수 있어 연비와 차량외관 설계에 큰 도움이 된다. 전방 카메라는 운전자에게 영상을 보여주는 용도로 사용되지는 않지만, 차량 전방상황을 감지해 안전 및 편의성을 높인다.
이러한 시스템은 주행 중 갑자기 방해물이 감지되면 차량을 멈추게 하는 자동긴급제동장치(AEB)로 충돌을 완화하고, 적응식 정속주행 시스템(ACC)으로 운전자에게 고통을 덜어주게 된다. 이는 특히 정체가 심한 고속도로 주행 시 유용하다.
- 센서 고려사항
이미지센서는 이러한 모든 애플리케이션에서 카메라 내 핵심 구성요소로 사용되지만, 이미지 품질, 해상도, 센서 크기 등에 필요한 요구사항은 각각 다를 수 있다. 예를 들어, 백업 카메라와 같이 운전자에게 이미지를 제공하는 데 사용되는 카메라에 필요한 이미지 품질은 AEB와 같은 ADAS 기능을 제공하기 위해 알고리즘과 함께 물체를 감지하는 데 사용되는 전방 카메라와 요구사항이 다를 수 있다. 마찬가지로, 특정 디스플레이 형식을 충족시키는데 필요한 해상도는 알고리즘이 물체를 정확하게 감지하고 식별하기 위해 정확한 최소 픽셀 수가 필요한 컴퓨터 비전 애플리케이션이 요구하는 해상도와 다르다.
전방 카메라 시스템에는 이미지 센서 출력을 사용해 보행자와 차량, 물체를 감지하고 의사 결정을 내리는 컴퓨터 비전 알고리즘이 사용된다. 이 알고리즘은 수 천 시간의 주행 테스트를 통해 수집된 이미지로 학습되며, 이 과정은 상당한 비용이 수반된다. 이미지는 생산과정에서 롤 아웃(roll-out)된 것과 동일한 시스템을 사용해 수집돼야 하며, 수집에 앞서 이미지 품질을 설정해야 한다.
이렇게 이미지를 조정하고 개발하려면 현장 상황의 변화에 따라 자동적으로 최적의 이미지를 출력하기 위해 센서와 적절한 자동 노출과 자동 화이트 밸런스 기술을 조절하기 위한 엔지니어링 노력이 필요하다. 캡처한 이미지로 훈련시키는 컴퓨터 비전 알고리즘은 이미 주어진 데이터 세트의 프로파일을 인식하도록 조정돼 있어 특성이 다르거나, 다르게 튜닝된 이미지 센서로 구성된 카메라에서는 실행할 수 없다.
다양한 해상도로 같은 성능과 유사한 특성을 제공하는 이미지 센서 확장 플랫폼은 엔지니어링 개발 작업과 교육 이미지 데이터 세트를 재사용할 수 있어 다양한 플랫폼에서 작업하는 제조사들의 노력과 비용을 대폭 절감시켜 준다.
- 이미징의 어려움
자동차 이미징 시스템을 고려할 때 중요한 요소는 이미지 센서의 성능과 넓은 영역의 현장 요소(Dynamic Range)을 포착하는 기능이다. 현장 요소는 센서가 장면에서 포착할 수 있는 밝기 대비 정도를 의미한다. 간단히 말해 같은 장면 내에서 밝은 영역과 그림자와 같은 어두운 영역을 잘 처리할 수 있는지를 뜻한다.
자동차 카메라는 늦은 오후에 해가 수평선에 낮게 걸려 있는 시점이나 차가 지하도를 통과할 때 흔히 문제가 발생한다. 센서의 현장 요소가 너무 낮으면 장면 내의 중요한 디테일을 놓칠 수 있어, 그 결과 운전자나 컴퓨터 비전(computer vision) 알고리즘이 현장에서 물체를 인식하지 못해 안전하지 못한 상황으로 이어진다.
자동차 제조사의 또 다른 과제는 자동차 전조등과 미등 뿐 아니라 교통 표지판에 LED(Light-Emitting Diode)를 사용하는 일이 점차 많아진다는 점이다. 이는 자동차 이미징으로 해결해야 할 과제를 증가시킨다. LED 조명은 보통 펄스 폭 변조(PWM)로 제어된다. LED는 빛 강도를 조절하고 전력을 절감하기 위해 다양한 듀티 사이클(duty cycle)을 사용해 점등?소등되는데, 이는 속도가 너무 빨라 사람 눈으로 인식하기 어렵다.
사람은 이러한 조명의 깜빡임을 인지할 순 없지만, 이미지 센서는 LED가 꺼져 있거나 가끔 켜져 있을 때도 순간을 포착한다. 이에, 비디오 상에 깜빡임 효과가 표시되며, 안전문제를 야기할 수 있다. 차량이나 교통 신호에 사용하는 펄스 LED 빈도에 대한 기준이 없다는 점은 문제를 더 복잡하게 만든다. 이러한 깜빡임 효과는 컴퓨터 비전 알고리즘을 사용하는 전방 카메라가 교통 신호를 잘못 이해하거나 놓칠 수 있게 하며, CMS 또는 백업 카메라와 같은 애플리케이션이 운전자를 교란시키거나 혼란을 주게 한다.
수평선에 해가 낮게 걸려 시야가 밝거나, 도로변 나무 그늘에 있는 보행자처럼 어두운 물체가 나타나는 상황을 가정해 보자. 일반적인 이미지 센서는 이렇게 현장 요소가 높은 장면을 포착할 때 포화상태를 피하기 위해 짧은 노출을 사용하고 밝은 부분을 날려 해당 부분을 보완한다. 차량의 LED 전조등 같은 펄스 광원을 이용하면 이미지 센서는 전조등이 실제로 꺼져 있을 때도 밝은 부분을 포착하는데 사용되는 짧은 노출 시간으로 프레임을 포착한다.
밝은 대낮에 높은 현장 요소 이미지를 출력하기 위해 다양한 노출을 통합하는 동안, 노출은 LED를 놓치게 되고, 그 결과 헤드라이트가 깜박거리는 것처럼 보인다. LED가 켜져 있는 동안 장면을 포착하기 위해 노출 시간이 연장될 경우, 햇빛에 비춰지는 장면 일부가 과다 노출된다. 이에, 현장 요소가 감소하게 돼 장면 디테일이 떨어지게 되고, 결국 이미지 품질은 크게 감소한다.
- 높은 현장 요소와 LED 깜빡임 완화
단일 프레임 내에서 더 많은 현장 요소를 달성할 수 있는 이미지 센서로 이러한 문제를 해결할 수 있다. 이러한 이미지 센서는 '켜짐' 상태에서 펄스 광원을 포착할 수 있을 정도로 충분히 긴 노출로 밝은 영역을 포착할 수 있도록 하며, 장면을 과다 노출시키지 않는다. 온세미컨덕터의 하야부사(Hayabusa) 차량용 이미지 센서 플랫폼은 슈퍼 노출(Super-Exposure)를 가능케 하는 혁신적인 픽셀 기술로, 이를 성공적으로 구현한다.
이 기술은 혁신적으로 설계를 구축하고, 프로세스를 사용할 수 있어 센서 내에서 더 많은 전하를 저장할 수 있고, 기존에 자동차 애플리케이션에 사용된 동일한 크기의 이미지 센서 대비 포화에 이르기까지 5배 더 긴 노출 시간을 허용한다. 하야부사 이미지 센서는 이 픽셀 기술을 통해 120dB 이상의 높은 현장 요소 이미징을 달성하면서 LED 깜빡임을 완화하는 기능도 제공한다.
솔루션의 일부는 하야부사 슈퍼 노출 픽셀의 구성에 달려있다. 3.0 마이크론 후면조사형(BSI) 픽셀은 각각 참신한 설계와 제조 공정을 통해 유입되는 빛에 의해 생성되는 10만 개 이상의 전자를 저장한다. 이는 동일한 픽셀 크기의 기존 CMOS 이미지 센서가 제공하는 전자 2만 개보다 훨씬 많은 양이다.
이를 통해 95dB의 현장 요소를 포착하는 단일 슈퍼 노출을 가능하게 하고, 대부분의 장면을 포착할 수 있다. 또한, 하야부사 센서는 장면의 가장 밝은 부분을 포착해 현장 요소를 120dB 이상까지 확장하는 매우 짧은 두 번째 노출을 추가할 수 있는 기능을 제공한다.
슈퍼 노출은 높은 현장 요소 출력을 유지하면서 LED 깜박임 완화 효과를 얻기 위해 장면 내에서 예상되는 가장 낮은 주파수의 펄스 LED 전체 기간을 포착할 수 있을 정도로 길이가 제한될 수 있다. 이를 90Hz로 간주한다고 하면, 노출 시간은 11밀리초(ms) 정도다. LED는 그 중 십분의 일 시간 이하로만 켜질 수 있다.
이 센서는 십만 전자 전하 용량을 활용해 LED '켜짐' 펄스에서 신호를 포착하면서 장면의 가장 밝은 영역의 디테일을 잃지 않고도 충분히 긴 시간 동안 노출될 수 있다. 두 번째 짧은 노출 시간은 독점적인 온칩(on-chip) 알고리즘과 함께 추가된다. 이 알고리즘은 슈퍼 노출에서 포착한 펄스 LED가 포함된 장면의 영역이 유지되는 동안 현장 요소가 확장되도록 한다.
그 결과, 센서는 일반적인 센서에서는 깜박이는 것처럼 보이는 펄스 LED로 구성된 영역을 유지하면서 120dB 이상의 현장 요소를 포착할 수 있다. 하야부사 플랫폼은 이 같은 성능으로 LED 깜박임 완화와 높은 현장 요소가 필요한 자동차용 카메라를 개발하기 위한 최적의 솔루션으로 거듭난다. 또한, 플랫폼의 모든 제품이 동일한 성능을 제공하므로 자동차 제조사는 여러 장치를 사용하며 엔지니어링 작업이나 센서에서 나온 알고리즘을 교육시키는데 이용한 데이터를 반복적으로 사용할 수 있다.[3] [4]
관련기업 동향
이미지센서 시장의 절대 강자는 일본 소니다. 시장조사업체 스트래티지 애널리틱스(SA)에 따르면 2021년 이미지센서 시장에서 소니는 점유율 45%로 1위를 기록했다. 삼성전자는 점유율 26%로 2위에 올랐고, 중국 옴니비전이 3위(11%)로 뒤를 이었다. 3개 업체의 합산 점유율은 전체 시장의 82%에 달한다.
삼성전자는 지난 2002년 시스템반도체 육성을 위해 이미지센서 시장에 진출했고, 지난 2015년 옴니비전을 제치고 업계 2위에 올랐다. 이후 소니와의 격차를 꾸준히 줄여가면서 지난 2020년 점유율 격차를 17%포인트까지 좁혔다. 2021년 삼성전자는 갤럭시 스마트폰 판매 부진으로 점유율이 소폭 감소하면서 소니와의 점유율 격차가 19%포인트로 늘었다. 다만 이미지센서 매출은 매년 늘어나면서 성장세를 유지하고 있다.
삼성전자는 초고화질 이미지센서를 앞세워 시장 경쟁력을 확대하는 전략을 펼치고 있다. 지난 2019년 업계 최초로 1억800만 화소 이미지센서를 출시했고, 2021년에도 2억 화소 제품을 처음으로 내놨다.
소니의 견제도 만만치 않다. 소니는 안정적인 이미지센서를 생산하기 위해 대만 TSMC가 일본에 만들고 있는 신공장에 5억달러(6000억원)를 투자, 이미지센서에 들어가는 연산용 반도체를 확보하기로 했다. 동시에 삼성전자의 주요 고객인 중국 샤오미를 공략하는 등 전방위적인 공세를 펼치고 있다.[5]
동영상
각주
- ↑ 선담은 기자, 〈삼성전자, '자동차의 눈' 차량용 이미지센서 시장 본격 진출〉, 《한겨례》, 2021-07-13
- ↑ 김정호 KAIST 전기·전자공학과 교수, 〈자율주행차의 ‘눈’ 인공지능 이미지 센서, 진짜 승부가 시작됐다〉, 《조선일보》, 2021-05-05
- ↑ 바흐만 하지(Bahman Hadji), 〈차량 안전기능을 향상시키는 이미지 센서 플랫폼〉, elec4, 2018-11-06
- ↑ 〈차량용 카메라 이미지 센서 ‘급부상’〉, 《KIT 이노베이션》, 2019-08-02
- ↑ 윤진우 기자, 〈삼성 非메모리 구원투수 ‘이미지센서’… 점유율 30% 찍고 1위 소니 맹추격〉, 《조선비즈》, 2022-04-06
참고자료
- 윤진우 기자, 〈삼성 非메모리 구원투수 ‘이미지센서’… 점유율 30% 찍고 1위 소니 맹추격〉, 《조선비즈》, 2022-04-06
- 바흐만 하지(Bahman Hadji), 〈차량 안전기능을 향상시키는 이미지 센서 플랫폼〉, elec4, 2018-11-06
- 〈차량용 카메라 이미지 센서 ‘급부상’〉, 《KIT 이노베이션》, 2019-08-02
- 선담은 기자, 〈삼성전자, '자동차의 눈' 차량용 이미지센서 시장 본격 진출〉, 《한겨례》, 2021-07-13
- 김정호 KAIST 전기·전자공학과 교수, 〈자율주행차의 ‘눈’ 인공지능 이미지 센서, 진짜 승부가 시작됐다〉, 《조선일보》, 2021-05-05
같이 보기
| ||||||||||||||||||
