위키원
카메라센서
카메라센서는 통상적으로 카메라 내부 이미지 센서를 뜻한다. 이미지 센서는 빛을 받아드려 전자신호로 바꾸는 역할을 하는데, CMOS 와 CCD 타입이 있다.
카메라가 아무리 디지털 장치라고 해도 센서 자체는 아날로그 부품이다. 센서는 받아들인 빛을 가지고 전자회로를 통해 전기 신호를 발생시킨다. ISO 값을 증가시키는 것은 라디오의 볼륨을 높이는 행위와 같은 것으로, 센서가 받아들이는 빛의 강도를 증폭시키는 것이다. 아날로그 신호는 메모리 카드에 이미지의 형태로 저장되기 위해 디지털 데이터로 전환을 거쳐야 한다. JPEG 포맷으로는 각 감광센서가 총 8 비트 데이터를 저장하는데, 이미지로 전환시 256 단계 밝기로 변환된다. RAW 포맷은 각 센서당 12~14 비트를 저장할 수 있다. 각각 픽셀당 4096 단계, 16384 단계의 밝기 수준을 데이터 형태로 저장한다.
목차
카메라 센서 사이즈 종류
카메라 센서 사이즈에는 굉장히 많은 종류가 있다
위 이미지는 센서 사이즈 가이드라인이다. 많은 센서 제품들이 저 가이드라인을 따라 디자인 되지만, 사실 꼭 저 사이즈를 따르라는 법은 없다. 실제로 가이드라인을 따른 줄 알았던 센서를 직접 재봤을 때 사이즈가 가이드라인과 다를 때도 있다. 이런 경우에는 대부분 inch 단위의 사이즈 가이드라인을 정확히 따른게 아닌, mm로 개발을 마치고 나서 가장 가까운 inch 사이즈에 맞춰서 1/xx inch 센서로 표기한 경우이다.
- 아이폰 XS, 갤럭시 10에 들어간 센서 사이즈는 1/2.5" 이다.
- FLIR사의 BlackFly 시리즈에서 아무거나 골라본 카메라에는 1/2.9" 사이즈를 쓴다고 한다.
- 들고다니기 좋은 여행용 카메라에는 1" 센서가 자주 쓰인다.
- 카메라 커뮤니티에서는 1" 센서가 가장 무게/시간/가격/성능에 대한 최적화가 잘 되어있는 센서라고 알려져 있다.
- 1"부터 APS-C 급 까지 진지한 취미용 카메라 취급을 받는다.
- 프로페셔널 이미징에는 Full Frame 카메라가 필요하다고 한다.
이와 같이 여러 용도로 카메라 센서 사이즈가 나뉘고, 오른쪽 이미지를 보면 이 카메라 센서들마다 실제로 사이즈가 많이 차이나는 것을 볼 수 있다.
해상도와의 관계
해상도는 카메라 센서를 얼마나 잘게 쪼개서 많은 픽셀을 만들 수 있는가에 대한 척도이다. FullHD (1920 x 1080) 해상도의 경우, 이미징 센서 위에 가로로 1920개의 픽셀을 얹고, 세로로 1080개의 픽셀을 얹은 것이다. 이 픽셀 하나하나가 0에서 255의 밝기 값을 가지고 픽셀들을 전부 다 같이 붙혀놓았을 때 이미지가 완성이 된다.
이 뜻은 큰 카메라 센서든 작은 카메라 센서든 똑같은 grid로 쪼개면 모두 같은 해상도를 가진다는 것이다. 예를 들어 Full Frame도 1920 x 1080으로 쪼갤 수 있고, 1/3.2"도 1920 x 1080으로 쪼갤 수 있다. 이 때문에 해상도와 카메라 센서 사이즈는 설계 상 관계가 없다.
하지만 그렇다고해서 해상도와 센서 사이즈의 성능 상 관계가 없다는 것은 아니다. 좋은 이미지를 찍기 위해서는 이미징 센서의 해상도와 사이즈의 성능/가격 상의 관계를 잘 이해하고, 이에 맞는 센서 구성을 선택해야 한다.
해상도는 사진 속 공간에 대한 정보가 얼마나 오밀조밀한지 표현하는 척도가 된다. 해상도가 낮다면, 예를 들어 하나의 사진을 10개의 픽셀로만 표현하려고 하면, 단순히 10개의 블록 색상으로 표현해야하기 때문에 사진이 무엇을 의미하는지 알기 어렵다. 반대로 해상도가 높다면, 예를 들어 FullHD 라면 1920 x 1080개의 블록 색상으로 사진을 표현할 수 있고, 이는 꽤 정확한 이미지를 얻어낼 수 있다. 이미지 해상도가 높으면, 더 미세하게 공간을 표현할 수 있다.
하지만 높은 해상도는 더 잘게 쪼갠 이미지 센서를 뜻한다. 이미지 센서를 작은 픽셀로 쪼갰다면 각각의 픽셀은 작은 면적을 가지게 되는데, 빛을 받을 수 있는 면적이 작기 때문에 받을 수 있는 빛의 신호가 작게 된다. 작은 신호를 읽기 위하여 우리는 이 신호를 증폭시키는데, 이 때 고정적으로 들어오는 전자기적 신호 역시 함께 증폭이 되면서 높은 해상도의 센서에는 대체적으로 높은 노이즈가 측정된다.
그러면 카메라 센서 사이즈는 어떠한가? 카메라 센서가 크면 보통 빛을 받을 수 있는 면적이 더 커진다. 이 때문에 카메라에는 이미지 노이즈가 적고, 더 큰 dynamic range를 가지게 된다. 이 때문에 카메라 센서 사이즈가 더 크면 어두운 곳에서 촬영을 할 수가 있고, 또 이미지 노이즈가 적어지기 때문에 더 좋은 이미지를 얻어낼 수 있다고 볼 수 있다.
그러면 큰 이미지 센서에 높은 해상도를 쓰면 좋은거 아닌가? 큰 센서에서는 픽셀을 잘게 쪼개도, 작은 센서에서 쪼갠거보다는 픽셀이 몇배나 클 것이다. 그만큼 노이즈도 적게 나올 것이니, 큰 이미지 센서 + 높은 해상도 조합을 사용하면 깔끔한 이미지가 나오게 된다. 하지만, 카메라 제조 공정을 생각했을 때 큰 이미지 센서는 더 많은 반도체 wafer의 면적을 가져가는 거고, 높은 해상도를 제조하는 공정 역시 비싸기 때문에 큰 이미지 센서 + 높은 해상도의 조합은 상당히 비싸다.
작은 센서에 높은 해상도를 만드는게 더욱 정밀 작업처럼 보여서 비싸보일 수 있으나, 실제로는 큰 이미지 센서가 더욱 비싸다. 그 이유는, wafer에서 작은 이미지 센서를 100개 제작하고 그 중 5개가 실패했을때의 나오는 손실비용과, wafer에서 큰 이미지 센서 10개를 제작하고 그 중 5개가 실패했을 때의 나오는 손실비용은 wafer의 고정 가격으로부터 나온다.공정의 가격보다 재료 + risk의 가격이 더 크다.
사진 크기와의 관계
같은 구성의 렌즈를 사용했다는 전제 하에, 카메라 센서가 커진다면 담을 수 있는 사진의 크기도 커진다. 여기서 이야기하는 '사진의 크기'는 디지털 이미지 사이즈가 아니라 센서가 담을 수 있는 3D 공간의 크기이다. 디지털 이미지 사이즈는 작은 센서나 큰 센서나 같은 해상도를 가지고 있다면 똑같다. 다만 카메라 센서 사이즈에 맞춰서 3D 공간에서 온 빛을 받기 때문에, 큰 카메라 센서를 사용할 때는 더 큰 3D 공간의 형상을 사진에 담을 수 있다.
"어, 근데 내 DSLR로 찍으나 스마트폰으로 찍으나 사진 안에 담기는 3D 공간은 비슷한 것 같은데??" 라고 물어볼 수 있다. 스마트폰 카메라 센서의 경우 1/2.5" 정도로 작기 때문에 실제로 빛을 받을 수 있는 공간은 매우 적은게 맞다.
스마트폰 카메라와 DSLR 카메라가 같은 렌즈를 사용했다면, 당연히 DSLR 카메라가 더 넓은 공간을 사진에 담을 수 있다. 하지만, 실제로는 센서 사이즈에 맞춰서 알맞은 focal length를 가진 렌즈를 이용하기 때문에, 빛이 같은 각도로 들어올 수 있게 만듬으로써 같은 시야각을 유지할 수 있다. 여기서 우리는 focal length를 이용함으로써 시야각을 다르게 바꿀 수 있다는 것을 알 수 있다.
그러면 이제 "다른 렌즈를 사용해서 시야각의 문제가 해결된다면, 굳이 큰 카메라 센서를 쓸 필요가 없는게 아니야?" 라고 물어볼 수 있다. 맞는 말이지만, 시야각이 넓은 렌즈를 사용할 때 보통 더 큰 distortion이 생긴다. 렌즈 distortion은 렌즈의 굴절에 따라 이미지 역시 구겨지는 현상을 뜻하는데, 보통 카메라 calibration을 통해서 보정처리를 함으로써 깔끔한 이미지로 펴낼 수 있으나, 렌즈의 외곽으로 갈 수록 (특히나 저렴한 렌즈는 더더욱) 이미지의 질이 급격하게 떨어진다.
아래 이미지를 보면, 이미지 중앙 부분은 깔끔하나, 외곽의 이미지의 질은 좋지 않은 것을 볼 수 있다. 작은 카메라 센서들은 큰 공간을 보기 위해 굴절률이 높은 렌즈를 사용해야 하고, 이는 더 큰 이미지 질의 저하로 이어진다. 그에 비해 큰 카메라 센서는 굴절률이 그렇게 까지 높은 렌즈를 사용하지 않아도 되기 때문에, 코너 부분에서 질이 떨어지는 정도이다. 큰 카메라 센서를 사용할 때는 보통 이 코너 부분을 잘라 내버려서 이쁜 이미지를 얻어낼 수 있는데, 작은 카메라 센서에서는 이 방법이 불가능하고 대신 이미지 전체에 보정처리를 해야 한다.
정리하면, 카메라 센서가 크면 더 넓은 장면을 이미지로 담을 수 있지만, 렌즈로써 극복이 가능하다. 다만, 큰 카메라 센서의 경우에는 렌즈에 의한 이미지의 질 저하가 작은 카메라 센서보다 낮다.
이미지 노이즈와 Dynamic Range에 대한 관계
카메라 센서가 크다면 빛을 받을 수 있는 면적이 커지기 때문에, 같은 시간동안 더 많은 양의 빛을 받을 수 있다. 위의 그래프를 본다면, 그래프의 오른쪽으로 가면 갈수록 더 많은 양의 signal, 즉 빛을 받을 수 있다는 것을 볼 수 있다. 또, 밑에 노이즈의 양은 항상 일정하게 있다는 것을 볼 수 있는데, 이는 빛→전자로 변환할 때 생기는 오류, 렌즈를 통하면서 생기는 빛의 변화, 센서 내부의 노이즈 등등 여러가지 노이즈 인자들을 간단하게 모델링 한 것이고, 그래프에서 처럼 무조건 일정하지는 않으나 꽤 작은 값이라는 것을 표현한 것이다.
이 그래프가 의미하는 것은, 카메라 센서가 커질 수록 Signal-to-Noise Ratio 가 커진다는 것이다. SNR이 커진다는 것은 노이즈가 있음에도 불구하고 선명한 화질의 사진을 만들 수 있다는 것이고, 큰 카메라 센서일수록 Signal은 많이 받지만 Noise는 일정하기 때문에 높은 SNR, 즉 선명한 사진을 만들 수 있다는 점을 말한다.
또 그래프에서 볼 수 있는 것은, 센서 사이즈마다 최대로 받을 수 있는 빛의 양이 정해진다는 것이다. 셔터 시간이 정해져있다면 센서의 면적이 넓은 편이 더 많은 빛을 받을 수 있고, 최대-최소 빛의 양을 정규화 한다고하면 큰 카메라 센서는 작은 카메라 센서에 비해 더 큰 빛의 양의 range를 가지게 된다. 이 range를 보통 Dynamic range라고 칭하며, 더 큰 dynamic range를 가진 이미징 장비의 경우 high dynamic range imaging (HDR)이라고 한다. Dynamic range가 작다면, 0-30의 intensity range에서 어두운 부분은 0, 1, 1, 1, 3, 2 … 이렇게 나오며, 0,1,2,3의 차이를 알기가 쉽지 않은데, HDR의 경우 0-3000의 intensity range의 경우는 어두운 부분이 0, 24, 46, 64, 38 등으로 차이가 극명하게 나기 때문에, 같은 어두운 부분이라도 더 디테일하게 표현이 가능하고, 밝기보정에 더 강건하다 (0-30과 0-3000은 임의로 잡은 숫자이다).
이 때문에, 카메라 센서가 커질 수록, dynamic range는 더 커지며, 이를 통해 어두운 환경에서도 좋은 이미지를 얻을 수 있다.
사진 찍는 속도와 ISO에 대한 관계
카메라가 사진을 찍을 때, 우선적으로 내부 회로에서 센서에 빛을 담으라는 신호를 주고 셔터를 닫으면서 빛의 유입을 멈춘다. 더 이상 빛의 유입이 없을 때, 그때까지 모아온 신호를 전자화 시켜 사진을 reconstruct 한다. 큰 카메라 센서와 작은 카메라 센서가 있을 때, 셔터가 똑같은 속도로 내려온다면 큰 카메라 센서는 셔터가 이동해야할 거리가 작은 카메라 센서보다 길기 때문에, 셔터가 내려오는 속도가 같더라도 작은 카메라 센서의 셔터가 먼저 닫힐 것이다. 이 점은, 작은 카메라 센서가 더 빨리 사진을 찍을 수 있다 (셔터 시간이 적다)라고 생각할 수 있고, 이는 비디오 촬영 또는 초고속 비디오 촬영에 유용할 것이라고 생각할 수 있다. 하지만, 실제로 초고속 비디오 촬영에는 큰 센서를 이용한다. 이유는 아래에서 확인한다.
사진을 더 빠르게 촬영하려고 셔터 스피드를 늘렸다고 해보자. 셔터 스피드가 빨라지면 그만큼 센서가 빛에 노출되는 시간이 적어지기 때문에 signal 약해지고, 이는 사진 전체를 어둡게 한다. 빠른 셔터 스피드로 밝은 이미지를 촬영하려면 signal을 늘려야 하는데, 물리적으로는 불가능하니까 전자 신호를 증폭시키면 된다. 이때 빛을 전자신호로 변환시킬 때 신호 증폭에 대한 계수를 ISO라고 한다.
엄청나게 빠르게 사진을 찍으려고 하면 셔터 스피드를 엄청나게 빠르게 하여 부족해진 빛 만큼 ISO를 높혀 신호를 증폭시킬 수 있다. 또, aperture를 엄청 줄여서 depth 조정을 할 때 빛의 input이 많이 줄어드는데, 이때도 똑같은 방법으로 ISO를 높혀서 밝은 이미지를 얻을 수 있다. 다만 ISO를 높일 경우, signal에 기본적으로 내재되어있는 noise 값도 함께 증폭되며, 동시에 의미있는 signal의 range가 줄어들기 때문에 dynamic range가 줄어든다.
작은 카메라 센서는 SNR이 낮기 때문에 (전체 signal양 속 noise의 비율이 높기 때문에), ISO를 높히면 noise값도 빠르게 커진다. 그에 비해 큰 카메라 센서는 SNR이 높기 때문에, ISO를 높혀도 noise값이 차지하는 비율이 커지는 속도가 작은 카메라 센서보다 훨씬 느리다. 그러기에 큰 카메라 센서는 작은 카메라 센서보다 더 높은 ISO 한계를 가지고 있다는 것을 알 수 있다.
차량용 카메라 센서
카메라센서는 첨단 운전자 지원 시스템 시장에서부터 이미 핵심 센서로 발전하였고, 향후 자율주행 시대에도 가장 큰 시장을 형성할 것으로 예측된다. 의무 장착으로 시장이 확대된 후방 감시 카메라, 모빌아이(Mobileye)가 개척한 다기능 전방카메라, 다임러(Daimler)가 견인하는 스테레오 카메라, 야간 감시 카메라와 운전자 모니터링 카메라까지 다양한 종류와 기능을 가진 카메라가 시장을 형성하고 있고, 자율주행 자동차에는 더 많은 종류의 카메라가 장착될 것으로 전망된다. 자율주행을 위한 카메라 조합은 테슬라(Tesla)의 새로운 오토파일럿 시스템에 장착된 8대 카메라 구조를 살펴봄으로써 향후 발전 방향을 조망할 수 있을 것이다. 테슬라의 오토파일럿은 전방 카메라 3개, 후방카메라 2개가 장착되어 총 8개의 카메라와 레이다, 초음파 센서로 구성되며, 센서 융합 플랫폼은 엔비디아(Nvidia)의 드라이브 PX2를 사용한다. 모빌아이와의 협력 관계를 청산하고 자사의 독자 카메라 솔루션을 개발한 테슬라는 원거리 전방과 360도 주변환경을 카메라 센서만으로 인지한다. 각 카메라의 검출 거리, 화각, 장착 위치 등을 고려하면 개별 카메라가 담당할 인지 기능을 예측할 수 있다. 공개된 정보에 의하면 8개의 카메라 기능이 완성된 것은 아니고, 향후 소프트웨어 버전을 개선하면서 새로운 기능을 추가해 갈 것으로 판단된다. 한편 자율주행 3단계에서는 자율주행 상태에서 운전자의 주의 집중이 요구되므로 운전자 상태 모니터링 기능이 반드시 필요하게 되어서 다양한 기업들이 운전자 모니터링 카메라 제품을 시장에 출시하고 있다.[1]
각주
- ↑ 충북대학교 기석철 스마트카연구센터장, 산학협력본부 부교수, 〈자율주행차 센서 기술 동향〉, 《미래창조과학부》, 2017-09-10
참고자료
- 〈카메라 센서 사이즈의 영향〉, cv-learn, 2021-01-16
- 홍기웅 기자, 〈[기초강좌 카메라 센서]〉, 《월간VDCM》, 2017-04-05
- 충북대학교 기석철 스마트카연구센터장, 산학협력본부 부교수, 〈자율주행차 센서 기술 동향〉, 《미래창조과학부》, 2017-09-10
- 양대규 기자, 〈http://www.digitaltoday.co.kr/news/articleView.html?idxno=212507〉, 《디지털투데이》, 201-07-16
같이 보기
