.svg)
AI 솔루션 문의하기
자율주행과 영상 인식 AI는 낮과 밤의 조명 조건에 따라 주간뿐 아니라 야간에도 작동해야 합니다. 주간 데이터만으로 학습한 모델은 야간 환경에서 성능이 크게 떨어질 수 있습니다. 조도가 낮아지면 색상 정보가 줄어들고 대비가 약해질 뿐만 아니라 그림자와 빛 반사 패턴도 달라집니다. 가로등과 차량 헤드라이트 같은 인공조명이 복잡한 빛 환경을 만들기 때문에 야간 환경에서 안정적으로 작동하려면 야간 조건에서 수집한 데이터로 학습해야 합니다.
야간이라고 해서 모든 시간대가 같지 않습니다. 해질녘 황혼 시간과 한밤중의 조도 차이가 크고 일몰 직후부터 완전히 어두워지기까지 조도가 점진적으로 낮아집니다. 데이터 수집은 다양한 시간대를 포함해야 합니다. 일반적으로 일몰 후 1시간부터 일출 전 1시간까지를 야간으로 정의합니다. 계절에 따라 일몰 시각이 달라지므로 이를 고려합니다. 겨울철 오후 5시와 여름철 오후 8시의 조도가 다릅니다. 각 시간대별로 충분한 양의 데이터를 수집합니다.
야간 촬영에는 저조도 성능이 좋은 카메라가 필요합니다. ISO 감도를 높여 어두운 환경에서도 촬영합니다. 하지만 ISO를 과도하게 올리면 노이즈가 증가하여 적정 수준을 찾아야 합니다. 셔터 속도는 움직이는 객체를 포착할 수 있을 만큼 빨라야 합니다. 너무 느리면 차량이나 보행자가 흐려져, 조리개를 열어 많은 빛을 받아들일 수 있습니다. 실제 운행 환경과 일치하는 데이터를 얻기 위해서 자율주행 차량에 장착되는 카메라와 동일하거나 유사한 사양을 사용하는 것이 좋습니다.
도심 야간 환경은 조명 조건이 매우 다양합니다. 가로등이은 밝은 구간과 어두운 구간이 섞여 있고 LED 가로등과 나트륨 가로등은 색온도가 다릅니다. 상가 간판 조명들도 복잡한 색상 패턴을 만들어 내며 반대편 차량의 헤드라이트가 직접 카메라를 향하는 상황도 있습니다. 터널 진입과 출구에서 급격한 조도 변화가 발생합니다. 비가 오면 도로 표면이 젖어 빛 반사가 증가합니다. 이런 다양한 조건을 모두 데이터에 포함시켜야 합니다.
AI Hub에서 공개한 상용 자율주행차 야간 도심도로 데이터가 있습니다. 야간 자동차 전용도로 데이터도 별도로 구축되었는데 도심과 고속도로의 조명 환경이 다르기 때문입니다. 도심은 건물 조명과 신호등이 많습니다. 자동차 전용도로는 가로등 간격이 넓어 상대적으로 어둡습니다. 주택가와 상업지구도 조명 밀도가 다르며 다양한 지역에서 골고루 데이터를 수집합니다. 지역별 특성을 반영한 데이터셋을 만들 수 있습니다.
야간 이미지는 객체의 윤곽이 불분명하여 라벨링 작업이 더 어렵습니다. 어두운 배경에서 어두운 색 차량을 구분하기 힘들고 작업자가 육안으로 정확히 식별하기 어려운 경우가 많습니다. 바운딩 박스를 그릴 때 경계가 모호하고 이미지 밝기를 조정하며 작업해야 합니다. 원본 이미지와 밝기 조정 이미지를 번갈아 보며 확인합니다. 일관된 기준으로 라벨링하기 위해 상세한 가이드라인을 만들어야 합니다. 또한 작업자 간 주석 품질 차이를 줄이는 것이 중요합니다.
수집한 야간 영상 중 일부는 사용할 수 없습니다. 너무 어두워서 아무것도 보이지 않는 프레임을 제거합니다. 과도한 노출로 하얗게 날아간 부분이 많은 이미지도 걸러냅니다. 초점이 맞지 않거나 심하게 흔들린 영상은 제외하고, 카메라 렌즈에 물방울이 맺혀 화질이 떨어진 구간을 삭제합니다. 유용한 객체가 거의 없는 단조로운 장면도 학습 가치가 낮습니다. 반면 다양한 객체가 포함된 복잡한 장면을 우선적으로 선택하고 정제 기준을 명확히 정하고 일관되게 적용합니다.
수집된 이미지의 기술적 품질을 확인합니다. 해상도가 요구사항을 만족하는지 점검하며 압축 아티팩트가 과도하지 않은지도 검사합니다. 색상 정보가 제대로 기록되었는지 또한 확인합니다. 일부 저가 카메라는 야간에 색상을 정확히 재현하지 못할 수 있어 노이즈 수준을 측정합니다. 신호 대 잡음비가 일정 기준 이상이어야 합니다. 마찬가지로 동적 범위도 중요합니다. 밝은 부분과 어두운 부분을 동시에 표현할 수 있어야 합니다. 품질 기준을 통과한 이미지만 데이터셋에 포함시킵니다.
야간에는 주간보다 특정 객체가 잘 보이지 않습니다. 어두운 색 의류를 입은 보행자는 식별이 어렵고 반사 재질이 없는 물체는 거의 보이지 않습니다. 데이터셋에서 특정 클래스가 과소 표현될 수 있습니다. 의도적으로 해당 클래스 데이터를 더 수집합니다. 반사복을 입은 보행자 이미지를 추가합니다. 다양한 색상과 재질의 차량을 포함시킵니다. 각 클래스별로 충분한 샘플 수를 확보합니다. 클래스 불균형은 모델 성능을 저하시키므로 주의해야 합니다.
주간 데이터와 야간 데이터의 비율을 정합니다. 일반적으로 실제 운행 시간 비율을 반영합니다. 자율주행 차량이 주간에 더 많이 운행된다면 주간 데이터를 더 많이 포함합니다. 하지만 야간 성능이 중요하다면 야간 데이터 비중을 높입니다. 두 데이터셋을 함께 학습시켜 시간대와 무관하게 작동하는 모델을 만듭니다. 일부 연구에서는 주야간 도메인 적응 기법을 사용합니다. 주간 이미지를 야간 스타일로 변환하거나 그 반대 작업을 수행합니다.
각 이미지와 함께 상세한 메타데이터를 저장합니다. 정확한 촬영 시각, GPS 위치 정보를 포함시키고 날씨 조건을 표시합니다. 맑음, 흐림, 비, 안개 등을 구분합니다. 주변 조도 값을 측정해 기록합니다. 카메라 설정값도 저장합니다. ISO 감도와 셔터 속도, 조리개 값을 남깁니다. 이런 메타데이터는 데이터 분석과 품질 관리에 유용합니다. 특정 조건에서 성능이 낮으면 해당 조건의 데이터를 추가 수집할 수 있습니다.
AI Hub는 상용 자율주행차 야간 데이터를 공개했습니다. 야간 도심도로 데이터셋은 70,000건 이상 조회되었습니다. 야간 자동차 전용도로 데이터도 제공됩니다. 이런 공개 데이터셋을 활용하면 구축 비용을 절감할 수 있습니다. 자체 데이터와 공개 데이터를 결합해 사용합니다. 공개 데이터로 기본 모델을 학습하고 자체 데이터로 파인튜닝합니다. 데이터 사용 라이선스를 확인해야 합니다. 일부 데이터셋은 상업적 사용에 제한이 있을 수 있습니다.
야간 영상에도 차량 번호판과 보행자 얼굴이 포함됩니다. 가로등 아래에서는 선명하게 보입니다. 개인정보 보호를 위해 블러 처리합니다. 자동 검출 알고리즘으로 번호판과 얼굴 위치를 찾습니다. 모자이크나 블러를 적용합니다. 수작업으로 누락된 부분을 추가 처리합니다. 건물 내부가 보이는 창문도 가립니다. 데이터 수집 시 촬영 동의를 받습니다. 공공장소 촬영이라도 법적 문제가 없는지 확인합니다.
야간 데이터 수집 기술이 계속 발전하고 있습니다. 저조도 센서 성능이 향상되고 적외선 카메라와 가시광 카메라를 함께 사용하는 방법도 연구되고 있습니다. 라이다는 조명과 무관하게 작동해 야간에도 정확한 거리 정보를 제공합니다. 멀티모달 센서 융합으로 야간 인식 정확도를 높일 수 있으며 데이터 증강 기술로 야간 데이터를 효율적으로 확장합니다. 주간 이미지에 조명 효과를 적용해 야간처럼 변환하는 기술이 발전 중이며 합성 데이터 생성 기술도 더욱 활용될 것으로 보입니다.
.svg)
.svg)
