.svg)
AI 솔루션 문의하기
자율주행 시스템의 안전성은 센서 데이터의 정확성에 달려 있습니다. LiDAR(레이저 감지·거리 측정)와 카메라는 자율주행의 두 가지 핵심 센서입니다. LiDAR는 레이저를 방사하여 반사되어 돌아오는 신호의 시간을 측정하는 방식으로 작동합니다. 이를 통해 주변 환경의 3차원 점들의 집합 데이터를 획득합니다. LiDAR는 매우 정확한 거리 정보를 제공하는데, 오차 범위가 밀리미터에서 센티미터 수준입니다.
반면 카메라는 2차원 이미지를 촬영하여 색상 정보와 시각적 특징을 포착합니다. 두 센서는 상호보완적 장점을 가집니다. LiDAR는 정확한 거리와 3차원 형태를 제공하지만 색상 정보가 없고, 카메라는 풍부한 색상과 질감 정보를 제공하지만 거리 정보가 부족합니다. 따라서 두 센서의 데이터를 결합(센서 융합)하면 더욱 정확하고 견고한 인식 시스템을 만들 수 있습니다.
LiDAR와 카메라의 데이터를 융합하려면 먼저 두 센서의 좌표 체계를 일치시켜야 합니다. 이 과정을 보정(보정과정)이라고 합니다. LiDAR는 자신의 센서 중심을 원점으로 3차원 좌표(X, Y, Z)를 생성합니다. 카메라는 이미지 평면의 픽셀 좌표(u, v)를 사용합니다. 두 좌표 체계가 서로 다르기 때문에 직접 비교할 수 없습니다. 보정은 이 두 좌표 체계 사이의 변환 관계를 찾는 과정입니다.
이를 통해 LiDAR의 3차원 점을 카메라의 2차원 이미지 평면으로 투영할 수 있습니다. 또한 역으로 카메라 이미지의 각 픽셀에 LiDAR의 거리 정보를 할당할 수 있습니다. 보정이 정확하지 않으면 LiDAR의 점들이 카메라 이미지의 객체와 정렬되지 않아서, 센서 융합이 실패합니다.
체커보드(격자 무늬) 패턴 사용, 제어된 환경에서 수행, 높은 정확도
자연 지형지물 활용, 실제 도로 환경 데이터 사용, 유연성 높음
보정은 두 가지 주요 방식으로 나뉩니다. 표준 기준식은 체커보드와 같은 특정 패턴을 사용합니다. 체커보드의 각 칸은 명확한 특징점을 제공하므로, LiDAR와 카메라 모두에서 동일한 지점을 정확하게 감지할 수 있습니다. 이 방식은 실험실이나 제어된 환경에서 매우 정확한 보정을 수행할 수 있습니다.
하지만 실제 도로에서 체커보드를 설치하기는 어렵습니다. 자연 지형 이용식은 도로의 건물, 표지판, 차선과 같은 자연 지형지물을 활용합니다. 실제 주행 데이터에서 LiDAR와 카메라가 감지한 동일한 특징을 찾아 보정을 수행합니다. 이 방식은 유연하지만 정확도가 표준 기준식보다 떨어질 수 있습니다. 따라서 많은 자율주행 회사는 초기 보정은 표준 기준식으로 수행하고, 실제 도로에서는 자연 지형 이용식으로 지속적으로 검증합니다.
보정의 핵심은 두 센서의 상대적 위치 관계를 정확히 파악하는 것입니다. 이를 외부 보정이라고 합니다. 외부 보정은 회전 관계와 이동 거리를 결정합니다. 회전 관계는 LiDAR의 좌표축이 카메라의 좌표축과 어떤 각도로 회전되어 있는지를 나타냅니다. 이동 거리는 LiDAR 중심에서 카메라 중심까지의 거리를 나타냅니다. 이 두 정보를 결합하면 변환 행렬(좌표 변환 행렬)이 만들어집니다. 변환 행렬을 사용하여 LiDAR의 3차원 점을 카메라의 이미지 평면으로 정확하게 투영할 수 있습니다. 예를 들어, LiDAR가 정면에서 1미터 떨어진 위치에 있고 15도 기울어져 있다면, 이 정보를 변환 행렬에 포함시켜서 계산합니다.
LiDAR와 카메라는 서로 다른 속도로 데이터를 수집합니다. LiDAR는 보통 10Hz에서 20Hz 속도로 스캔을 수행하고, 카메라는 30Hz에서 60Hz 속도로 프레임을 촬영합니다. 두 센서가 수집한 데이터를 융합하려면 시간을 동기화해야 합니다. 이를 시간 동기화 또는 시간 오차 보정이라고 합니다. 만약 LiDAR 데이터가 정확히 0.1초에 수집되고 카메라 데이터가 0.15초에 수집되었다면, 두 데이터가 나타내는 장면이 다릅니다. 특히 자동차가 고속으로 주행할 때 0.05초의 시간 차이도 상당한 위치 오차를 유발합니다. 따라서 LiDAR와 카메라의 시간 표시를 일치시키거나, 보간 기법을 사용하여 동일한 시간의 데이터를 맞춰야 합니다.
센서 데이터를 융합하는 방식은 두 가지입니다: 초기 결합과 후기 결합. 초기 결합은 처리 초기 단계에서 LiDAR와 카메라의 원본 데이터를 결합합니다. LiDAR의 점들을 카메라 이미지에 투영하여 각 픽셀마다 거리 정보를 할당합니다. 이렇게 만들어진 통합 데이터를 신경망 모델에 입력합니다. 초기 결합의 장점은 두 센서의 정보가 처음부터 결합되므로, 모델이 더 정교한 특징을 학습할 수 있다는 것입니다.
반면 후기 결합은 각 센서의 데이터를 따로 처리한 후 결과를 결합합니다. LiDAR 데이터로 객체를 감지하고 카메라 데이터로 따로 감지한 후, 최종적으로 두 결과를 병합합니다. 후기 결합의 장점은 각 센서에 최적화된 모델을 사용할 수 있다는 것입니다. 최근 연구 결과에 따르면 초기 결합이 오류를 더 효과적으로 줄일 수 있는 것으로 알려져 있습니다.
LiDAR로부터 생성되는 점들의 집합은 각 점이 3차원 위치와 반사 강도 정보를 포함합니다. X, Y, Z는 3차원 공간 위치이고, 반사 강도는 신호가 얼마나 강하게 돌아왔는지를 나타냅니다. 가까운 거리의 객체는 촘촘한 점들을 형성하지만, 먼 거리의 객체는 성긴 점들을 형성합니다. 이 특성 때문에 가까운 거리에서는 오차가 작지만, 먼 거리에서는 오차가 상대적으로 크게 나타납니다.
또한 비나 안개, 눈과 같은 악천후에서는 레이저 신호가 감소하여 오차가 증가합니다. 반사율이 낮은 검은색 물체도 신호 손실로 인해 감지 오류가 발생할 수 있습니다. 따라서 점군 데이터 수집 시에는 환경 조건을 다양하게 포함하고, 오차 범위 내에 있는 데이터도 라벨링에 포함시켜야 합니다.
카메라는 색상 정보를 제공하는데, 이는 LiDAR가 제공할 수 없는 중요한 데이터입니다. 신호등의 색상, 차선 마킹의 선명도, 객체의 질감은 모두 카메라 이미지에서 얻어집니다. 하지만 카메라도 여러 오차 요인을 가집니다. 역광(강한 뒤광)에서는 객체가 어두워져서 인식이 어렵고, 밝은 표면의 반사광은 신호등이나 표지판을 인식하지 못하게 합니다.
움직임에 따른 이미지 흐림도 오차 요인입니다. LiDAR는 이러한 카메라의 약점을 보완합니다. 어두운 역광 환경에서도 LiDAR는 정확한 거리 정보를 제공하므로, 카메라의 약점을 LiDAR의 강점으로 극복할 수 있습니다. 따라서 정확한 보정과 센서 융합이 매우 중요합니다.
LiDAR와 카메라의 오차를 최소화하는 데이터 수집 전략은 매우 실무적입니다. 먼저 센서 탑재 위치를 최대한 가깝게 배치합니다. 센서 간 거리가 가까울수록 같은 객체를 더 정확하게 감지하기 때문입니다. 또한 센서 정렬을 정밀하게 수행해야 합니다. LiDAR와 카메라의 중심이 정확하게 정렬되지 않으면, 아무리 좋은 보정 알고리즘도 오차를 완전히 제거할 수 없습니다. 다양한 환경에서의 데이터 수집도 중요합니다. 맑은 날, 흐린 날, 비오는 날, 밤(야간)에 데이터를 수집하여, 모든 환경 조건에서 센서 동작을 검증해야 합니다. 또한 근거리(1미터 이내), 중거리(10미터 이내), 원거리(20미터 이상)의 객체를 모두 포함하여 수집합니다. 특히 센서가 제대로 작동하지 않는 예외적 상황도 명시적으로 수집해야 합니다.
.svg)
.svg)
