.svg)
AI 솔루션 문의하기
자율주행 차량에는 단일 센서가 아닌 두 개 이상의 이종 센서가 탑재됩니다. 카메라는 2차원 영상 정보를 제공하고 라이다는 3차원 공간 데이터를 생성합니다. 이렇게 서로 다른 형태의 데이터를 효과적으로 통합하려면 센서 간 상대 위치와 방향을 정확히 알아야 합니다. 캘리브레이션 과정에서 특징점을 추출하고 특징점 매칭을 통해 회전 행렬과 변환 행렬을 계산합니다. 계산된 행렬을 이용해 한 센서의 데이터를 다른 센서의 좌표계로 변환할 수 있습니다. 정밀한 좌표 변환이 이루어져야 센서 융합의 정확도가 높아집니다.
타겟 기반 캘리브레이션은 체커보드 같은 특정 패턴을 사용하는 방법입니다. 여러 센서가 동일한 타겟을 바라보도록 배치하고 각 센서에서 타겟의 특징점을 검출합니다. 검출된 특징점 간의 재투영 오차를 최소화하는 최적화 기법으로 센서 파라미터를 추정합니다. 이 방법은 디버깅이 가장 쉽고 하나의 데이터셋만으로도 좋은 캘리브레이션 값을 얻을 수 있어 널리 사용됩니다. 다만 라이다나 레이더로 체커보드를 검출하는 것이 어렵고 모든 센서의 시야가 겹쳐야 한다는 제약이 있습니다. 그럼에도 재현성과 정확도가 높아 산업 현장에서 선호되는 방식입니다.
정밀 캘리브레이션을 위한 데이터셋은 여러 구성 요소를 포함합니다. 먼저 각 센서에서 수집한 원시 데이터가 필요하며 시간 동기화를 위한 타임스탬프가 함께 기록됩니다. 타겟의 3차원 좌표와 각 센서에서 검출된 특징점 위치 정보가 포함됩니다. 계산된 외부 파라미터인 회전 행렬과 변환 벡터가 저장되어 이후 센서 융합에 활용됩니다. 센서의 내부 파라미터인 초점 거리와 왜곡 계수도 함께 보관됩니다. 다양한 환경에서 수집한 데이터로 캘리브레이션의 강건성을 확보합니다.
여러 센서의 데이터를 융합하려면 시간적 동기화가 필수적입니다. 각 센서의 데이터 취득 시점이 다르면 움직이는 물체의 위치가 센서마다 달라 보입니다. 정밀한 시각 동기화 시스템을 구축해 모든 센서가 동일한 시간 기준으로 데이터를 기록하도록 합니다. 하드웨어 동기화 신호를 사용하거나 소프트웨어적으로 타임스탬프를 보정하는 방법이 있습니다. 라이다와 라이다 간 동기화는 위상 고정 방식을 사용합니다. GPS 시간 신호를 기준으로 전체 센서 시스템의 시각을 맞춥니다. 동기화 정확도가 밀리초 단위 이하로 유지되어야 고속 주행에서도 정확한 융합이 가능합니다.
KITTI 데이터셋은 자율주행 연구의 표준 벤치마크로 널리 사용됩니다. 이 데이터셋은 Velodyne 64채널 라이다와 고해상도 카메라, GPS/IMU 센서 데이터를 제공합니다. 차량 정보와 함께 센서 간 캘리브레이션 정보를 함께 제공해 연구자들이 바로 활용할 수 있습니다. Waymo 오픈 데이터셋도 5대의 라이다와 카메라의 정밀 캘리브레이션 파라미터를 포함합니다. 이러한 공개 데이터셋은 알고리즘 개발과 성능 평가에 활용되며 연구 커뮤니티의 발전에 기여합니다. 표준화된 캘리브레이션 데이터 형식이 연구 재현성을 높입니다.
차량의 센서는 진동이나 온도 변화, 사고로 인한 차체 변형으로 캘리브레이션이 틀어질 수 있습니다. 한 번 구매한 차량을 수년간 사용하는 동안 센서 상태가 변할 가능성이 높습니다. 그래서 주행 중 실시간으로 센서를 자동 캘리브레이션하는 기술이 연구되고 있습니다. 신호등이나 차선 같은 주변 환경의 물체를 검출해 각 센서 데이터를 정렬하는 방식입니다. Figure 8 주행 패턴을 이용하거나 에고모션 정보를 활용해 센서 간 상대 자세를 추정합니다. 기준 센서를 정하고 다른 센서들을 지속적으로 정렬해 캘리브레이션을 유지합니다.
센서 캘리브레이션의 정밀도를 평가하는 기준이 필요합니다. 일반적으로 30미터 이내 거리의 물체에 대해 1픽셀 이하의 오차를 목표로 합니다. 재투영 오차를 계산해 실제 측정값과 예측값의 차이를 정량화합니다. 여러 거리와 각도에서 타겟을 배치하고 캘리브레이션 정확도를 검증합니다. 실제 주행 환경에서 물체 검출 정확도를 측정해 캘리브레이션의 실용성을 평가합니다. 지속적인 모니터링으로 캘리브레이션 품질이 유지되는지 확인합니다.
자율주행용 고정밀 지도를 만들려면 여러 센서의 데이터를 정확하게 융합해야 합니다. 카메라 영상에서 추출한 특징점을 가상 영상으로 만들고 개별 카메라 영상으로 변환하는 과정에서 캘리브레이션 정보가 사용됩니다. 좌표 변환을 수행하고 지도와 매칭한 뒤 최적화 알고리즘에 반영합니다. 정밀한 캘리브레이션이 없으면 지도의 정확도가 떨어져 자율주행의 안전성이 저하됩니다. MMS 시스템도 GPS와 레이저스캐너, 카메라, INS 센서 데이터를 조합하는데 캘리브레이션이 핵심입니다. 센서 위치 측량 오차가 지도 전체의 오차로 누적되므로 초기 캘리브레이션이 매우 중요합니다.
캘리브레이션이 잘된 경우와 잘못된 경우의 오차 모델을 사전에 학습할 수 있습니다. 이를 통해 센서 캘리브레이션이 틀어졌을 때 이를 자동으로 인지하는 시스템을 구축합니다. 시간이 지나면서 점차 틀어지는 캘리브레이션을 조기에 검출해 경고를 발생시킵니다. 운전자에게 정비 센터 방문을 권고하거나 시스템이 자동으로 재캘리브레이션을 수행합니다. 센서 고장과 캘리브레이션 오류를 구분해 적절한 대응 조치를 취합니다. 안전 주행을 위해 캘리브레이션 상태를 실시간으로 모니터링합니다.
차량은 최소 수년에서 십여 년간 사용되므로 전체 수명 주기 동안 센서 관리가 필요합니다. 제조사들은 공장 캘리브레이션과 정기 정비 시 캘리브레이션으로 충분하다고 생각하는 경향이 있습니다. 하지만 실제로는 일상적인 주행 중에도 센서 상태가 변할 수 있습니다. 차량 수명 주기 전체를 고려한 캘리브레이션 관리 전략이 필요합니다. 정기적인 자동 점검과 필요 시 수동 캘리브레이션을 결합하는 방식이 효과적입니다. 센서 교체나 사고 수리 후에는 반드시 재캘리브레이션을 수행해야 합니다.
정밀 캘리브레이션 데이터셋을 구축하려면 전문 장비가 필요합니다. 128채널 라이다와 전방위 카메라, 고정밀 GPS/INS 시스템이 차량에 탑재됩니다. 데이터 취득용 고성능 컴퓨터와 대용량 저장 장치가 설치됩니다. 다중 센서 캘리브레이션과 동기화를 수행하는 전용 소프트웨어가 사용됩니다. 원시 데이터를 정제하고 추출하는 프로그램으로 학습에 적합한 형태로 가공합니다. 센서 추가나 업그레이드가 가능하도록 모듈식 구성을 채택합니다. 표준화된 데이터 형식으로 다양한 연구 목적에 활용할 수 있습니다.
.svg)
.svg)
