.svg)
AI 솔루션 문의하기
자율 이동 로봇(AMR)이 복잡한 산업 환경에서 안전하고 효율적으로 작동하려면 거리 측정을 넘어 의미 있는 환경 이해가 필수적입니다. LiDAR는 정확한 거리 정보를 제공하지만 물체가 무엇인지는 구분하지 못하며, 초음파 센서는 근거리 장애물만 감지할 수 있는 한계를 지닙니다. 이러한 제약 속에서 카메라를 통한 시각 정보가 로봇의 인식 능력을 획기적으로 확장시킵니다.
컴퓨터 비전은 영상 데이터로부터 의미 있는 정보를 추출하는 분야로, 물류 센터의 로봇에게 다양한 능력을 부여합니다. 사람의 존재 감지와 적절한 거리 유지, 특정 색상이나 라벨이 있는 물품의 인식, 포장 상태의 검사, 경로상의 위험 요소 식별 같은 작업들이 가능해집니다. 특히 의미적 이해가 필요한 작업에서 LiDAR보다 훨씬 강력합니다.
그러나 실시간 성능이 중요한 로봇 환경에서는 계산 효율성과 정확성의 균형이 결정적입니다. 고도로 정교한 모델이 부족한 성능을 주거나 지연 시간이 과도하면 실제 배포는 어렵습니다. 따라서 로봇의 특정 작업에 맞춘 최적화된 비전 시스템의 설계가 핵심입니다.
AMR용 비전 시스템의 기초는 적절한 카메라 선택에서 시작됩니다. RGB 카메라는 풍부한 색상 정보와 높은 해상도로 객체 인식에 유리하지만, 조명 변화에 민감하고 깊이 정보가 직접 제공되지 않습니다. 반면 RGB-D 카메라(Kinect, RealSense)는 깊이 맵을 동시에 제공하여 3D 공간 이해가 필요한 작업에 효과적입니다.
스테레오 비전은 두 개의 카메라 이미지를 비교하여 깊이를 계산하는 방식으로, 계산량은 많지만 구조가 단순합니다. ToF(Time of Flight) 카메라는 광신호의 왕복 시간으로 거리를 측정하여 실시간 성능이 우수하지만 장거리 측정 성능이 제한됩니다.
카메라 배치 전략도 중요한데, 전방 카메라는 경로 계획과 장애물 회피, 측면 카메라는 옆으로 접근하는 물체 감지, 하향 카메라는 바닥 상태와 선 인식을 담당합니다. 여러 카메라의 데이터를 통합적으로 처리하면 더욱 견고한 인식이 가능해집니다.
현대의 객체 탐지는 깊은 신경망을 기반으로 하며, 다양한 아키텍처가 각각 다른 성능-속도 트레이드오프를 제공합니다.
YOLO(You Only Look Once)는 이미지 전체를 한 번에 분석하여 실시간 처리에 매우 효과적입니다. 최신 버전(YOLOv8)은 80밀리초 이하의 처리 시간으로 임베디드 시스템에 적합합니다. 다만 작은 객체의 탐지 성능이 상대적으로 낮은 편입니다.
Faster R-CNN은 영역 제안 생성 후 각 영역을 분류하는 방식으로 높은 정확도를 달성합니다. 그러나 처리 속도가 YOLOv8보다 느려 최신 임베디드 장비에서도 20~30fps 수준에 머물 수 있습니다.
SSD(Single Shot Detector)는 속도와 정확도의 중간 지점을 제공하며, 다양한 스케일의 객체를 효과적으로 감지합니다. Tensor Flow나 PyTorch의 최적화 버전을 사용하면 모바일 프로세서에서도 실시간 처리가 가능합니다.
효율적인 모델인 MobileNet 기반 탐지기는 매개변수 수가 적어 빠른 추론을 보장하며, 따라서 배터리 수명이 제한된 로봇에 이상적입니다.
물류 환경에서는 객체의 정확한 경계를 파악하는 것이 중요합니다. 단순히 "물품이 있다"는 것만으로는 부족하며, 어디까지가 물품인지 정확히 알아야 집기나 피할 수 있습니다.
시맨틱 분할은 이미지의 각 픽셀을 카테고리로 분류합니다. "통행 가능 영역", "장애물", "사람" 같은 식으로 영역을 분할하면 로봇이 안전하게 이동할 경로를 파악할 수 있습니다. FCN(Fully Convolutional Networks)이나 U-Net은 빠른 처리 속도와 정확한 분할을 제공합니다.
인스턴스 분할은 시맨틱 분할의 한 단계 더 나아가 같은 카테고리의 객체들을 개별적으로 구분합니다. Mask R-CNN은 각 객체의 정확한 경계를 픽셀 수준에서 추출하여, 로봇이 포장상자들이 몇 개 있고 어디에 배치되어 있는가를 정확히 파악할 수 있게 합니다.
2D 이미지 분석은 평면적 이해에 머무르기 쉬우며, 실제 로봇이 작업하려면 3차원 공간 정보가 필수적입니다.
▲ 3D 바운딩 박스 추정 - RGB-D 카메라나 깊이 정보가 있으면 2D 탐지 결과로부터 3D 공간에서 객체의 위치와 크기를 추정할 수 있습니다. 이를 통해 로봇은 물품을 집기 위해 어느 방향에서 접근해야 하고 얼마나 떨어져 있는가를 계산합니다. MonoDIS나 PseudoLiDAR 같은 기법들이 단일 RGB 이미지에서도 합리적인 3D 추정을 가능하게 합니다.
▲ 포즈 추정(Pose Estimation) - 객체의 위치뿐 아니라 방향도 파악하는 것이 중요합니다. 특히 특정 형태의 물품(예: 팔레트, 접으면 모양이 달라지는 박스)을 올바른 방향으로 집으려면 포즈 정보가 필수적입니다. PoseCNN이나 NOCS(Normalized Object Coordinate Space)는 물품의 방향을 각도로 정확히 추정하여 그리퍼가 최적의 각도로 접근할 수 있게 합니다.
점 구름(Point Cloud) 기반 처리로 3D 센서로부터 얻은 점 데이터를 직접 분석합니다.
물류 센터는 사람과 로봇이 함께 작업하는 협업 환경이므로 사람의 정확한 감지와 추적이 매우 중요합니다.
보행자 감지는 HOG(Histogram of Oriented Gradients) 특징과 SVM 분류기의 조합으로 빠르게 처리되었던 기존의 방식에서 벗어나, 현재는 신경망 기반 탐지(YOLOv8 등)로 높은 정확도와 속도를 동시에 달성합니다. 특히 부분적으로 가려진 사람이나 앉아 있는 사람까지 감지할 수 있어야 합니다.
자세 추정은 각 사람의 관절 위치(머리, 팔, 다리 등)를 추적하여 그 사람이 로봇과 상호작용하고 있는가를 판단합니다. OpenPose나 MediaPipe는 단일 이미지에서 한 명 이상의 사람의 자세를 실시간으로 추정할 수 있습니다.
위험도 평가는 감지된 사람과 로봇의 거리, 움직임의 방향과 속도, 예상되는 충돌 여부를 종합적으로 분석하여 로봇이 속도를 낮추거나 정지할지 판단합니다.
신경망 기반 방법이 강력하지만, 특정 물품의 개별 인식에는 기존 특징 추출 기법이 여전히 유용합니다. 예를 들어 같은 종류의 포장상자들 중에서 특정 고객의 물품을 찾아야 할 때, 신경망은 "포장상자"만 감지할 수 있지만 바코드나 라벨의 특징을 매칭하면 개별 식별이 가능합니다.
SIFT(Scale-Invariant Feature Transform)는 크기와 회전 변화에 불변인 특징점들을 추출하여 다양한 관점과 조명 조건에서 안정적인 매칭을 가능하게 합니다. 비록 계산량이 많아 실시간 처리에는 제약이 있지만, 특정 영역에 대한 상세한 분석이 필요한 경우 보완적으로 사용될 수 있습니다.
BRIEF(Binary Robust Independent Elementary Features)나 ORB(Oriented FAST and Rotated BRIEF)는 SIFT보다 훨씬 빠르면서도 합리적인 성능을 제공하여 임베디드 시스템에 더 적합합니다.
현실의 물류 센터는 일정하지 않은 조명 조건 하에서 작동합니다. 창문 근처는 밝고, 선반 아래는 어두우며, 시간에 따라 태양빛이 변합니다.
적응적 히스토그램 평활화(CLAHE, Contrast Limited Adaptive Histogram Equalization)는 영상의 국소적 영역별로 명도 분포를 조정하여 극단적인 명도 변화에서도 특징이 두드러지도록 합니다. 이는 신경망 입력 전 전처리 단계에서 적용되는 단순하지만 효과적인 기법입니다.
도메인 적응 기법은 특정 환경에서 학습한 모델이 다른 환경에서도 잘 작동하도록 합니다. 합성 데이터로 학습한 모델을 실제 환경 데이터에 맞춰 미세 조정(Fine-tuning)하면 조명, 카메라 특성, 객체 배치의 차이를 극복할 수 있습니다.
AMR이 실시간으로 작동하려면 영상 처리가 밀리초 단위에서 완료되어야 합니다. 최신 신경망 모델들은 높은 정확도를 제공하지만 계산량이 많아 최적화 없이는 로봇의 임베디드 프로세서에서 작동 불가능합니다.
모델 경량화는 여러 기법으로 이루어집니다. 양자화는 부동소수점 가중치를 정수로 변환하여 메모리 사용량을 4분의 1로 줄이고 처리 속도를 향상시킵니다. 지식 증류는 큰 모델의 지식을 작은 모델에 전이하여 정확도 손실을 최소화하면서 크기를 축소합니다.
GPU 가속이나 NPU(Neural Processing Unit) 활용으로 NVIDIA Jetson, Qualcomm Snapdragon 같은 임베디드 가속기에서 신경망 추론 속도를 10배 이상 향상시킬 수 있습니다. 최신 로봇들은 이러한 가속기를 탑재하여 고도의 비전 처리를 실시간으로 수행합니다.
LiDAR와 카메라의 데이터를 개별적으로 처리하면 각각의 장점을 활용할 수 없습니다. 통합적인 접근이 필수적입니다.
조기 융합은 여러 센서의 원본 데이터를 함께 신경망의 입력으로 제공합니다. RGB 이미지와 깊이 맵을 채널로 결합하거나, 카메라 이미지와 점 구름을 정렬된 형태로 연결하면 신경망이 두 정보의 상관관계를 학습합니다.
후기 융합은 각 센서의 데이터를 별도의 신경망으로 처리한 후 결과를 결합하는 방식입니다. 이는 각 센서에 최적화된 처리가 가능하고, 특정 센서에 문제가 생겨도 다른 센서의 정보를 활용할 수 있는 견고성을 제공합니다.
시간적 융합은 연속된 프레임 간의 관계를 활용합니다. 비디오 데이터에서 같은 객체가 프레임마다 어떻게 이동하는가를 추적하면 정적 이미지보다 더 정확한 식별과 자세 추정이 가능합니다.
.svg)
.svg)
