"소리와 진동으로 이상 징후까지 미리 알아채는" 피지컬 AI 멀티모달 센서 데이터 구축

피지컬 AI와 멀티모달 센서 표현의 필요성

피지컬 AI 로봇이 현실 세계를 정확하게 이해하려면, 단순한 정보 통합을 넘어 여러 센서 모달리티 (시각, 거리, 음성, 촉각 등)로부터 나오는 근본적으로 다른 형태의 정보들을 함께 학습해야 합니다. 카메라로 물체의 색상과 형태를 알 수 있고, 라이다로 정확한 거리를 측정할 수 있지만, 이 두 정보를 따로 학습하는 것과 함께 학습하는 것은 완전히 다른 결과를 만들며, 멀티모달 학습은 각 모달리티 간의 숨겨진 관계를 발견하여 로봇의 이해를 획기적으로 깊게 만듭니다. 멀티모달 표현 학습이 없다면 피지컬 AI 로봇은 각 센서를 독립적으로만 활용할 수밖에 없고, 하나의 센서가 실패했을 때 다른 센서의 정보로 효과적으로 보완할 수 없습니다.

‍

다양한 센서 모달리티와 각각의 특성

‍

피지컬 AI 로봇이 활용할 수 있는 센서 모달리티는 매우 다양합니다. RGB 카메라는 시각적 정보 (색상, 질감, 객체의 외형)를 제공하고, 깊이 센서 (라이다, 구조광)는 3D 기하학적 정보를 제공하며, 열화상 카메라는 온도 정보를 제공합니다. 음성 마이크는 청각 정보를 수집하고, 촉각 센서는 물체와의 접촉 특성을 감지합니다. 가속도계와 자이로스코프는 로봇의 움직임과 방향을 추적합니다. 각 모달리티는 세상의 다른 측면을 포착하며, 어떤 모달리티도 완전히 대체될 수 없기 때문에, 이들을 함께 활용하면 단일 모달리티보다 훨씬 풍부하고 견고한 이해를 얻을 수 있게 됩니다. 예를 들어 물체를 집을 때 시각 정보만으로는 그 물체의 무게를 알 수 없지만, 촉각 정보와 결합하면 안전한 취급 방법을 판단할 수 있습니다.

‍

모달리티 간 정렬과 시간적 대응 관계

서로 다른 센서 모달리티의 데이터를 효과적으로 함께 학습하려면, 각 모달리티의 데이터가 동일한 사건이나 객체를 나타낸다는 것을 명확히 해야 합니다. 카메라로 촬영한 물체의 이미지와 촉각 센서가 감지한 그 물체의 표면 특성이 같은 물체를 나타낸다는 대응 관계를 정립해야 합니다. 또한 각 모달리티의 데이터가 시간적으로 어떻게 맞춰지는지도 중요합니다. 여러 센서로부터 수집된 서로 다른 형태의 데이터들을 시간적으로 정렬하고, 각 시간 순간에 어떤 모달리티들이 같은 현상을 포착하고 있는지를 명시적으로 표시하면, 멀티모달 AI가 모달리티 간의 일관된 대응 관계를 학습할 수 있게 되며, 한 모달리티에서 배운 표현을 다른 모달리티로 전이시킬 수 있게 됩니다. 정렬된 멀티모달 데이터는 교차 모달 학습의 기초입니다.

‍

‍

공유 표현 공간의 구축

‍

멀티모달 학습의 핵심은 서로 다른 모달리티들이 공통되는 추상적 표현 공간을 학습하는 것입니다. 시각 정보와 촉각 정보는 근본적으로 다른 형태이지만, 둘 다 같은 물체의 "부드러움"이나 "딱딱함"이라는 개념을 표현할 수 있습니다. 이 공유된 표현 공간에서는 서로 다른 모달리티로 수집된 정보들이 더 가까운 표현으로 변환됩니다. 여러 모달리티의 데이터를 공통된 임베딩 공간 (수학적 표현 공간)으로 매핑하는 과정을 거치면, 로봇이 한 모달리티로부터 얻은 정보를 다른 모달리티의 특성으로 예측할 수 있게 되며, 불완전한 모달리티에서도 다른 모달리티의 정보를 활용하여 행동할 수 있게 됩니다.

‍

모달리티 간 교차 학습

한 모달리티에서 학습한 지식을 다른 모달리티에 적용하는 교차 학습은 매우 강력한 기법입니다. 예를 들어 대규모의 이미지 데이터로부터 객체 인식을 학습한 후, 그 학습된 표현을 거리 센서 데이터에도 적용할 수 있습니다. 풍부하게 수집된 모달리티 (예: 이미지)로부터 학습한 표현을 부족한 모달리티 (예: 촉각 데이터)로 전이시키면, 촉각 데이터가 충분하지 않아도 의미 있는 피지컬 AI 모델을 구축할 수 있게 되며, 이는 데이터 수집의 비용과 노력을 크게 줄일 수 있게 합니다. 교차 학습 데이터는 로봇의 학습 효율을 극적으로 높입니다.

‍

모달리티 간 상호 보완과 강건성 향상

‍

각 센서 모달리티는 특정 조건에서 약점을 가집니다. 카메라는 어두운 환경에서 약하고, 열화상 카메라는 빠른 움직임을 포착하지 못할 수 있습니다. 라이다는 반사적인 표면에서 오류가 발생할 수 있고, 촉각 센서는 원거리의 정보를 얻을 수 없습니다. 멀티모달 데이터셋을 구축할 때 각 모달리티의 강점과 약점을 명시적으로 기록하면, 로봇이 현재 환경 조건에서 신뢰할 수 있는 모달리티를 선택하거나, 약한 모달리티를 다른 모달리티로 보완할 수 있게 되며, 극한의 환경에서도 동작할 수 있는 강건한 피지컬 AI 시스템을 만들 수 있게 됩니다. 모달리티 간의 상호 보완은 로봇의 신뢰성을 크게 높입니다.

‍

불완전한 모달리티 처리와 누락 데이터

‍

현실의 멀티모달 데이터는 항상 완전하지 않습니다. 어떤 센서가 일시적으로 실패하거나, 특정 상황에서 특정 모달리티의 데이터가 수집되지 않을 수 있습니다. 카메라가 고장났다면 거리 센서의 정보만으로 세상을 이해해야 합니다. 여러 모달리티 중 일부만 사용 가능한 상황에서도 동작하도록 멀티모달 모델을 훈련하면, 로봇이 실제 환경의 불완전함에 잘 적응할 수 있게 되며, 하나의 센서 고장이 전체 시스템을 마비시키지 않는 안정적인 시스템을 만들 수 있게 됩니다. 불완전한 데이터 처리 능력은 현실적인 로봇 시스템의 필수 특성입니다.

‍

멀티모달 데이터의 일반화와 새로운 환경으로의 전이

‍

멀티모달 학습의 궁극적인 목표는 특정 환경이나 특정 센서 조합을 넘어 일반화되는 표현을 학습하는 것입니다. 실내 환경에서 수집한 멀티모달 데이터로 학습한 로봇이 실외 환경에서도 동작해야 합니다. 한 센서 조합으로 학습한 모델이 다른 센서 조합을 가진 로봇에도 적용되어야 합니다. 다양한 환경, 다양한 조건, 다양한 센서 조합으로부터 수집한 멀티모달 데이터를 함께 학습하면, 로봇이 특정 환경이나 특정 센서에 과도하게 의존하지 않는 견고한 표현을 학습할 수 있게 되며, 새로운 환경이나 새로운 센서에 빠르게 적응할 수 있는 일반화된 능력을 갖추게 됩니다. 멀티모달 일반화는 피지컬 AI의 장기적 실용성을 보장합니다.

‍