.svg)
AI 솔루션 문의하기
파운데이션 모델(Foundation Model)은 대규모 데이터에서 학습된 기초 모델로, 다양한 작업에 미세 조정(fine-tuning)되어 사용됩니다. 자연언어 처리 분야의 대형 언어 모델(LLM)이 대표적입니다. 로봇 분야에서도 비슷한 개념의 파운데이션 모델 개발이 진행 중입니다. 기존의 로봇 학습은 특정 로봇, 특정 작업에 맞춰진 모델을 개별적으로 개발했습니다. 팔 로봇의 집기 작업 모델, 이동형 로봇의 네비게이션 모델, 휴머노이드 로봇의 보행 모델이 모두 다른 모델이었습니다.
로봇 파운데이션 모델은 이러한 다양한 데이터를 하나의 모델에서 학습하여, 새로운 로봇이나 새로운 작업에 빠르게 적응할 수 있도록 합니다. 이를 위해서는 서로 다른 로봇, 환경, 작업으로부터 수집된 데이터를 통합하고 정규화하는 데이터 구조가 필수적입니다. 로봇 파운데이션 모델의 개발은 이질적 데이터를 효과적으로 통합하는 데이터 구조에 달려 있을 것으로 예상됩니다.
로봇 파운데이션 모델이 학습하는 데이터는 단순히 영상과 행동의 쌍이 아닙니다. 각 데이터 샘플에는 어떤 로봇이, 어떤 환경에서, 어떤 작업을 수행했는지를 명시하는 메타정보가 포함되어야 합니다. 로봇과 작업의 메타정보가 체계적으로 포함되면, 파운데이션 모델이 로봇 간의 차이와 공통점을 학습할 수 있을 것으로 기대됩니다.
서로 다른 로봇들은 다른 센서 구성, 다른 동작 범위, 다른 시간 해상도를 가집니다. 한 로봇의 카메라는 RGB 영상이고 다른 로봇은 깊이 영상일 수 있습니다. 한 로봇은 100Hz 주기로 데이터를 기록하고 다른 로봇은 30Hz로 기록합니다. 이러한 이질성을 그대로 두면 파운데이션 모델이 로봇 간의 차이 때문에 혼동을 일으킬 수 있습니다. 따라서 데이터 정규화 단계가 필수적입니다.
시각 정보는 고정된 해상도로 변환하고, 신체 상태 정보는 정규화된 좌표계로 변환합니다. 시간 축도 통일하여 모든 로봇의 데이터가 동일한 시간 간격으로 샘플링되도록 합니다. 로봇의 동작 범위도 표준화하여, 로봇마다 다른 각도 범위를 -1에서 1 사이의 표준화된 값으로 변환합니다. 데이터 정규화를 통해 이질적 로봇 데이터를 하나의 파운데이션 모델에서 효과적으로 학습할 수 있을 것으로 예상됩니다.
로봇 파운데이션 모델은 여러 작업을 동시에 학습합니다. 집기 작업, 밀기 작업, 문 열기, 물체 옮기기 등 다양한 작업의 데이터가 하나의 모델에 들어갑니다. 이러한 다작업 학습 환경에서는 작업 간의 계층 구조가 중요합니다. 상위 작업(물체를 목표 위치로 옮기기)은 하위 작업(물체 집기, 이동, 물체 놓기)의 조합입니다. 파운데이션 모델이 이러한 계층 관계를 학습하면, 새로운 작업에 대해 기존 작업들을 조합하여 대응할 수 있습니다.
데이터 구조에 작업의 계층 정보를 포함시키면, 모델이 더 효과적으로 학습할 수 있습니다. 또한 각 작업의 성공 기준(success criteria)을 명시하여, 모델이 작업의 목표를 명확히 이해하도록 합니다. 다작업 학습 데이터의 계층적 구조로 파운데이션 모델의 작업 전이 능력이 향상될 것으로 기대됩니다.
로봇 데이터는 특정 환경에서 수집됩니다. 실내, 실외, 밝은 조명, 어두운 조명, 깔끔한 배경, 복잡한 배경 등 환경이 로봇의 행동에 영향을 미칩니다. 파운데이션 모델이 환경 변화에 강건하려면, 환경 정보를 데이터에 포함시켜야 합니다. 장면의 복잡도(clutter level), 조명 조건, 배경의 특성 같은 환경 메타정보를 기록합니다. 또한 물체의 특성(크기, 무게, 표면 특성)도 맥락 정보로 포함됩니다. 사람이 로봇과 상호작용하는 경우(인간-로봇 협업), 인간의 행동도 맥락 정보가 됩니다.
이러한 환경과 맥락 정보를 구조화하면, 모델이 "환경이 바뀔 때 행동을 어떻게 적응시킬 것인가"를 학습할 수 있습니다. 환경 정보의 체계적 통합으로 파운데이션 모델의 환경 적응력이 크게 향상될 것으로 예상됩니다.
파운데이션 모델을 위한 대규모 데이터 수집은 매우 비용이 많이 듭니다. 따라서 시뮬레이션에서 생성된 데이터와 실제 로봇 데이터를 혼합하여 사용합니다. 시뮬레이션 데이터는 무한히 생성할 수 있고, 실제 데이터는 현실성을 보장합니다. 다만 시뮬레이션과 현실의 간격(domain gap)을 극복해야 합니다. 데이터 구조에 각 샘플이 "시뮬레이션 출처인지 현실 출처인지"를 명시하고, 모델이 이 차이를 학습하도록 합니다.
또한 시뮬레이션 데이터에 노이즈와 왜곡을 추가하여 현실에 더 가깝게 만듭니다. 렌더링 스타일을 다양화하거나, 물리 파라미터를 변형하여 시뮬레이션의 다양성을 높입니다. 시뮬레이션과 현실 데이터의 효율적 혼합으로 파운데이션 모델의 학습 비용을 크게 줄일 수 있을 것으로 기대됩니다.
대규모 파운데이션 모델 학습에는 수십억 개의 데이터 샘플이 사용될 수 있습니다. 모델의 성능을 개선하려면 주기적으로 새로운 데이터를 추가합니다. 이 과정에서 데이터의 일관성과 재현성이 중요합니다. 데이터 버전 관리 시스템을 도입하여, 어떤 데이터 버전으로 모델을 학습했는지 추적합니다. 데이터 전처리 과정(정규화, 증강)도 버전으로 관리합니다. 또한 데이터 로깅(logging)을 체계적으로 하여, 수집 조건, 센서 캘리브레이션, 환경 변수 등을 모두 기록합니다.
이렇게 하면 나중에 같은 조건의 데이터를 다시 생성하거나, 특정 데이터 부분집합으로 모델을 재학습할 수 있습니다. 데이터 버전 관리와 로깅으로 파운데이션 모델의 재현성과 신뢰성이 높아질 것으로 기대됩니다.
로봇 파운데이션 모델의 개발을 가속화하려면 표준화된 공개 데이터셋이 필수적입니다. 학계와 산업계가 함께 사용할 수 있는 대규모 데이터셋이 필요합니다. 다만 데이터 라이선스, 프라이버시 보호, 저작권 문제가 복잡합니다. 공개 데이터셋을 구축할 때는 명확한 라이선스(오픈소스 라이선스와 유사한 형태)를 설정하고, 사용 제한사항을 명시합니다. 개인정보가 포함된 경우(사람의 얼굴, 음성) 익명화 또는 제거 처리를 합니다. 국제 표준화 기구(ISO/IEC)에서 로봇 데이터의 라이선스와 공개 기준에 대한 가이드라인을 개발 중입니다. 표준화된 오픈 데이터셋의 확대로 로봇 파운데이션 모델 연구 또한 확장될 것으로 기대됩니다.
.svg)
.svg)
