
작업을 수행할 때 같은 행동이라도 상황에 따라 다른 의미를 가집니다. 로봇이 물체를 집을 때, 그것이 반도체 부품인지 음식물인지에 따라 필요한 힘, 속도, 방법이 달라집니다. 이러한 상황적 정보를 작업 맥락이라고 부릅니다. 맥락은 작업이 왜 수행되는지, 누가 필요로 하는지, 어떤 제약 조건이 있는지를 포함합니다.
작업 맥락 없이 로봇은 기계적으로만 동작합니다. 주어진 작업을 수행하되, 변하는 상황에 적응하지 못합니다. 반면 맥락을 이해하는 로봇은 같은 작업이라도 상황에 맞게 방식을 조정합니다. 이는 효율성과 안전성을 모두 높입니다. 또한 인간과 협력할 때 상호 이해도 증진됩니다. 작업 맥락 데이터를 구축하는 것은 로봇이 단순 작업 실행자를 넘어 적응적이고 지능적인 협력자가 될 수 있게 하는 기반입니다.
작업 맥락은 여러 층으로 이루어져 있습니다. 가장 기본적인 층은 물리적 맥락으로, 작업 대상의 특성입니다. 물체의 무게, 크기, 재질, 취약성 같은 정보가 포함됩니다. 물리적 맥락을 알아야 로봇은 물체를 안전하고 효율적으로 다룰 수 있습니다.
그 위의 층은 작업적 맥락입니다. 작업의 목표, 절차, 우선순위 같은 정보입니다. 같은 물체를 집어도, "운반하기", "검사하기", "폐기하기"라는 목표에 따라 방식이 달라집니다. 더 높은 층은 사회적 맥락입니다. 누가 이 작업을 요청했는가, 언제까지 해야 하는가, 다른 작업들과의 관계는 어떠한가 같은 정보입니다. 예를 들어 의료 현장에서는 긴급도에 따라 작업의 순서가 달라집니다.
가장 높은 층은 의도적 맥락으로, 작업 뒤의 더 큰 목적입니다. 왜 이 작업이 필요한가, 이것이 달성해야 할 더 큰 목표와 어떻게 연결되는가를 이해합니다.

작업 맥락 데이터를 효과적으로 구축하려면, 다양한 상황에서의 작업을 데이터화해야 합니다. 시뮬레이션 환경은 비용 효율적으로 대량의 시나리오를 생성할 수 있는 방법입니다. 현실에서 반복하기 어려운 상황들을 가상 환경에서 구현할 수 있습니다.
예를 들어 제조 현장에서 예외 상황(기계 고장, 자재 부족, 일정 변경)이 발생했을 때 로봇이 어떻게 적응하는지를 데이터화합니다. 시뮬레이션에서는 이런 상황을 의도적으로 만들어 로봇의 반응을 기록할 수 있습니다.
또한 시뮬레이션은 물리적 제약이 없으므로 실제로는 위험한 상황도 안전하게 데이터화할 수 있습니다. 긴급 상황에서의 로봇 행동, 극한 환경에서의 작업, 협력 상황에서의 안전성 등을 테스트할 수 있습니다.

로봇이 학습해야 할 맥락의 많은 부분은 인간의 행동에 담겨 있습니다. 인간은 명시적으로 설명하지 않는 많은 정보를 행동으로 드러냅니다. 물체를 다루는 방식, 주의를 기울이는 부분, 건너뛰는 단계 같은 것들이 맥락을 나타냅니다.
인간의 작업 영상을 녹화하고 분석하면 다양한 맥락에서의 행동 패턴을 추출할 수 있습니다. 예를 들어 숙련자는 위험한 부분에서 속도를 늦추고, 중요한 부분에서 신중함을 보입니다. 이러한 미묘한 적응이 맥락 이해의 증거입니다.
또한 인간의 실수까지도 하나의 데이터가 됩니다. 특정 맥락에서 어떤 실수가 자주 일어나는가를 파악하면 로봇은 그런 상황에서 더 신중하게 행동할 수 있습니다. 인간이 회피하는 행동과 선호하는 행동의 패턴을 통해 암묵적 맥락을 명시화할 수 있을 것입니다.

로봇 작업 맥락 데이터를 체계적으로 구축하는 과정은 다음과 같습니다.
이 절차를 통해 로봇이 활용할 수 있는 풍부한 맥락 정보가 축적됩니다.
같은 작업이라도 많은 변이가 존재합니다. 작업 대상의 개별 차이, 환경 조건의 변화, 작업자의 스타일 차이 등이 모두 작업 변이입니다. 맥락 데이터는 이러한 변이 속에서 핵심 맥락 요소를 식별해야 합니다.
예를 들어 조립 작업에서 부품의 크기가 조금 다르거나, 공작대의 높이가 다르거나, 작업자의 팔 길이가 다를 수 있습니다. 이 모든 변이를 포함하면서도, 작업의 본질적인 맥락은 일관되어야 합니다.
변이를 관리하기 위해 데이터셋은 매개변수화된 구조를 사용합니다. 부품 크기를 10mm에서 50mm 범위로 변화시키며 데이터를 수집하면, 로봇은 이 범위 내의 어떤 크기에도 적응할 수 있습니다. 또한 극단적 케이스(가장 작은 부품, 가장 큰 부품)도 포함하여 로봇의 견고성을 높입니다.

작업의 진행 단계에 따라 맥락이 변합니다. 초기 단계, 중간 단계, 완료 단계마다 필요한 주의와 우선순위가 다릅니다. 시간적 맥락을 이해하는 것은 로봇이 순차적으로 올바른 행동을 취하게 합니다. 예를 들어 제조 공정에서 초기에는 정확성이 중요하고, 중간에는 효율성이, 완료 단계에서는 품질 검사가 중요합니다. 로봇이 작업의 진행 단계를 인식하면, 각 단계에 적합한 행동을 선택할 수 있습니다.
또한 작업 일정도 맥락입니다. 마감 시간이 임박했는지, 충분한 시간이 있는지에 따라 작업 방식이 달라집니다. 서두르는 상황에서는 위험도 조금 높이면서 효율성을 우선할 수 있고, 여유가 있을 때는 안전성을 철저히 할 수 있습니다. 이러한 시간적 맥락을 데이터에 명시하면, 로봇은 상황에 맞춘 판단을 할 수 있습니다.
로봇이 일하는 환경도 중요한 맥락입니다. 작업 현장의 상태, 주변 기계의 작동, 인원 상황, 조명과 온도 같은 환경 요소들이 작업에 영향을 미칩니다. 이 모든 요소를 데이터화해야 합니다.
예를 들어 병렬 작업 상황에서 다른 로봇이나 인간이 같은 공간에 있으면, 로봇은 더 신중하게 행동해야 합니다. 또한 작업 현장이 혼잡한지 여유가 있는지도 맥락입니다. 혼잡한 환경에서는 최소한의 공간만 사용하도록 행동을 조정합니다.
환경 맥락은 센서를 통해 수집합니다. 주변의 물체 위치, 인간의 위치, 조명 수준, 온도, 소음 수준 등이 모두 기록됩니다. 이렇게 수집된 환경 데이터와 로봇의 행동을 연결하면, 환경 변화에 따른 적응 패턴을 학습할 수 있습니다.

실제 상황에서 맥락은 항상 명확하지 않습니다. 여러 맥락이 동시에 존재하고, 때로는 상충하기도 합니다. 예를 들어 빠른 작업을 요청받았지만 위험한 상황이어서 신중함이 필요할 수 있습니다. 이런 상황에서 로봇은 어떤 맥락을 우선할지 판단해야 합니다.
맥락 데이터는 이러한 모호성을 명시적으로 포함해야 합니다. 확신도가 높은 맥락과 낮은 맥락을 구분하고, 상충하는 맥락들을 어떻게 해결했는지 기록합니다. 이를 통해 로봇은 단순한 규칙 적용이 아니라, 판단의 유연성을 배울 수 있습니다.
또한 잘못된 맥락 해석도 데이터가 됩니다. 인간이 어떤 상황에서 맥락을 잘못 이해했고, 그것이 어떤 결과를 초래했는지를 기록하면, 로봇이 같은 실수를 피하는 데 도움이 됩니다.
맥락 이해가 얼마나 잘 이루어졌는지 평가하는 것은 도전적입니다. 직접적인 성과 측정(작업 완료 여부)보다, 맥락에 맞는 행동 선택을 평가해야 합니다. 같은 행동이라도 맥락에 따라 좋은 선택일 수도, 나쁜 선택일 수도 있기 때문입니다.
평가 지표는 상황에 맞는 행동 적응도를 측정합니다. 맥락이 변했을 때 로봇의 행동이 얼마나 적절하게 변했는가를 평가합니다. 또한 일관성도 중요합니다. 같은 맥락에서 반복해서 비슷한 행동을 하는가를 확인합니다.
또한 예측 능력도 평가합니다. 현재의 맥락이 미래에 어떤 변화를 초래할 것인지를 로봇이 예측하고, 그에 따라 미리 행동을 조정하는가를 확인합니다. 예를 들어 시간이 임박했음을 인식하고 속도를 높이는 것이 맥락 이해의 증거입니다.

한 로봇이 수집한 맥락 데이터는 다른 로봇도 활용할 수 있습니다. 맥락 데이터를 로봇 독립적인 형식으로 표현하면, 팀 전체가 공동의 이해를 구축할 수 있습니다. 이는 협력의 효율성을 높입니다.
로봇 간 맥락 공유는 센트럴 데이터베이스를 통해 이루어집니다. 각 로봇이 작업 과정에서 학습한 맥락 정보를 업로드하고, 다른 로봇이 이를 다운로드하여 활용합니다. 이를 통해 개별 로봇의 경험이 전체 팀의 지식이 됩니다.
또한 맥락 정보를 일반화합니다. 특정 로봇이나 특정 상황에만 해당하는 정보를 제거하고, 보편적으로 적용 가능한 패턴을 추출합니다. 이렇게 하면 서로 다른 로봇 모델도 같은 맥락 이해를 공유할 수 있습니다.
로봇 작업 맥락 데이터 구축은 계속 발전할 것입니다. 향후에는 더욱 미묘한 사회적 맥락을 포함할 수 있게 될 것입니다. 현재는 주로 물리적, 작업적 맥락에 초점을 맞추지만, 인간의 감정, 의도, 문화적 배경 같은 고급 맥락도 이해해야 합니다.
또한 실시간 맥락 적응도 중요해질 것입니다. 작업 중에 맥락이 급변할 때, 로봇이 즉시 대응할 수 있어야 합니다. 현재는 주로 사전에 정해진 맥락에 따라 행동하지만, 미래에는 동적으로 변하는 맥락을 실시간으로 감지하고 적응할 수 있게 될 것입니다.
인간과의 맥락 공유도 발전할 것입니다. 로봇이 인간에게 자신이 이해한 맥락을 설명할 수 있으면 인간과 로봇 간의 상호 이해가 깊어집니다. 또한 로봇이 "현재 상황에서는 안전이 최우선이므로 속도를 줄이겠습니다"라고 명시적으로 설명할 수 있으면 협력의 질이 향상될 것으로 보입니다.
