
서비스로봇이 사람의 말을 이해하고 적절한 행동으로 연결하려면 정해진 명령어만 모은 데이터로는 실제 대화 환경을 충분히 반영하기 어렵습니다. 사람은 로봇에게 같은 요청을 하더라도 표현을 매번 다르게 사용하고, 한 문장 안에 장소나 대상, 행동 순서 같은 여러 조건을 함께 넣기도 합니다. 서비스로봇이 사람과 자연스럽게 상호작용하려면 이런 다양한 표현을 수집하고 실제 행동 결과와 연결하는 과정이 필요합니다.
서비스로봇에게 물건을 가져오라고 요청할 때도 사용자는 “물 좀 가져다줘”, “저기 있는 생수 하나 부탁해”, “냉장고에서 물 꺼내줄래?”처럼 서로 다른 표현을 사용할 수 있습니다. 의미는 비슷하지만 문장의 길이와 사용하는 단어, 생략되는 정보에는 차이가 있습니다. 자연어 상호작용 데이터는 이런 표현의 차이를 그대로 담아내는 것이 핵심입니다. 정해진 문장을 그대로 따라 말하게 하는 방식보다 실제 사용자가 로봇에게 건넬 법한 다양한 표현을 확보해야 새로운 문장에도 대응하기 쉬워집니다.

사람의 요청은 단순한 행동 하나로 끝나지 않는 경우가 많습니다. “회의실에 있는 자료를 가져와서 테이블 위에 놔줘”처럼 대상과 장소, 이동 경로 이후의 행동까지 한꺼번에 전달할 수 있습니다. “손님 오기 전에 컵을 세 개 가져다줘”처럼 시간이나 수량에 관한 조건이 포함되기도 합니다. 이런 문장을 데이터에 담으려면 단어 자체보다 문장 안에 포함된 행동 조건을 함께 구조화해야 합니다.
실제 대화에서는 사용자가 대상을 매번 정확하게 지칭하지 않습니다. 앞에서 “테이블 위에 컵을 놓아줘”라고 이야기한 뒤 “그거 다른 곳으로 옮겨줘”라고 말할 수도 있습니다. 이때 로봇이 이해해야 하는 것은 두 번째 문장만이 아니라 앞선 대화에서 무엇을 가리키고 있었는지에 대한 맥락입니다. 따라서 자연어 상호작용 데이터를 구축할 때는 개별 발화만 분리하기보다 이전 발화와 다음 요청의 관계까지 연결하는 사례가 필요합니다.

모든 사용자 요청이 명확한 것은 아니며 “저거 가져와줘”처럼 대상이 여러 개일 수도 있고 “회의실로 가져다줘”라고 했지만 어느 물건을 말하는지 알 수 없는 경우도 있습니다. 이런 상황에서 로봇이 임의로 행동하는 것보다 필요한 정보를 다시 질문하고 사용자의 답을 받아 요청을 완성하는 과정이 중요합니다.
예를 들어 로봇이 “어떤 물건을 말씀하시나요?”라고 묻고 사용자가 “테이블 위에 있는 서류야”라고 답했다면 두 발화를 하나의 상호작용 흐름으로 기록할 수 있습니다. 성공적인 명령뿐 아니라 불완전한 요청과 보완 대화까지 포함해야 실제 서비스 환경에 가까운 데이터가 만들어집니다.

서비스로봇은 키보드나 화면을 통한 입력보다 음성으로 사람의 요청을 받는 경우가 많습니다. 주변 사람의 대화나 기계음이 함께 녹음될 수 있고, 사용자의 말투나 발화 속도도 제각각입니다. 같은 문장이라도 소음이 심한 장소에서는 일부 단어가 제대로 들리지 않을 수 있습니다.
따라서 자연어 데이터 구축에서는 깨끗하게 녹음된 발화만 모으기보다 실제 로봇이 활동하는 환경에서 발생하는 다양한 음성 조건을 함께 고려해야 합니다. 사용자의 발화와 인식 결과를 연결하면 음성 인식 단계에서 발생하는 오류와 언어 이해 단계에서 발생하는 오류를 구분하는 데에도 도움이 됩니다.
서비스로봇이 활동하는 공간에 따라 사람들이 사용하는 표현과 요청의 종류도 달라집니다. 호텔에서는 객실 안내나 물품 전달 요청이 많을 수 있고, 병원이나 요양시설에서는 이동 지원이나 물품 전달과 관련된 요청이 나타날 수 있습니다. 매장에서는 상품 위치나 재고를 묻는 질문이 주로 등장할 수 있습니다.
같은 자연어 모델을 적용하더라도 장소에 따라 자주 등장하는 단어와 행동의 조합이 달라진다는 점을 데이터에 반영해야 합니다. 장소 정보와 사용자 요청을 함께 관리하면 특정 환경에서 어떤 상호작용이 반복되는지 분석하기도 쉬워집니다.

로봇이 첫 번째 요청을 수행한 뒤 사용자가 결과를 보고 다시 지시하는 상황도 실제 서비스 환경에서는 흔하게 발생합니다. “여기 말고 저쪽에 놔줘”, “한 개 더 가져와줘”, “그건 말고 옆에 있는 걸로 해줘”처럼 이전 행동을 수정하는 발화가 이어질 수 있습니다.
이런 데이터를 구축할 때는 첫 번째 요청과 수정 요청을 별개의 문장으로 취급하기보다 하나의 작업 흐름으로 연결하는 방식이 적합합니다. 그래야 로봇이 현재 어떤 작업을 수행하고 있는지 파악한 상태에서 사용자의 추가 요구를 해석하는 능력을 학습하는 데 활용할 수 있습니다.
자연어 상호작용 데이터의 최종적인 활용을 위해서는 사람이 말한 문장과 로봇이 수행한 행동 사이의 관계를 명확하게 기록해야 합니다. “컵을 가져와줘”라는 발화가 들어왔다면 단순히 문장의 의미만 저장하는 것이 아니라 어떤 대상을 찾고 어떤 위치로 이동해 어떤 행동을 수행했는지까지 연결할 필요가 있습니다.

서비스로봇에서 구축한 자연어 상호작용 데이터는 사람과 로봇이 언어를 통해 작업을 주고받는 구조를 학습하는 기반으로 활용될 수 있습니다. 특히 자율제조 환경에서는 작업자가 로봇이나 자동화 설비에 작업 변경이나 상태 확인을 자연어로 요청하는 상황이 늘어날 수 있습니다. 이때도 핵심은 사람의 말을 단순한 텍스트로 처리하는 것이 아니라 현재 상황과 대상, 작업 조건, 이전 지시를 함께 해석해 실제 행동으로 연결하는 것입니다.
따라서 서비스로봇 단계에서부터 다양한 표현과 불완전한 요청, 되묻기, 수정 지시, 행동 결과까지 폭넓게 기록해두면 향후 자율제조 AI에서 요구되는 자연어 기반 작업 상호작용으로 데이터의 활용 범위를 넓히는 데 도움이 됩니다.
