.svg)
AI 솔루션 문의하기
한국어로 배송 조회를 묻는 문장과 베트남어로 같은 내용을 묻는 문장은 단어와 어순이 완전히 다르지만 챗봇이 파악해야 할 의도는 동일합니다. 언어별로 라벨링 작업자가 따로 배치되면 같은 의도를 서로 다른 이름의 항목으로 분류해 버리는 실수가 생기기 쉽습니다. 언어 간에 통용될 공통 의도 체계를 먼저 세우고 그 체계 안에서 각 언어의 라벨러가 작업하도록 해야 합니다. 언어를 넘나드는 공통 의도 체계를 먼저 확정해야 표현은 달라도 같은 목적을 가진 발화가 하나의 항목으로 정리됩니다.
챗봇은 한 문장만 보고 답하지 않고 그 앞의 대화 흐름을 참고해 응답을 결정하는 경우가 많습니다. 그래서 학습데이터도 개별 문장이 아니라 여러 차례 주고받은 대화 전체를 하나의 맥락으로 묶어 라벨링해야 합니다. 앞선 발화를 빼고 마지막 문장만 따로 라벨링하면 문맥에 의존하는 의도를 놓치게 됩니다. 여러 turn으로 이어지는 대화 전체를 하나의 단위로 라벨링해야 문맥 의존적인 의도를 정확히 담아낼 수 있습니다.
주소나 날짜처럼 문장 안에서 특정 정보를 뽑아내는 항목 추출 작업은 언어마다 문법 구조가 달라 라벨링 방식도 함께 달라져야 합니다. 어떤 언어는 정보가 문장 앞쪽에 오고 어떤 언어는 뒤쪽에 오며 조사나 어미의 형태에 따라 정보의 경계가 흐려지는 경우도 있습니다. 언어별 문법 특성을 고려한 별도의 지침 없이 하나의 기준만 적용하면 정확도가 언어에 따라 크게 갈립니다.
작업 속도를 높이기 위해 한 언어에서 확정된 라벨을 기계번역으로 다른 언어에 옮겨 붙이는 방식을 쓰기도 하지만 이 과정에서 번역이 매끄럽지 않으면 원래 의도와 미묘하게 다른 라벨이 만들어질 수 있습니다. 번역을 거친 라벨은 반드시 그 언어의 원어민 라벨러가 다시 검토하는 절차를 거쳐야 이런 오차가 그대로 학습데이터에 남는 상황을 막을 수 있습니다. 기계번역으로 옮긴 라벨은 원어민 검토를 거쳐야 번역 과정에서 생기는 미세한 의도 왜곡을 걸러낼 수 있습니다.
문자 그대로는 같은 의미로 보이는 표현이라도 문화권에 따라 실제로 전달하는 뉘앙스가 달라지는 경우가 있습니다. 완곡하게 거절하는 표현이 어떤 문화에서는 정말로 거절을 뜻하지만 다른 문화에서는 아직 협상의 여지가 있다는 뜻으로 받아들여지기도 합니다. 이런 문화적 맥락을 이해하는 현지 라벨러가 직접 판단하지 않으면 겉으로 드러난 단어만 보고 잘못된 라벨을 붙이게 됩니다.
각 언어의 라벨러는 서로 다른 언어로 작업하기 때문에 상대방이 어떤 기준으로 라벨을 붙였는지 직접 확인할 방법이 없습니다. 이런 상태로 오래 작업이 진행되면 언어별로 미묘하게 다른 기준이 자리 잡을 위험이 있습니다. 대표 사례를 공통 언어로 번역해 정기적으로 함께 검토하는 자리를 마련해야 언어 간 기준이 벌어지지 않고 유지됩니다.
.svg)
.svg)
