
고객센터에서 이루어지는 통화는 짧은 질문 하나로 끝나는 경우보다 여러 차례 주고받는 대화 속에서 문제가 점차 구체화되는 경우가 훨씬 많습니다. 이용자가 처음에는 막연하게 문제를 설명하다가 상담원의 질문에 답하며 점차 구체적인 상황을 드러내는 흐름을 온전히 담아내려면 각각의 발화를 개별적으로 라벨링하는 방식으로는 부족하며 앞선 발화가 이후 발화의 의미를 어떻게 바꾸는지까지 함께 표시하는 다중턴 라벨링이 필요합니다. 첫 번째 발화만 보면 가벼운 문의처럼 보이던 내용이 세 번째 발화에 이르러서야 심각한 불만으로 드러나는 경우도 있어 대화 전체의 흐름을 놓치지 않는 라벨링 방식이 요구됩니다.
이러한 특성 때문에 고객센터 음성 인공지능을 위한 다중턴 데이터 라벨링은 개별 발화의 의미를 표시하는 작업과 더불어 발화와 발화 사이의 관계 자체를 별도의 정보로 기록하는 방향으로 이루어져야 합니다.
이 네 가지 요소는 단일 발화만 놓고 보면 파악하기 어려운 정보들이어서 전체 대화 흐름을 몇 차례 반복해서 살펴보아야 정확하게 표시할 수 있으며 이는 단일 발화 라벨링보다 훨씬 많은 시간과 주의를 요구합니다.

하나의 통화 안에서도 처음 문의했던 주제와 전혀 다른 새로운 문의가 이어지는 경우가 있어 이렇게 주제가 전환되는 지점을 정확히 포착하고 이전 주제와 새로운 주제를 명확히 구분해 표시하는 작업이 다중턴 라벨링에서 별도로 요구됩니다. 주제 전환을 놓치고 서로 다른 문의를 하나로 뒤섞어 라벨링하면 이후 학습된 인공지능이 맥락을 혼동해 엉뚱한 응대를 이어가는 원인이 될 수 있습니다.
텍스트 대화와 달리 음성 데이터는 억양이나 말의 속도 그리고 침묵의 길이처럼 문자로는 표현되지 않는 정보까지 함께 담고 있어 이러한 음성 고유의 특징이 대화의 의미를 이해하는 데 중요한 단서가 되는 경우 이를 놓치지 않고 라벨링에 반영해야 합니다. 같은 문장이라도 말끝을 흐리며 말하는 경우와 단호하게 말하는 경우는 전혀 다른 의미로 해석될 수 있어 음성 특유의 뉘앙스를 텍스트 정보와 함께 표시하는 작업이 필요합니다.

이용자의 발화는 물론 상담원이 어떻게 응대했는지도 이후 대화의 흐름을 이해하는 데 중요한 정보가 됩니다.
상담원의 응대까지 함께 라벨링해야 인공지능이 이용자의 발화는 물론 대화 전체의 상호작용 구조를 이해하고 이후 상황에 맞는 응대를 스스로 이어갈 수 있는 기반을 갖추게 됩니다.

통화 시간이 길어질수록 다루어야 할 발화의 수가 늘어나고 그만큼 앞선 내용과의 연결 관계도 복잡해지기 때문에 짧은 대화보다 훨씬 많은 주의와 시간이 요구되며 이 과정에서 작업자가 지치거나 집중력이 떨어지면 중간에 놓치는 맥락이 생길 위험도 함께 커집니다. 이러한 어려움을 줄이기 위해 긴 통화는 여러 구간으로 나누어 작업하고 구간 사이의 연결을 별도로 검토하는 방식이 활용되기도 합니다.
라벨링이 완료된 이후에는 처음부터 끝까지 대화를 다시 한번 통독하며 중간에 맥락이 끊기거나 잘못 연결된 부분이 없는지를 확인하는 별도의 검증 단계가 반드시 필요합니다. 개별 발화 단위로는 오류가 없어 보이더라도 전체를 이어서 보았을 때 흐름이 부자연스럽게 느껴지는 경우가 있어 이러한 전체적인 검토가 다중턴 데이터의 품질을 최종적으로 좌우하는 단계가 됩니다.

한 통의 전화가 시작부터 끝까지 이어지는 동안, 그 안에는 첫마디만으로는 알 수 없던 사정들이 조금씩 쌓여갑니다. 다중턴 라벨링이 하려는 일은 그 쌓여가는 맥락을 하나도 놓치지 않고 데이터로 옮기는 것이며, 그렇게 끊기지 않은 맥락이 있어야 비로소 인공지능도 사람처럼 대화의 흐름을 이해할 수 있게 됩니다.
