.svg)
AI 솔루션 문의하기
동남아시아에는 국가의 공용어 외에도 수백만 명이 쓰지만 문자 기록이 거의 남아 있지 않은 소수민족 언어가 여럿 존재합니다. 이런 언어는 오랫동안 구술로만 전승되어 왔기 때문에 디지털 형태의 텍스트 자체가 거의 없으며 있다 해도 일관된 표기법을 따르지 않는 경우가 많습니다. 이런 조건에서는 현지 화자의 발화를 직접 녹음해 이를 텍스트로 옮기는 작업이 데이터 구축의 출발점이 됩니다. 문자 기록이 희박한 언어일수록 현장 녹음을 통한 음성 데이터 확보가 학습데이터 구축의 가장 근본적인 출발점이 됩니다.
같은 언어라도 과거 선교사나 학자들이 서로 다른 시기에 각자의 방식으로 로마자 표기법을 만들어 놓은 경우가 있으며 이 때문에 같은 단어가 문헌마다 다르게 적혀 있는 상황이 흔하게 나타납니다. 이런 표기 불일치를 그대로 둔 채 데이터를 모으면 모델은 같은 단어를 서로 다른 단어로 학습하게 됩니다. 표준 표기법을 먼저 정하고 기존 자료를 이 기준에 맞추어 변환하는 정제 작업이 데이터 수집과 함께 이루어져야 합니다.
소수언어 화자는 일상 대화에서 자신의 모어와 국가 공용어를 자연스럽게 섞어 쓰는 경우가 많으며 이런 언어 전환은 실제 발화의 자연스러운 특징이지 오류가 아닙니다. 이런 발화를 인위적으로 하나의 언어로만 걸러내면 실제 화자들이 쓰는 방식과는 동떨어진 부자연스러운 데이터가 만들어집니다. 두 언어가 섞인 발화를 있는 그대로 데이터에 포함시켜야 실제 화자들의 언어 사용 방식을 왜곡 없이 반영할 수 있습니다.
녹음된 발화를 텍스트로 옮기려면 그 언어를 유창하게 구사하면서도 표기법을 읽고 쓸 줄 아는 사람이 필요하지만 이런 이중의 능력을 갖춘 인력은 매우 드뭅니다. 많은 화자가 고령층에 집중되어 있고 젊은 세대는 오히려 공용어 교육을 받으며 자신의 모어를 글로 쓰는 훈련을 받지 못한 경우가 많습니다. 현지 교육기관이나 문화 보존 단체와 협력해 이런 인력을 발굴하고 표기법을 교육하는 과정이 함께 필요합니다.
소수언어로 된 기존 문헌 가운데 상당수는 선교 활동 과정에서 번역된 성경이나 종교 서적에 치우쳐 있으며 이런 자료만으로 학습데이터를 구성하면 모델이 종교적인 어휘와 문체에 편향될 위험이 있습니다. 일상 대화나 시장에서 오가는 말 민담이나 노래처럼 다양한 장르의 자료를 함께 수집해야 이런 편향을 줄일 수 있습니다. 종교 문헌에 편중되지 않도록 일상 대화와 구술 문학처럼 다양한 장르의 자료를 균형 있게 확보해야 합니다.
일부 소수언어는 화자 수가 매우 적고 그마저도 고령층에 집중되어 있어 몇 십 년 안에 사라질 위험에 처해 있습니다. 이런 언어의 데이터 구축은 단순히 AI 모델의 성능을 높이는 작업을 넘어 그 언어와 문화를 기록으로 남기는 보존의 의미도 함께 지닙니다. 이 무게를 고려하면 데이터 구축 과정에서 화자 공동체의 의견을 존중하고 수집된 자료를 그 공동체에도 함께 되돌려주는 절차가 필요합니다.
.svg)
.svg)
