.svg)
AI 솔루션 문의하기
금융 챗봇의 성능을 평가하는 작업은 일반적인 대화형 챗봇 평가와 다른 기준을 요구합니다. 일반 챗봇에서는 답변이 자연스럽고 문맥에 맞으면 대체로 좋은 평가를 받지만 금융 챗봇에서는 답변이 아무리 자연스럽더라도 금리나 수수료 같은 구체적인 수치가 하나라도 틀리면 그 답변 전체가 오답으로 처리되어야 합니다. 이 때문에 금융 챗봇용 평가 데이터는 문장의 자연스러움보다 수치와 조건의 정확성을 최우선 기준으로 삼아 구성되어야 합니다.
이러한 기준 차이는 평가 데이터를 만드는 방식 자체에도 영향을 미칩니다. 문장 표현이 다양해도 중요 수치가 정확하면 정답으로 인정하고, 반대로 표현이 매끄러워도 수치가 어긋나면 오답으로 분류하는 채점 기준을 데이터 설계 단계에서부터 명확히 정의해야 합니다.
명확히 정의되어야 평가 결과가 단순히 맞았다 틀렸다는 판정에 그치지 않고 어떤 유형의 오류가 반복되는지를 분석할 수 있는 근거로 활용될 수 있습니다.
사람이 매번 답변을 수작업으로 채점하기에는 평가해야 할 질문과 답변의 양이 지나치게 많아 채점 자체를 자동화하는 시스템이 함께 요구되며 이를 위해서는 정답 수치와 조건이 데이터베이스 형태로 구조화되어 있어야 챗봇의 답변과 실시간으로 대조할 수 있습니다. 정답 정보가 문서 형태로만 존재하고 구조화되어 있지 않으면 채점 자동화 자체가 어려워지므로 평가 데이터를 구축하는 초기 단계부터 이러한 구조화를 고려해야 합니다.
금융상품의 금리나 우대조건은 정기적으로 변경되기 때문에 특정 시점에 정답이었던 답변이 이후 조건 변경으로 오답이 되는 경우가 발생합니다. 이 때문에 평가 데이터는 한 번 구축한 뒤 고정된 채로 사용할 수 없으며 상품 조건이 변경될 때마다 평가 기준 자체를 함께 갱신하는 절차가 필요합니다. 갱신 대상이 되는 상품의 수가 많을수록 이 절차에 소요되는 시간과 인력도 함께 늘어나므로 갱신 우선순위를 정하는 기준이 별도로 마련되어야 합니다. 갱신 주기를 정해두지 않으면 챗봇이 실제로는 오답을 내놓고 있는데도 평가 시스템이 이를 정답으로 잘못 판정하는 상황이 이어질 수 있습니다.
챗봇이 존재하지 않는 상품 조건을 지어내거나 오래된 정보를 마치 최신 정보처럼 제시하는 경우는 일반적인 오답과 다르게 다루어야 합니다.
이러한 오류는 자연스러운 문장으로 제시되기 때문에 일반적인 오답보다 오히려 발견하기 어려우며 평가 데이터에는 이런 유형의 사례를 의도적으로 포함시켜야 실제 위험을 정확히 측정할 수 있습니다. 특히 이러한 오류는 답변의 표면적인 완성도가 높기 때문에 평가자가 별도의 사실 확인 절차 없이는 오류 자체를 알아차리지 못할 위험이 있어 평가 인력에게도 별도의 확인 훈련이 요구됩니다.
금융 관련 법령이나 감독 지침이 바뀌면 그동안 정답으로 인정되던 안내 문구나 절차 설명이 더 이상 적절하지 않을 수 있어 평가 데이터는 규제 변경 내용을 신속하게 반영해야 합니다. 규제 변경과 평가 기준 갱신 사이에 시차가 발생하면 챗봇이 실제로는 규정에 맞지 않는 답변을 내놓고도 평가 단계에서 정답으로 처리되는 위험이 생길 수 있어 이 시차를 최소화하는 절차가 평가 체계 운영에서 중요하게 다루어져야 합니다.
동일한 질문이라도 질문자가 일반 고객인지 전문 투자자인지에 따라 적절한 답변의 수준과 범위가 달라질 수 있어 평가 데이터는 고객 유형을 구분해 각 유형에 맞는 정답 기준을 별도로 마련해야 합니다. 하나의 정답 기준만으로 모든 고객 유형을 평가하면 특정 유형에는 과도하게 엄격하고 다른 유형에는 지나치게 관대한 평가가 이루어질 위험이 있습니다.
금융 챗봇 성능평가 데이터의 중요한 과제는 정확한 평가 기준을 한 번 만드는 것을 넘어 그 기준을 상품 조건과 규제 변화에 맞추어 지속적으로 갱신하는 체계를 유지하는 데 있습니다. 수치와 조건이 계속 바뀌는 금융 영역의 특성상, 평가 데이터의 신뢰도는 구축 시점의 완성도보다 이후의 갱신 주기와 정확성에 더 크게 좌우됩니다.
.svg)
.svg)
