프롬프트 정확도 향상, 금융권 생성형 AI 도입을 위한 데이터 구축 방법

생성형 AI와 기존 AI의 데이터 요구사항 차이

생성형 AI는 기존의 분류나 예측 AI와 매우 다릅니다. 기존 AI는 정형 데이터(숫자, 범주형)를 입력받아 정해진 카테고리로 분류하거나 값을 예측했습니다. 반면 생성형 AI는 텍스트, 이미지, 음성 같은 비정형 데이터를 입력받아 새로운 콘텐츠를 생성합니다. 금융권에서 생성형 AI를 도입하려면 이러한 차이를 반영한 데이터 구축이 필요합니다. 고객 상담 기록, 금융 보고서, 계약서, 규제 문서, 뉴스 기사 같은 텍스트 데이터가 대량으로 필요합니다. 단순히 데이터를 모으는 것만으로는 부족합니다. 금융 도메인의 특수성을 반영하고 윤리적 기준을 충족하는 데이터 구축이 필요합니다. 금융권 생성형 AI 도입을 위한 데이터 구축은 기존의 데이터 활용 방식과는 완전히 다른 접근이 필요합니다.

‍

금융 텍스트 데이터의 수집 및 정리

‍

생성형 AI를 학습시키기 위한 텍스트 데이터는 매우 다양한 출처에서 옵니다. 금융기관 내부의 상담 기록, 고객 문의, 상품 설명서, 거래 보고서 같은 문서들이 학습 자료가 될 수 있습니다. 규제 기관의 공시 자료, 금융감독 지침, 회계 기준 문서도 포함됩니다. 금융 뉴스, 분석 리포트, 시장 평론도 유용한 데이터입니다. 다만 이러한 원본 데이터는 많은 노이즈를 포함합니다. 개인정보가 섞여 있을 수 있습니다. 중복된 내용이 있을 수 있습니다. 오래된 정보가 포함되어 있을 수 있습니다. 이러한 데이터를 정제하고 정리하는 과정이 매우 중요합니다. 품질 높은 학습 데이터를 확보하는 것이 생성형 AI의 성능을 결정합니다.

‍

개인정보 보호와 금융 민감 정보의 익명화

금융 데이터에는 고객의 개인정보와 금융거래 정보가 포함되어 있습니다. 생성형 AI의 학습에 사용하려면 이러한 정보를 철저히 익명화하거나 제거해야 합니다. 고객 이름, 계좌번호, 주민번호, 연락처 같은 직접 식별자는 완전히 제거합니다. 거래 금액, 거래 시간, 거래처 같은 정보는 범주화하거나 집계합니다. 구체적인 사건이나 거래 내역은 일반화합니다. 예를 들어 "김철수 고객이 2024년 1월 15일 오후 3시에 부산에서 100만원을 송금했다"는 정보는 "고객이 지정된 기간에 특정 지역에서 일정 범위의 금액을 송금했다"로 변환합니다. 이 과정에서 데이터의 학습 가치는 유지하면서도 개인정보 보호를 달성합니다. 금융감독 규정 준수도 보장됩니다.

‍

금융권 생성형 AI 데이터 구축의 핵심 방법론

• 텍스트 데이터 수집: 상담 기록 수집, 상품 문서 정리, 규제 자료 확보, 금융 뉴스 수집, 계약서 모음
• 데이터 정제 및 정규화: 개인정보 익명화, 중복 제거, 형식 통일, 오류 수정, 메타데이터 추가
• 도메인 지식 인코딩: 금융 용어 사전 구축, 개념 관계 정의, 금융 규칙 명시, 산업 분류 체계, 용어 매핑
• 프롬프트-응답 쌍 생성: 고객 질문-답변 쌍 수집, 시나리오 기반 대화 작성, 금융 문제 해결 예제, 설명 및 가이드, 예외 사항 처리
• 평가 데이터 구축: 테스트용 질문 생성, 정답 작성, 평가 기준 정의, 복잡도 분류, 도메인별 분류

‍

파인튜닝을 위한 특화된 데이터셋 구성

사전 학습된 생성형 AI를 금융권에 적응시키려면 파인튜닝이 필요합니다. 일반 목적의 언어모델을 금융 특화 모델로 변환하는 과정입니다. 이를 위해서는 금융 도메인에 특화된 데이터셋이 필요합니다. 고객이 자주 하는 질문과 그에 대한 정확한 답변의 쌍들이 수집됩니다. 금융 거래 프로세스를 설명하는 텍스트들이 수집됩니다. 금융 상품의 특징과 장단점을 설명하는 문서들이 포함됩니다. 금융 규제와 준칙을 설명하는 자료들이 준비됩니다. 이러한 데이터들이 충분한 양으로 확보되어야 효과적인 파인튜닝이 가능합니다. 품질이 낮은 데이터로 학습하면 AI의 답변도 부정확해질 수 있습니다.

‍

금융 도메인 적응과 용어 표준화

‍

생성형 AI가 금융 업무에서 정확하게 작동하려면 금융 용어를 정확히 이해해야 합니다. 금융권만의 특화된 용어, 약자, 개념들이 있기 때문입니다. 예를 들어 "BIS 자본비율", "LTV", "DTI" 같은 용어들은 금융인들에게는 상식이지만 일반인에게는 생소합니다. 이러한 용어들의 정확한 정의, 상호 관계, 사용 맥락을 데이터에 명시적으로 인코딩해야 합니다. 금융 규칙과 논리도 명시합니다. 예를 들어 "고객의 신용도가 낮으면 금리가 올라간다"는 규칙을 AI가 이해하도록 학습 데이터에 반복적으로 포함시킵니다. 시장 용어도 표준화합니다. 같은 개념이 여러 용어로 불릴 수 있으므로 이를 통일합니다. 이러한 도메인 적응이 철저할수록 AI의 신뢰도가 높아집니다.

‍

고객 상담 시나리오와 대화 데이터

생성형 AI가 고객 상담 역할을 하려면 실제 상담 상황을 반영한 대화 데이터가 필요합니다. 고객의 실제 문의 패턴, 상담원의 답변 방식, 상담의 흐름을 학습하는 것입니다. 기존의 고객 상담 기록을 정제하여 학습 데이터로 만듭니다. 상담원의 실제 언어, 고객의 다양한 표현 방식을 포함합니다. 일반적인 상담 시나리오뿐 아니라 복잡한 상황, 예외적 상황도 포함됩니다. 고객이 불만을 표현할 때의 상담원의 대응도 학습데이터에 포함됩니다. 상담이 성공적으로 종료되는 패턴과 미해결된 채로 끝나는 패턴도 함께 학습합니다. 이러한 실제 상담 경험이 풍부할수록 AI 챗봇의 대응이 자연스럽고 효과적이 됩니다.

‍

윤리적 가이드라인과 안전 검증

‍

생성형 AI가 부정적인 응답을 하지 않도록 하는 것도 중요합니다. 금융권에서는 차별적 조언, 잘못된 정보, 위험한 추천이 고객 피해로 직결될 수 있습니다. 학습 데이터에 윤리적 가이드라인을 명시적으로 포함시킵니다. 예를 들어 과도한 신용대출을 권장하지 않는다는 원칙을 여러 예제로 보여줍니다. 특정 고객층에 대한 차별적 대우를 하지 않는다는 원칙도 학습시킵니다. 불확실한 정보는 확신 있게 말하지 않는다는 규칙도 포함합니다. 이러한 안전 검증은 학습 후에도 지속됩니다.

‍

‍

‍