.svg)
AI 솔루션 문의하기
AI 모델, 특히 언어 모델은 "사실처럼 들리지만 거짓인 정보"를 생성하는 경향이 있습니다. 이를 hallucination(환각)이라고 부릅니다. 예를 들어 모델이 존재하지 않는 연구 논문을 인용하거나, 실제로 일어나지 않은 역사 사건을 설명하거나, 없는 제품의 특성을 상세히 설명할 수 있습니다.
금융 거래 시스템에서 hallucination은 매우 심각한 문제입니다. 만약 AI가 잘못된 거래 규칙을 설명하거나 존재하지 않는 정책을 언급하면 고객이 잘못된 의사결정을 내릴 수 있습니다. 또한 규제 보고나 감시 추적에서 부정확한 정보를 제공하면 규제 위반으로 이어질 수 있습니다.
Hallucination이 발생하는 근본 원인은 AI 모델이 확률 기반으로 다음 단어를 예측하기 때문입니다. 모델은 데이터의 패턴을 학습하지만 실제 사실을 구분하지 못합니다. 따라서 그럴듯하게 들리는 거짓 정보도 높은 확률로 생성할 수 있습니다.
기업이 AI 시스템을 신뢰할 수 있도록 하려면 hallucination의 발생을 최소화하고 발생할 때 이를 감지하는 메커니즘이 필요합니다.
Hallucination을 줄이는 가장 효과적인 방법은 AI 모델이 외부 정보 소스를 참조하도록 하는 것입니다. 이를 근거 기반 응답 생성(RAG, Retrieval-Augmented Generation)이라고 합니다.
RAG 시스템은 다음과 같이 작동합니다. 사용자의 질문이 들어오면 먼저 관련된 문서나 데이터를 검색 시스템에서 찾습니다. 예를 들어 금융 거래에 관한 질문이 들어오면 회사의 정책 문서, 규제 규정, 과거 거래 기록 등에서 관련 정보를 검색합니다.
검색된 정보를 모델의 입력에 포함시킵니다. 모델은 이제 검색된 정보를 기반으로 응답을 생성합니다. 따라서 모델이 완전히 새로운 정보를 만들어낼 가능성이 크게 감소합니다. 또한 모델이 사용한 정보의 출처를 명확히 표시할 수 있습니다. 사용자는 응답이 어떤 문서를 근거로 생성되었는지를 확인할 수 있으므로 정보의 신뢰도를 평가할 수 있습니다.
RAG의 효과를 높이려면 검색된 문서의 품질이 중요합니다. 검색 시스템이 정확하고 최신의 관련 문서를 찾아야 모델이 좋은 응답을 생성할 수 있습니다.
모델의 hallucination 경향을 줄이기 위해 프롬프트에서 명시적으로 지시할 수 있습니다.
"다음 정보에 기반하여 답변하세요"라는 지시를 명확하게 포함시키면 모델이 주어진 정보 범위 내에서만 응답을 생성하려고 합니다. 또한 "정확하지 않으면 '모르겠습니다'라고 말하세요"라는 지시를 포함하면 모델이 불확실한 정보를 만들어내기보다 자신의 한계를 인정하려고 합니다.
또한 응답 형식을 구조화하면 hallucination을 줄일 수 있습니다. 자유로운 형식의 응답보다 "다음 정보를 제공하세요: 1. 정책, 2. 예외사항, 3. 참고 문서"라는 구조화된 형식을 요청하면 모델이 각 항목에 대해 더 신중하게 응답합니다.
불확실성을 표현하도록 지시하는 것도 효과적입니다. 모델이 "확신도: 높음/중간/낮음"을 명시하도록 하면 사용자가 응답의 신뢰도를 판단할 수 있습니다.
모델의 출력을 자동으로 검증하는 시스템을 구축할 수 있습니다. 이는 hallucination을 사후에 감지하고 필터링하는 방식입니다.
규칙 기반 검증은 알려진 거짓 정보의 패턴을 규칙으로 정의하여 감지합니다. 예를 들어 제품 가격이 역사적 가격 범위를 벗어나면 오류로 표시합니다. 또한 모델이 언급한 정책이 실제 정책 문서에 존재하는지를 확인할 수 있습니다.
비교 검증은 여러 모델의 응답을 비교하여 합의를 찾습니다. 여러 모델이 동일하게 응답하면 신뢰도가 높고 서로 다르게 응답하면 신뢰도가 낮습니다. 이를 통해 합의가 없는 응답은 사용자에게 경고할 수 있습니다.
외부 데이터 검증은 모델의 응답을 신뢰할 수 있는 외부 소스와 비교합니다. 예를 들어 금융 데이터의 경우 공식 금융 데이터베이스와 비교하여 검증합니다. 불일치가 발견되면 추가 확인을 요청합니다.
신뢰도 점수 계산도 도움이 됩니다. 각 응답에 대해 얼마나 신뢰할 수 있는지를 점수로 매기는 시스템입니다. 신뢰도가 낮은 응답은 사용자에게 제시하기 전에 인간의 검토를 거치거나 거부될 수 있습니다.
모델이 hallucination을 줄이려면 정확하고 최신의 지식 기반이 필수적입니다.
구조화된 지식 그래프를 구축하면 엔티티(사람, 제품, 정책 등) 간의 관계를 명확히 정의할 수 있습니다. 모델은 이 지식 그래프를 참조하여 관계를 추론할 수 있으므로 부정확한 관계를 만들어낼 가능성이 줄어듭니다.
규정과 정책의 버전 관리도 중요합니다. 정책이 변경되면 새로운 버전이 즉시 지식 기반에 반영되어야 합니다. 만약 구 정책이 남아있으면 모델이 오래된 정책을 기반으로 응답할 수 있습니다.
또한 지식 기반의 품질을 정기적으로 감사해야 합니다. 부정확하거나 모순되는 정보를 찾아 수정하고 누락된 정보를 추가합니다.
아무리 좋은 기술도 hallucination을 완전히 제거할 수 없습니다. 따라서 사람의 감시가 중요한 보안층으로 작동합니다. 고위험 결정에 대해서는 AI의 제안을 사람이 검토하고 승인해야 합니다. 특히 금융 거래, 규제 보고, 고객 지원 같은 중요한 영역에서는 모든 응답을 인간이 검증해야 합니다.
또한 사용자로부터의 피드백을 수집해야 합니다. 사용자가 "이 정보가 부정확합니다"라고 보고하면 시스템이 이를 기록합니다. 이러한 피드백들을 분석하여 hallucination의 패턴을 파악하고 모델과 지식 기반을 개선합니다. 사후 분석도 중요합니다. 정기적으로 과거의 AI 응답들을 감시 대상으로 검토하여 hallucination을 찾고 원인을 분석해야 합니다.
.svg)
.svg)
