.svg)
AI 솔루션 문의하기
AI Agent가 모든 의사결정을 완전히 독립적으로 수행할 수 없다는 현실에서 등장한 개념이 Human-in-the-Loop(이하 HITL)입니다. 이는 AI가 제안하고 인간이 검토한 후 최종 결정을 내리는 구조로, AI의 효율성과 인간의 판단력을 결합합니다. 예를 들어 에이전트가 거래를 승인하기 전에 인간이 최종 확인하거나, 고객 상담 중 복잡한 질문이 나오면 전문가에게 넘기는 방식입니다.
HITL 방식이 중요한 이유는 AI의 신뢰도와 안정성을 동시에 확보하기 때문입니다. 완전 자동화된 시스템은 속도는 빠르지만 오류 발생 시 대규모 손실로 이어질 수 있습니다. 반대로 모든 결정을 인간이 하면 정확성은 높지만 조직의 확장성이 제한됩니다. HITL은 이 중간 지점에서 양쪽의 장점을 활용합니다.
특히 금융, 의료, 법률, 고객 서비스 같은 높은 신뢰도가 요구되는 영역에서 HITL은 필수적입니다. 에이전트가 의료 진단을 제시하지만 최종 결정은 의사가 내리거나, 법률 검토 초안을 작성하지만 변호사가 확인하는 방식으로 진행됩니다. 이렇게 하면 에이전트의 생산성 향상과 전문가의 판단 능력이 결합됩니다.
조직의 상황에 따라 HITL의 구현 방식은 여러 가지 형태로 나타납니다.
에이전트가 작업을 완료한 후 인간이 결과물을 검토하고 승인하는 방식입니다. 에이전트가 고객 서비스 답변을 작성하면 담당자가 이를 확인한 후 발송하는 형태입니다. 이 방식은 구현이 간단하고 기존 프로세스에 쉽게 적용되지만 인간의 개입이 많아 속도가 느릴 수 있습니다.
에이전트와 인간이 동시에 작업에 참여합니다. 복잡한 거래 분석에서 에이전트가 데이터 처리와 초기 분석을 담당하고 인간이 해석과 의사결정을 하는 식입니다. 이 방식은 양쪽의 강점을 최대한 활용할 수 있습니다.
대부분의 작업은 에이전트가 자동으로 처리하지만 예외 상황만 인간이 개입하는 방식입니다. 주문 처리 에이전트가 정상 거래는 자동 승인하지만 의심 거래나 고객 정책 위반 사항만 인간에게 알리는 형태입니다. 이 방식은 효율성이 매우 높으면서도 위험을 통제할 수 있습니다.
HITL 시스템의 성공은 인간이 언제 개입해야 하는가를 얼마나 잘 설계하는가에 달려있습니다.
▲ 개입 지점의 명확한 정의 - 조직은 먼저 "이 작업에서 인간이 반드시 개입해야 할 지점은 어디인가?"를 파악합니다. 고객 서비스 에이전트라면 "일반 질문은 자동 응답, 불만 사항은 인간 개입" 같은 식으로 구분합니다. 이러한 지점들은 조직의 정책, 규제 요구사항, 과거 오류 사례를 기반으로 결정됩니다. 또한 정기적으로 실제 데이터를 분석하여 개입 지점이 여전히 적절한가를 검토합니다.
▲ 개입의 자동 트리거 설정 - "이 조건이 만족되면 자동으로 인간에게 알린다"는 규칙을 설정합니다. 거래액이 특정 금액을 초과하거나, 거래 패턴이 비정상적이거나, 고객 신용도가 낮으면 자동으로 담당자에게 알림이 전송됩니다. 이러한 자동 트리거를 잘 설정하면 중요한 케이스를 놓치지 않으면서도 불필요한 개입을 최소화할 수 있습니다.
개입의 효율성 모니터링도 지속적으로 이루어져야 합니다. 인간이 개입한 건수, 개입하는 데 걸린 시간, 개입 결과의 품질을 추적하여 병목 지점을 찾고 개선합니다.
HITL 시스템에서 인간 검토자의 역할은 단순한 승인이 아니라 고차원적 판단입니다. 검토자는 에이전트가 제시한 결과의 논리적 오류, 정보 누락, 정책 위반 등을 신속하게 파악해야 합니다. 이를 위해서는 에이전트의 의사결정 근거를 명확하게 이해할 수 있어야 합니다. 따라서 에이전트는 "이렇게 결정했습니다"라고만 하지 않고 "A라는 데이터와 B라는 정책을 고려하여 이렇게 결정했습니다"라고 설명해야 합니다.
검토자의 직무 교육도 중요합니다. 에이전트의 기능과 한계를 정확히 이해하지 못하면 좋은 판단을 할 수 없습니다. 정기적인 교육을 통해 검토자들이 에이전트의 최신 능력, 알려진 문제점, 개선 계획을 파악하도록 합니다.
검토자의 피드백이 에이전트 학습으로 연결되어야 합니다. 검토자가 "이 거래는 거절해야 한다"고 판단한 이유를 기록하면 에이전트가 학습할 수 있습니다.
HITL 시스템의 진정한 가치는 인간의 피드백을 통해 에이전트가 지속적으로 학습한다는 데 있습니다. 검토자가 에이전트의 결정에 동의하거나 반대한 이유를 명확히 기록하면 시스템이 이를 학습 데이터로 활용합니다. 시간이 지나면서 에이전트는 유사한 상황에서 점점 더 정확한 결정을 내릴 수 있게 됩니다. 결과적으로 인간의 개입이 점진적으로 감소하지만 품질은 유지됩니다.
이상 탐지 피드백도 중요합니다. 검토자가 "이 결정은 평소 패턴과 다르다"고 지적하면 시스템이 이를 기억합니다. 나중에 유사한 상황이 나타나면 자동으로 주의할 수 있습니다. 규칙 개선으로의 반영도 이루어져야 합니다. 검토자들의 피드백을 주기적으로 분석하여 "향후 이런 경우는 자동으로 거절하자" 같은 새로운 규칙을 추가할 수 있습니다.
검토자가 빠르고 정확하게 의사결정을 할 수 있는 인터페이스가 필수적입니다. 정보 제시의 구조화는 매우 중요합니다. 검토자가 여러 페이지를 넘기지 않고도 핵심 정보를 한눈에 파악할 수 있어야 합니다. 거래 검토라면 "거래액, 고객 신용도, 평소 거래액 범위, 유사 거래의 승인 여부" 같은 비교 가능한 정보들이 나란히 표시되어야 합니다.
의사결정 근거의 시각화도 도움이 됩니다. 에이전트가 "왜 이렇게 결정했는가"를 텍스트로 설명하는 것보다 차트나 하이라이트로 시각화하면 이해가 빠릅니다. 빠른 작업 흐름도 필수적입니다. 검토자가 마우스 클릭 한두 번으로 승인 또는 거절을 수행할 수 있어야 하며, 추가 의견 입력은 선택사항으로 만들어 거절 사항 없이 빠르게 진행할 수 있도록 합니다.
HITL 시스템이 검토자에게 과도한 업무를 부과하면 안 됩니다. 스마트 라우팅을 통해 각 검토자가 자신의 전문 영역의 작업만 받도록 배치합니다. 재무 거래는 재무팀으로, 기술적 문제는 기술팀으로 자동으로 할당됩니다.
우선순위 지정도 중요합니다. 긴급하거나 고위험의 작업은 맨 먼저 표시되고 검토자의 주의를 받습니다. 반복적이고 위험도 낮은 작업은 뒤에 배치되어 검토자가 진정 중요한 판단에 집중할 수 있습니다. 검토 시간 추적을 통해 병목 지점을 파악합니다. 특정 유형의 작업에 소요되는 시간이 너무 길다면 자동화 범위를 확대하거나 프로세스를 간소화할 수 있습니다.
HITL 시스템의 성과를 정량적으로 추적해야 개선 방향을 결정할 수 있습니다.
처리 시간을 측정합니다. 에이전트가 작업을 완료한 후 인간이 검토하는 데 걸리는 시간, 전체 처리 시간을 추적합니다. 시간이 점점 단축되는 추세를 보인다면 검토자들이 에이전트를 신뢰하게 되었다는 신호입니다. 승인율도 중요한 지표입니다. 에이전트의 제안이 90% 이상 승인된다면 검토자들이 에이전트를 신뢰하고 있다는 의미입니다. 반대로 승인율이 50% 미만이면 에이전트의 제안 품질이 떨어지고 있다는 신호입니다.
거부 이유의 분류를 통해 에이전트의 약점을 파악합니다. "거부 이유: 정책 위반" 같은 구체적 카테고리로 분류하면 에이전트가 어떤 부분을 개선해야 하는가가 명확합니다. 품질 지표도 추적합니다. 최종 결과물이 조직의 기준을 충족하는가, 고객 만족도는 어떤가를 정기적으로 평가합니다.
시간이 지나면서 에이전트의 성능이 향상되므로 자동화 수준도 조정되어야 합니다. 정기적인 성능 평가를 통해 에이전트가 얼마나 신뢰할 수 있는가를 재평가합니다. 에이전트의 정확도가 95%를 넘게 되면 현재의 개입 지점을 재검토하여 자동화 범위를 확대할 수 있습니다.
머신러닝 기법의 도입으로 시간이 지남에 따라 에이전트가 자동으로 개선됩니다. 검토자의 피드백을 지속적으로 학습하는 에이전트는 점점 더 정확한 제안을 제시하게 되므로 인간의 개입이 자연스럽게 감소합니다. 새로운 위협의 출현에도 대응해야 합니다. 사기 거래가 증가하거나 새로운 정책이 도입되면 에이전트의 개입 지점을 다시 조정해야 합니다.
.svg)
.svg)
