.svg)
AI 솔루션 문의하기
의료진단을 보조하는 인공지능 모델은 대체로 전체 정확도라는 하나의 숫자로 그 성능을 평가받는 경우가 많지만 이 숫자 하나만으로는 특정 집단에서 성능이 유독 떨어지는 문제를 발견하기 어렵습니다. 학습에 사용된 데이터가 특정 연령대나 특정 신체적 특성을 지닌 환자에게 편중되어 있으면 전체 정확도는 높게 나타나더라도 그 범위를 벗어난 환자에게는 진단 정확도가 크게 떨어지는 편향이 숨어 있을 수 있어 데이터 전반을 나누어 살펴보는 별도의 검수 절차가 반드시 필요합니다. 이러한 편향은 실제로 환자의 건강과 직결되는 문제로 이어질 수 있어 다른 어떤 산업의 인공지능보다도 신중한 검수가 요구됩니다.
이러한 이유로 의료진단 인공지능 개발 과정에서는 모델의 전체적인 성능 지표와는 별개로 학습데이터가 다양한 환자군을 얼마나 고르게 포함하고 있는지를 세밀하게 검수하는 절차가 필수적인 단계로 자리를 잡아가고 있습니다. 검수를 거치지 않은 모델은 특정 집단에게는 신뢰할 수 없는 도구가 될 위험을 안은 채로 현장에 도입될 수 있습니다.
학습데이터에 포함된 환자의 연령과 신체 특성 그리고 기저질환 유무 등이 실제 진료 현장에서 마주치는 환자 구성과 얼마나 유사한지를 점검하는 작업이 편향검수의 기초가 되며 이 점검이 부실하면 이후 발견되는 모든 편향의 원인을 정확히 추적하기 어려워집니다. 특정 연령대의 환자 데이터가 지나치게 많거나 반대로 특정 연령대가 거의 포함되지 않은 경우 그 불균형을 명확한 수치로 확인하는 작업이 우선적으로 이루어져야 합니다.
이러한 점검은 단순히 데이터의 개수를 세는 수준을 넘어 각 집단에서의 진단 난이도와 증상의 표현 방식 차이까지 함께 고려해야 실질적인 의미를 지닙니다.
이렇게 세분화된 측정을 통해 전체 정확도라는 하나의 숫자 뒤에 가려져 있던 특정 집단의 낮은 정확도를 구체적으로 드러낼 수 있으며 이는 편향검수 과정에서 가장 중요하게 다루어지는 절차 가운데 하나입니다.
정확도 격차가 확인되었다고 해서 곧바로 그 원인을 알 수 있는 것은 아니어서 왜 그러한 격차가 발생했는지를 추적하는 심층적인 분석이 함께 이루어져야 합니다.
원인을 정확하게 파악해야 이후 보완 작업이 실제로 효과를 발휘할 수 있어 이 심층 분석 단계는 편향검수 과정에서 가장 많은 전문성을 요구하는 부분이기도 합니다.
편향을 발견하고 그 원인을 해석하는 작업은 데이터 분석 기술만으로는 완결되기 어려워 해당 질환을 실제로 다루어 온 임상 전문가의 판단이 함께 결합되어야 정확한 해석이 가능해집니다. 특정 집단에서 나타나는 낮은 정확도가 데이터의 문제인지 아니면 해당 집단에서 질환이 실제로 다르게 나타나는 임상적 특성 때문인지를 구분하는 데는 전문가의 경험이 필수적으로 요구됩니다.
편향검수를 한 차례 진행했다고 해서 문제가 완전히 해결되는 것은 아니며 새로운 데이터가 계속 추가되고 모델이 갱신되는 과정에서 이전에는 없었던 편향이 새롭게 나타날 수 있어 정기적인 재검수가 함께 이루어져야 합니다. 의료 현장의 환자 구성이나 진단 기준이 시간에 따라 변화할 수 있는 만큼 한 번의 검수 결과에 안주하지 않는 지속적인 점검이 필요합니다.
편향검수의 결과를 개발사 내부에만 보관하지 않고 의료기관이나 규제 기관에 투명하게 공개하면 외부의 검증을 통해 내부에서 미처 발견하지 못한 문제까지 함께 짚어낼 수 있는 기회가 마련됩니다. 검수 결과를 숨기기보다 공개적으로 다루는 문화가 자리를 잡을수록 특정 집단에서 성능이 떨어지는 모델이 충분한 점검 없이 현장에 도입되는 상황을 줄일 수 있습니다.
전체 정확도라는 하나의 숫자는 깔끔하고 설득력 있어 보이지만, 그 숫자 뒤에는 진단이 유독 어려웠던 누군가와 유독 정확했던 누군가가 함께 섞여 있습니다. 편향검수라는 작업은 결국 그 숫자를 다시 여러 조각으로 나누어, 어느 조각이 유독 얇은지를 확인하는 일에 가깝습니다. 완벽하게 고른 정확도란 어쩌면 도달하기 어려운 목표일 수 있지만, 그 얇은 조각을 찾아내려는 노력이야말로 이 기술이 더 많은 사람에게 공평한 진단을 건넬 수 있는 길입니다.
.svg)
.svg)
