.svg)
AI 솔루션 문의하기
의료영상 데이터를 전문의의 판독을 거쳐 폭넓게 모았다고 해서, 그 데이터셋 전체가 곧바로 신뢰할 수 있는 상태가 되는 것은 아닙니다. 데이터를 구축하는 작업과 그 데이터가 실제로 믿을 만한지 검증하는 작업은 서로 다른 절차이며, 둘 다 갖춰져야 완성된 학습데이터라고 말할 수 있습니다. 판독이 끝난 데이터 가운데 일부를 무작위로 추려 재검토하고, 원래 라벨과 재검토 결과가 얼마나 일치하는지 수치로 확인하는 절차가 신뢰도 검증의 기본 틀입니다. 데이터 규모가 크다는 사실과 그 데이터가 정확하다는 사실은 전혀 다른 이야기이며, 이 둘을 같은 것으로 여기는 순간 오류가 조용히 쌓여도 알아차리지 못하는 상태에 빠질 수 있습니다.
식품의약품안전처는 인공지능 의료기기를 허가할 때 학습데이터의 품질관리를 주요 평가 항목으로 다루고 있으며, 이 항목에는 데이터의 비식별화 조치와 함께 데이터 자체의 신뢰도를 뒷받침하는 근거도 포함됩니다. 허가 신청 기업은 이 근거를 사전에 준비해 제출해야 합니다. 검증 과정에서 나온 일치도 수치와 오류율, 그 오류를 어떻게 바로잡았는지에 대한 기록을 심사 자료로 활용할 수 있도록 남기는 절차가 필요합니다.
같은 영상을 두고도 검수자마다 판독이 조금씩 갈릴 수 있습니다. 이 차이를 막연히 넘기지 않고 통계적인 지표로 측정해 두면, 데이터셋 전체의 신뢰도를 구체적인 숫자로 설명할 수 있습니다. 여러 검수자가 같은 표본을 각각 판독하게 하고, 그 결과들이 얼마나 일치하는지를 통계적 지표로 계산해 기록하는 절차를 두면 신뢰도를 감으로 판단하지 않고 근거를 갖고 이야기할 수 있습니다. 이 지표가 낮게 나오는 소견이나 부위는 판독 기준 자체를 다시 손봐야 할 신호로 받아들여야 합니다. 지표가 시간이 지나면서 조금씩 낮아지는 추세를 보인다면, 특정 검수자의 피로나 기준 해석의 미묘한 변화가 누적되고 있다는 신호일 수 있어 이 추세 자체를 꾸준히 지켜보는 습관도 필요합니다.
판독 시점에는 여러 전문의가 동의한 소견이라도, 그 진단이 실제 환자의 이후 경과와 맞아떨어지는지는 시간이 지나야 확인할 수 있습니다. 일정 기간이 지난 뒤 환자의 실제 치료 경과나 후속 검사 결과와 원래 라벨을 대조해, 판독 당시의 소견이 실제로 맞았는지 되짚어보는 절차를 두면 전문의 합의만으로는 잡아내기 어려운 오류까지 확인할 수 있습니다. 이 방식은 시간과 자원이 많이 들지만, 라벨의 신뢰도를 가장 근본적인 수준에서 검증하는 방법이기도 합니다. 전문의 여러 명이 합의한 소견이라도 실제 경과와 어긋나는 사례가 확인되면, 그 소견을 판단했던 기준 자체를 의심해 볼 근거가 되므로 이 추적 결과는 판독 가이드라인을 개정하는 논의로 이어지는 경우가 많습니다.
규제당국은 인공지능 의료기기의 데이터 편향을 주요 심사 요소로 다루고 있습니다. 특정 연령대나 성별, 촬영 장비에 편중된 데이터로 학습한 모델은 그렇지 않은 조건에서 정확도가 떨어질 수 있기 때문입니다. 데이터셋을 여러 조건별로 나누어 각 조건에서의 라벨 신뢰도와 모델 성능을 따로 확인하는 절차를 두면, 전체 평균 뒤에 숨어 있는 특정 집단의 편차를 찾아낼 수 있습니다. 전체 데이터셋의 평균 정확도가 높게 나오더라도, 특정 연령대나 특정 장비로 촬영된 하위 집단만 따로 떼어 보면 정확도가 눈에 띄게 떨어지는 경우가 있어 이런 세부 확인 없이는 이 격차 자체를 발견하지 못할 수 있습니다.
검증 과정에서 오류가 발견되면, 그 오류가 데이터셋 전체에 얼마나 퍼져 있는지 함께 살펴야 합니다. 같은 판독자가 같은 방식으로 반복한 실수라면 그 판독자가 작업한 다른 데이터에도 비슷한 오류가 섞여 있을 가능성이 있습니다. 오류가 발견된 판독자나 시기, 장비를 기준으로 관련된 데이터를 함께 추려 재검토하는 절차를 두면 오류 하나를 발견했을 때 그 영향 범위를 정확히 가늠할 수 있습니다.
모델을 재학습하거나 성능을 개선할 때마다 새로운 데이터가 추가되고, 이 새 데이터의 신뢰도도 기존 데이터와 같은 기준으로 검증되어야 합니다. 규제당국 역시 재학습과 성능 변경 과정에서 관련 기준이 상시 유지되도록 요구하고 있습니다. 재학습에 새로 포함되는 데이터에도 동일한 검증 절차를 그대로 적용하고, 이 검증 결과를 기존 데이터의 기록과 함께 누적해 관리하는 절차가 필요합니다.
검증 과정에서 드러난 문제는 그 자체로 끝나지 않고, 다음 판독 작업의 기준을 개선하는 자료로 활용되어야 합니다. 검증에서 반복적으로 발견되는 오류 유형을 정리해, 이후 판독 가이드라인에 구체적인 사례로 반영하는 절차를 두면 검증이 데이터셋의 문제를 짚는 데서 그치지 않고 향후 판독의 정확도를 함께 끌어올리는 역할을 합니다.
같은 사람이 자신이 판독한 데이터를 스스로 검증하면, 처음의 판단을 다시 확인하기보다 그대로 재확인하는 데 그치기 쉽습니다. 최초 판독을 담당한 전문의와 검증을 담당하는 전문의를 서로 다르게 배정해, 검증 결과가 최초 판독의 영향을 받지 않도록 하는 절차가 필요합니다. 이 독립성이 지켜지지 않으면 검증이라는 절차 자체가 형식적인 확인 도장에 그칠 위험이 있습니다.
.svg)
.svg)
