.svg)
AI 솔루션 문의하기
얼굴인증 AI 모델의 성능은 훈련 단계에서 사용된 데이터셋의 품질에 극도로 좌우됩니다. 정확도 높은 모델도 편향된 데이터로 훈련되면 특정 인구집단에 대해 오류율이 급증할 수 있으며, 반대로 아키텍처가 단순해도 충분히 정제된 데이터로 훈련되면 실무 수준의 성능을 달성할 수 있습니다.
신원확인(eKYC)이나 공항 보안 같은 고위험 시스템에서 얼굴인증의 오류는 단순한 기술 문제를 넘어 사회적 불공정으로 이어질 수 있습니다. 특정 인종이나 연령대에서 인식 오류가 높으면, 그 집단에 속한 사람들이 반복적으로 추가 검증을 받게 되고, 이는 차별로 인식될 수 있습니다. 또한 기업 접근통제 시스템에서 오류가 발생하면, 정당한 직원이 출입 거부되거나 부정 출입자가 통과할 수 있으므로, 훈련 단계의 데이터 품질 관리는 사후 보정보다 훨씬 더 중요합니다.
얼굴인증 모델 훈련용 데이터셋을 구축하려면, 먼저 대규모의 얼굴 이미지를 수집해야 합니다. 이 단계에서부터 품질 기준을 엄격하게 적용해야 합니다.
수집된 이미지는 기술적 요구사항을 충족해야 합니다. 해상도는 최소 96×96 픽셀 이상이어야 하며, 얼굴이 이미지 중앙에 위치하고 충분히 크게 나타나야 합니다. 얼굴이 너무 작거나 화면 가장자리에 위치하면, 모델이 세부 특징을 학습하기 어려워집니다. 또한 이미지의 밝기와 대비도 일정 수준 이상이어야 하므로, 극도로 어두운 이미지나 과도하게 노출된 이미지는 제외됩니다.
이미지의 각도(pose)도 중요한 요소입니다. 정면(0도), 좌측 회전(±15도), 우측 회전(±15도) 같은 다양한 각도의 이미지가 필요합니다. 이렇게 함으로써 모델이 여러 각도에서의 얼굴을 인식할 수 있게 됩니다. 다만 90도 측면 뷰 같은 극단적 각도는 신원확인 실무에서 거의 발생하지 않으므로, 실무 환경을 반영하여 범위를 결정할 수 있습니다.
표정도 다양하게 포함되어야 합니다. 일반 표정, 미소, 심각한 표정 등이 균형 있게 포함될 때, 모델이 다양한 상황에서의 얼굴을 인식할 수 있습니다. 다만 과도하게 변형된 표정(입을 크게 벌린 상태 등)은 신원확인 실무와 거리가 있으므로 제한할 수 있습니다.
조명 조건도 명시적으로 통제됩니다. 자연광, 실내 형광등, LED 조명 같은 다양한 조명 환경의 이미지를 포함합니다. 특히 eKYC나 공항 보안처럼 조명이 통제된 환경에서 사용될 모델이라면, 그 환경의 조명과 유사한 조건의 이미지를 더 많이 포함할 수 있습니다.
안경, 마스크, 모자 같은 얼굴 폐색(occlusion)도 현실적 시나리오에서 중요합니다. 다만 마스크로 인한 폐색 정도를 제어하여, 얼굴 주요 특징(눈, 코, 입)이 어느 정도는 가시적이어야 합니다. 너무 광범위한 폐색은 신원확인 시스템의 신뢰도를 떨어뜨리므로, 실무 기준에 맞춰 조정할 수 있습니다.
얼굴인증 모델의 오류는 특정 인구집단에서 불균형적으로 높을 수 있습니다. 이는 훈련 데이터셋에 특정 인종, 성별, 연령대가 과대 또는 과소 대표되기 때문일 수 있습니다.
예를 들어 훈련 데이터의 80%가 동아시아계 인종이라면, 모델은 동아시아계 얼굴에 최적화되고, 다른 인종의 얼굴에서는 오류율이 높을 가능성이 있습니다. 이를 방지하려면, 훈련 데이터셋을 구성할 때 주요 인종 그룹(동아시아, 동남아시아, 인도, 중동, 아프리카, 유럽, 아메리카 등)이 비슷한 비율로 포함되어야 합니다. 글로벌 신원확인 시스템이라면 각 지역이 15~20% 수준으로 포함될 수 있고, 특정 국가 시스템이라면 해당 국가의 인구 구성에 맞춰 조정할 수 있습니다.
성별 균형도 중요합니다. 훈련 데이터에 남성이 여성보다 훨씬 많으면, 여성 얼굴의 인식 오류가 높아질 수 있습니다. 이상적으로는 50대 50의 비율이 바람직하지만, 수집 과정의 현실적 제약으로 인해 완벽한 균형이 어려울 수 있습니다. 이 경우 데이터 증강(augmentation) 기법을 통해, 부족한 성별의 이미지를 생성하거나 가중치를 조정할 수 있습니다.
연령대의 분포도 고려해야 합니다. 신원확인 시스템의 경우 주로 성인(18~65세)을 대상으로 하지만, 실제로는 미성년자와 고령자도 포함될 수 있습니다. 그러나 극단적 연령대(미성년자, 80세 이상)를 과도하게 포함하면, 일반적인 신원확인 사용자에 대한 성능이 저하될 수 있으므로, 실무 사용자의 연령대 분포에 맞춰 데이터를 구성합니다.
피부색 다양성도 명시적 관리 대상입니다. 동일 인종 내에서도 피부색의 스펙트럼이 넓을 수 있으므로, 밝은 피부, 중간 피부, 어두운 피부가 균형 있게 포함되어야 합니다. 이를 통해 피부색에 따른 인식 오류를 최소화할 수 있습니다.
수집된 이미지가 올바르게 라벨링되지 않으면, 모델은 잘못된 신호를 학습하게 됩니다. 라벨링 오류는 모델의 성능을 크게 손상시킬 수 있으므로, 이 단계의 품질 관리가 매우 중요합니다.
먼저 신원 라벨링을 정확하게 해야 합니다. 각 이미지가 정말로 특정 사람의 얼굴을 나타내는지 확인하고, 여러 사람이 포함된 이미지는 제외합니다. 배경에 다른 사람이 약하게 보이는 이미지도 신원확인에 오류를 줄 수 있으므로, 제거하거나 배경을 제거 처리할 수 있습니다.
인구통계학적 라벨(인종, 성별, 연령대)도 일관되게 적용되어야 합니다. 라벨러(annotator)가 주관적으로 판단할 수 있는 속성이므로, 사전에 명확한 기준을 정하고, 여러 라벨러가 동일한 기준을 따르는지 검증해야 합니다. 예를 들어 성별을 "남성" 또는 "여성"으로만 분류하는 것이 아니라, 더 세분화된 범주를 사용하거나 불확실한 경우를 별도로 표시할 수 있습니다.
이상치(outlier)와 오류 이미지는 적극적으로 제거되어야 합니다. 극도로 손상된 이미지, 얼굴이 심하게 가려진 이미지, 또는 명백히 잘못 라벨링된 이미지는 모델 훈련에서 제외합니다. 이를 위해 자동화된 필터링과 인간 검수를 병행할 수 있습니다. 예를 들어 이미지의 해상도, 얼굴 감지 신뢰도, 라벨 일관성을 자동으로 확인하고, 기준 미충족 이미지는 재검토 대상으로 표시합니다.
라벨러 간 일치도(inter-annotator agreement)도 측정되어야 합니다. 동일 이미지를 여러 라벨러가 라벨링하고 결과를 비교하여, 일치도가 낮은 경우는 재검토합니다. 코헨의 카파(Cohen's Kappa) 같은 통계지표를 사용하여, 라벨링 품질을 정량적으로 평가할 수 있습니다.
수집된 원본 데이터가 완벽히 균형잡혀 있지 않을 가능성이 높습니다. 이를 보정하기 위해 데이터 증강 기법을 사용할 수 있습니다.
기하학적 변환(geometric transformation)을 통해, 기존 이미지로부터 새로운 변형 이미지를 생성합니다. 회전(±10도), 수평 이동, 확대/축소, 기울임(shear) 같은 변환을 적용하여, 원본 이미지의 다양한 뷰를 만들 수 있습니다. 이렇게 함으로써, 충분히 수집되지 않은 각도나 조건의 이미지 부족을 보완할 수 있습니다.
색상 조정(color jittering)은 조명 조건의 다양성을 확대합니다. 밝기, 대비, 채도를 약간씩 변경하여, 다양한 조명 환경을 시뮬레이션합니다. 이를 통해 모델이 조명 변화에 더욱 강건해질 수 있습니다.
합성 데이터(synthetic data) 생성도 고려할 수 있습니다. 3D 얼굴 모델이나 생성형 AI를 사용하여, 실제로 존재하지 않는 가상의 얼굴을 만들 수 있습니다. 특정 인구집단이 부족한 경우, 그 특성을 가진 합성 얼굴을 생성하여 균형을 맞출 수 있습니다. 다만 합성 데이터가 현실과 충분히 유사해야 하므로, 생성 모델의 품질 관리도 필요합니다.
오버샘플링(oversampling)과 언더샘플링(undersampling)도 불균형 시정 방법입니다. 부족한 샘플은 반복 사용하고, 과도한 샘플은 일부를 제거하는 방식입니다. 다만 오버샘플링은 과적합(overfitting) 위험이 있고, 언더샘플링은 정보 손실 위험이 있으므로, 신중한 판단이 필요합니다.
훈련에 사용될 데이터와 모델 평가에 사용될 데이터를 명확히 분리해야 합니다. 같은 사람의 이미지가 훈련과 검증 세트에 모두 포함되면, 모델이 인물을 암기하게 되어 실제 성능을 과대평가할 수 있습니다.
일반적으로 전체 데이터의 70~80%를 훈련에 사용하고, 20~30%를 검증과 테스트에 사용합니다. 다만 신원확인 시스템의 경우, 훈련 세트와 검증 세트에 동일 인물이 포함되지 않도록 엄격히 분리해야 합니다. 예를 들어 특정 인물의 모든 이미지를 훈련 세트에 배치하고, 그 인물의 새로운 이미지를 검증 세트에 배치하는 방식입니다.
또한 테스트 세트는 실제 배포 환경과 유사한 분포를 가져야 합니다. 공항 보안 시스템이라면 공항 환경의 조명과 카메라 각도를 반영한 테스트 이미지를 준비하고, eKYC 시스템이라면 스마트폰으로 촬영된 셀카 이미지를 포함할 수 있습니다. 훈련 환경과 실제 배포 환경의 차이(도메인 시프트)를 최소화하는 것이 중요합니다.
모델을 훈련한 후에는 인구통계학적 집단별로 성능이 균등한지 평가해야 합니다. 단순히 전체 정확도만 측정하면, 특정 집단에서의 오류를 놓칠 수 있습니다.
먼저 각 인종별 정확도를 측정합니다. 예를 들어 전체 정확도가 98%라도, 아프리카계 인구에서는 93%, 동아시아계에서는 99.5%라면, 편향이 존재합니다. 이 경우 최악의 그룹(아프리카계) 성능을 기준으로 모델을 개선해야 할 수 있습니다.
거짓 양성율(False Positive Rate, FPR)과 거짓 음성율(False Negative Rate, FNR)도 집단별로 측정됩니다. 신원확인 시스템에서 거짓 양성(실제로는 다른 사람인데 동일 인물로 인식)은 보안 위협이고, 거짓 음성(실제 본인을 거부)은 사용자 불편입니다. 각 집단에서 이 두 오류율이 유사한지 확인하여, 특정 집단에서 편향적으로 높은 오류가 없는지 검증합니다.
균등 기회(Equalized Odds)는 모든 집단에서 FPR과 FNR이 유사해야 한다는 개념입니다. 이를 달성하기 위해 의사결정 임계값을 집단별로 조정할 수 있지만, 이는 일관성 있는 기준을 훼손할 수 있으므로 신중한 선택이 필요합니다.
모델이 실제 배포 후 특정 상황에서 성능이 저하되면, 원인을 파악하고 개선해야 합니다. 이 과정에서 새로운 데이터를 수집하고 모델을 재훈련할 수 있습니다.
성능 저하의 원인은 다양할 수 있습니다. 예를 들어 겨울철 마스크 사용 증가로 인한 폐색 증가, 새로운 카메라 모델 도입으로 인한 이미지 품질 변화, 또는 새로운 인구집단의 유입 같은 요인입니다. 각 요인별로 추가 데이터를 수집하고, 모델에 점진적으로 학습시키는 방식이 효과적일 수 있습니다.
다만 새로운 데이터로 재훈련할 때는, 기존의 균형이 깨지지 않도록 주의해야 합니다. 예를 들어 특정 환경 조건에서만 성능이 저하되었다면 그 조건의 데이터를 추가하되, 다른 조건의 데이터 비율을 유지해야 합니다. 그렇지 않으면, 한 가지 문제를 해결하면서 다른 문제를 야기할 수 있습니다.
재훈련 후에는 반드시 재검증이 필요합니다. 기존 테스트 세트뿐만 아니라 새롭게 수집된 데이터로도 성능을 평가하여 개선이 실제로 이루어졌는지 확인합니다.
모델이 실제 배포된 후에도 성능 모니터링이 계속되어야 합니다. 훈련 데이터와 실제 사용 데이터 사이의 편차(data drift)가 발생하면, 모델의 성능이 점진적으로 저하될 수 있습니다.
기업 접근통제 시스템이라면 매월 또는 분기별로 특정 인구통계학적 집단의 성공/실패 비율을 모니터링할 수 있습니다. eKYC 시스템이라면 금융감독당국에 정기적으로 인종별, 성별, 연령대별 승인율을 보고하고, 이상 패턴이 있는지 검토합니다. 공항 보안 시스템이라면, 보안 요원의 수동 재검증 빈도를 집단별로 추적하여, 특정 인구집단에서 거짓 양성이 과도하게 높은지 확인할 수 있습니다.
이상 신호가 감지되면 즉시 원인 분석과 대응이 필요합니다. 센서 오류, 환경 변화(카메라 이동, 조명 변경), 또는 모델 성능 저하 중 어느 것이 원인인지 파악하고 필요시 모델을 재훈련하거나 하이퍼파라미터를 조정할 수 있습니다.
.svg)
.svg)
