.svg)
AI 솔루션 문의하기
AI 모델의 성능은 사용된 데이터의 품질에 따라 결정됩니다. 좋은 데이터와 나쁜 데이터로 학습한 모델의 성능 차이는 매우 큽니다. 그렇다면 데이터 품질을 어떻게 측정하고 평가할까요. 이 문제에 답하기 위해 객관적인 지표들이 필요합니다. 데이터 품질 평가 지표는 데이터가 실제로 가치 있는지를 판단하는 도구입니다. 조직마다 필요한 지표가 다를 수 있지만 기본적인 평가 체계를 갖추는 것이 중요합니다.
완전성은 데이터셋에서 누락된 값이 얼마나 적은지를 나타냅니다. 누락된 값이 많으면 분석이 불가능할 수 있습니다. 완전성을 측정하는 방식은 다양합니다. 가장 간단한 방식은 전체 셀 중 채워진 셀의 비율을 계산하는 것입니다. 예를 들어 1000개 행과 10개 열로 이루어진 데이터셋에서 9500개의 셀이 채워져 있다면 완전성은 95%입니다. 그러나 모든 누락이 동일하게 문제가 되는 것은 아닙니다. 일부 특성의 누락은 모델 학습에 치명적일 수 있고, 다른 특성의 누락은 무시해도 될 수 있습니다. 따라서 특성별로 완전성을 계산하여 어느 특성이 데이터 품질 문제의 원인인지를 파악하는 것이 효과적입니다.
정확성은 데이터가 실제 현실을 올바르게 반영하는 정도입니다. 데이터가 정확하지 않으면 그로부터 도출된 결론도 신뢰할 수 없습니다. 정확성을 측정하려면 일반적으로 표본 검증을 수행합니다. 데이터의 일정 비율을 무작위로 선택하여 수동으로 검증합니다. 검증 결과 틀린 데이터의 비율을 오류율이라고 하며, 정확성은 100%에서 오류율을 뺀 값입니다. 예를 들어 100개의 샘플을 검증했을 때 5개가 오류라면 오류율은 5%이고 정확성은 95%입니다. 오류의 유형도 중요합니다. 단순 입력 오류는 비교적 쉽게 수정할 수 있지만 논리적 오류나 범주 오류는 더 깊은 검토가 필요합니다.
일관성은 데이터 내에서 논리적 관계가 유지되는 정도입니다. 같은 정보를 나타내는 여러 필드가 서로 모순되지 않아야 합니다. 예를 들어 고객 테이블에서 주민등록번호로 계산한 나이와 나이 필드의 값이 일치해야 합니다. 구매 내역 테이블에서 구매 날짜가 고객의 가입 날짜보다 이전일 수 없습니다. 일관성 지표를 계산하려면 데이터 내의 논리적 규칙을 정의하고 그 규칙을 위반하는 레코드의 비율을 측정합니다. 일관성이 높을수록 데이터의 신뢰도가 높아집니다.
유효성은 데이터가 정의된 범위와 형식 내에 있는지를 나타냅니다. 전화번호는 숫자로만 구성되어야 하고 이메일 주소는 특정 형식을 따라야 하며 나이는 0 이상 150 이하여야 합니다. 유효성 검사는 데이터 타입 검증과 범위 검증으로 나뉩니다. 타입 검증은 필드가 선언된 데이터 타입을 따르는지 확인합니다. 정수 필드에 문자가 들어있거나 날짜 필드의 형식이 잘못되었다면 유효하지 않습니다. 범위 검증은 값이 정의된 범위 내에 있는지 확인합니다. 유효하지 않은 데이터의 비율로 유효성을 평가할 수 있습니다.
중복 데이터는 모델 학습에 부정적인 영향을 미칩니다. 같은 정보가 여러 번 반복되면 모델은 그 정보에 과도하게 가중치를 부여할 수 있습니다. 중복성 지표는 데이터셋에서 완전히 동일한 레코드의 비율입니다. 그러나 정확히 완전히 동일한 레코드만이 중복이 아닙니다. 일부 필드는 동일하지만 식별자는 다른 준(quasi) 중복도 문제가 될 수 있습니다. 예를 들어 고객 이름과 전화번호는 같지만 주소가 약간 다른 두 레코드는 같은 고객을 나타낼 수 있습니다. 이러한 준 중복을 감지하려면 더 정교한 기법이 필요합니다. 문자열 유사도 알고리즘을 사용하여 거의 동일한 레코드를 찾아낼 수 있습니다.
데이터가 얼마나 최신인지를 나타내는 지표입니다. 실시간으로 변하는 데이터는 낡은 데이터보다 훨씬 가치 있습니다. 주식 가격 데이터가 하루 전의 가격이라면 거의 쓸모가 없습니다. 시간성 지표는 데이터의 생성 시간과 현재 시간의 차이로 측정할 수 있습니다. 또한 데이터 업데이트 빈도도 중요합니다. 매일 업데이트되는 데이터와 1년에 한 번 업데이트되는 데이터의 시간성은 크게 다릅니다. 각 특성별로 얼마나 최신 데이터인지를 파악하고 필요에 따라 오래된 데이터를 제거하거나 새로운 데이터를 추가할 수 있습니다.
데이터가 목표 집단을 충분히 대표하는지를 나타냅니다. 학습 데이터의 분포와 실제 데이터의 분포가 다르면 모델의 성능이 저하됩니다. 대표성 지표를 평가하려면 먼저 목표 집단의 특성을 파악해야 합니다. 예를 들어 전체 고객의 성별 비율이 남성 60%, 여성 40%라면 학습 데이터도 비슷한 비율을 가져야 합니다. 연령대, 지역, 수입 수준 등 다양한 특성에 대해 학습 데이터와 실제 모집단의 분포를 비교합니다. 카이제곱 검정이나 다른 통계 검정을 사용하여 분포의 차이가 유의미한지를 판단할 수 있습니다.
데이터에 내재된 사회적 편향의 정도를 측정합니다. 특정 집단을 부정적으로 표현하는 데이터는 모델도 편향된 예측을 하게 됩니다. 예를 들어 대출 승인 데이터에서 특정 인종이 과도하게 거부된 기록이 있다면 이는 데이터에 편향이 있음을 의미합니다. 편향 지표의 계산은 복잡합니다. 먼저 민감한 특성(인종, 성별, 나이 등)을 식별합니다. 그 다음 각 집단에 대한 긍정적 결과의 비율을 계산하고 집단 간 차이를 평가합니다. 공정성 수학 분야에서는 인구통계적 패리티(demographic parity)와 균등 기회(equalized odds) 등 다양한 공정성 지표를 제안했습니다.
데이터의 분포 특성을 평가하는 지표들입니다. 정규성 검정은 데이터가 정규분포를 따르는지 확인합니다. 일부 통계 방법은 정규분포를 가정하므로 이를 검증하는 것이 중요합니다. 왜도(skewness)는 분포의 비대칭 정도를 나타냅니다. 첨도(kurtosis)는 분포의 꼬리 두께를 나타냅니다. 이러한 지표들을 통해 데이터의 분포 형태를 이해하고 이상치를 식별할 수 있습니다. 분포가 극단적으로 비정상적이라면 데이터 전처리가 필요할 수 있습니다.
변수들 간의 관계를 나타냅니다. 높은 상관관계를 가진 변수들이 많으면 데이터의 중복성이 높다는 의미입니다. 예를 들어 키와 몸무게는 높은 상관관계를 가지므로 모델 학습에서 둘 다 사용할 필요는 없을 수 있습니다. 상관 행렬을 계산하여 변수 간 관계를 파악합니다. 다중공선성이 심한 경우 차원 축소 기법을 적용하거나 일부 변수를 제거할 수 있습니다.
비정상적인 값의 비율입니다. 이상치는 측정 오류에서 비롯될 수도 있고 실제 현상을 반영할 수도 있습니다. 이상치를 식별하는 방법은 다양합니다. 사분위수를 기반으로 한 방법은 Q1-1.5×IQR 이하 또는 Q3+1.5×IQR 이상의 값을 이상치로 판정합니다. 표준편차 기반 방법은 평균에서 3 표준편차 이상 벗어난 값을 이상치로 봅니다. 머신러닝 기반 이상치 탐지도 가능합니다. 이상치의 비율과 성질을 파악하여 제거할지 유지할지를 결정해야 합니다.
데이터 자체뿐만 아니라 데이터에 관한 정보의 품질도 평가해야 합니다. 각 필드의 의미가 명확히 문서화되어 있는지 확인합니다. 데이터의 출처가 명시되어 있고 수집 방법이 설명되어 있으며 전처리 과정이 기록되어 있는지 검토합니다. 메타데이터가 불완전하거나 부정확하면 데이터를 올바르게 해석하기 어렵습니다. 메타데이터의 완전성, 정확성, 일관성도 마찬가지로 평가되어야 합니다.
여러 지표를 하나의 종합 점수로 변환하면 데이터 품질을 전체적으로 파악할 수 있습니다. 각 지표에 가중치를 부여하여 종합 점수를 계산합니다. 예를 들어 완전성 30%, 정확성 30%, 일관성 20%, 유효성 20%의 가중치를 부여한다면 종합 점수는 각 지표 값의 가중 평균입니다. 가중치는 특정 용도에 따라 조정할 수 있습니다. 금융 데이터의 경우 정확성에 높은 가중치를 부여하고 실시간 데이터의 경우 시간성에 높은 가중치를 부여할 수 있습니다.
데이터 품질 평가는 점점 더 자동화될 것입니다. 데이터가 입수되는 즉시 자동으로 품질 지표를 계산하고 보고하는 시스템이 표준이 될 것으로 예상됩니다. 머신러닝을 활용하여 이상 데이터를 자동으로 감지하고 분류할 수 있습니다. 또한 데이터 품질과 모델 성능 간의 관계를 더 깊이 있게 이해하는 연구도 진행될 것입니다. 특정 품질 문제가 모델 성능에 어떻게 영향을 미치는지를 정량화할 수 있다면 리소스를 가장 효과적으로 배분할 수 있습니다.
.svg)
.svg)
