.svg)
AI 솔루션 문의하기
딥페이크는 인공지능이 많은 얼굴 사진과 영상을 학습한 뒤, 그 특징을 바탕으로 새로운 얼굴을 만들거나 기존 영상 속 얼굴을 바꾸는 방식으로 만들어집니다. 만드는 방식은 크게 네 가지로 나뉩니다. 처음부터 존재하지 않는 얼굴을 그려내는 GAN과 디퓨전 모델, 영상 속 인물의 얼굴만 다른 사람으로 바꾸는 얼굴 교체, 그리고 입 모양만 바꿔 다른 말을 하는 것처럼 보이게 하는 립싱크입니다.
방식마다 얼굴을 만드는 과정이 다르기 때문에, 결과물에 남는 흔적도 서로 다릅니다. 얼굴 전체를 새로 그리는 방식은 이미지의 미세한 질감과 패턴에 흔적이 남고, 얼굴의 일부만 바꾸는 방식은 원본과 합성한 부분이 만나는 경계에 흔적이 남는 경우가 많습니다. 딥페이크를 탐지한다는 것은 결국 이 흔적을 찾아내는 일이며, 어떤 방식으로 만들어졌는지 알면 어디를 봐야 하는지도 분명해집니다.
GAN은 가짜를 만드는 생성 모델과 진짜인지 가려내는 판별 모델이 서로 경쟁하며 학습하는 구조입니다. 판별 모델을 속일 만큼 정교한 얼굴을 만들어 내지만, 이미지를 작은 크기에서 큰 크기로 키워 가며 그리는 과정에서 특유의 흔적이 남는 경우가 많습니다.
이런 흔적은 사진 한 장만 봐서는 사람이 알아차리기 어렵고, 확대하거나 이미지를 분석해야 드러나는 경우가 대부분입니다. 그래서 비대면 본인확인처럼 얼굴 사진 한 장으로 판단하는 과정에서는 사람의 눈보다 분석 단계가 중요해집니다.
디퓨전 모델은 이미지에 노이즈를 조금씩 더했다가, 그 노이즈를 단계적으로 걷어 내는 과정을 학습해 새 이미지를 만드는 방식입니다. GAN보다 자연스럽고 다양한 얼굴을 만들 수 있어, 최근 생성되는 합성 얼굴의 상당수가 이 방식으로 만들어집니다.
디퓨전 모델로 만든 얼굴은 GAN의 격자 패턴 같은 뚜렷한 흔적이 적은 대신, 피부가 지나치게 매끈하고 모공이나 잔주름 같은 미세한 질감이 고르게 사라지는 경향이 있습니다. 실제 카메라로 찍은 사진에는 센서에서 생기는 고유한 노이즈가 남는데, 생성 이미지에는 이런 노이즈가 없거나 이미지 전체에 너무 균일하게 퍼져 있는 경우가 많습니다. 손가락, 귀, 배경 속 글자처럼 구조가 복잡한 부분에서 형태가 어긋나는 것도 자주 나타나는 흔적입니다.
비대면 본인확인에서 합성 얼굴을 막으려면 촬영된 얼굴이 실제 사람인지와 신분증의 주인이 맞는지를 함께 확인해야 합니다. 알체라 eKYC는 촬영된 얼굴의 위변조 여부를 먼저 판별한 뒤 신분증 사진과 매칭하여 동일인 여부를 확인하며, 신분증 사본판별을 통해 화면이나 출력물로 제시된 신분증도 함께 가려낼 수 있습니다.
얼굴 교체는 원래 영상 속 인물의 표정과 움직임은 그대로 두고 얼굴만 다른 사람으로 바꾸는 방식입니다. 얼굴 영역만 새로 합성해 원본 영상에 붙이기 때문에, 합성한 얼굴과 원래 목·머리카락·배경이 만나는 경계에 흔적이 남기 쉽습니다.
립싱크는 얼굴 전체가 아니라 입 주변만 바꿔 다른 말을 하는 것처럼 보이게 만듭니다. 그래서 입 주변의 해상도나 선명도가 얼굴의 다른 부분과 다르거나, 치아가 흐릿하게 뭉개지는 흔적이 남습니다. 'ㅂ', 'ㅁ'처럼 입술이 닫혀야 하는 발음에서 입이 제대로 닫히지 않는 것도 대표적인 단서입니다.
얼굴 교체와 립싱크는 실시간으로 처리하는 도구가 늘면서 영상 통화나 화상 인증에서도 쓰이고 있습니다. 실시간 합성은 처리 시간이 짧아 정교함이 떨어지는 만큼, 고개를 크게 돌리거나 손으로 얼굴 일부를 가리는 순간에 경계가 깨지는 흔적이 더 자주 나타납니다. 다만 이런 동작을 따라 하는지만 확인하는 방식은 합성 기술이 좋아질수록 한계가 있어, 다른 단계와 함께 써야 합니다.
흔적이 나타나는 위치가 방식마다 다르기 때문에, 탐지도 한 가지 방법이 아니라 여러 단계를 겹쳐서 진행합니다.
단계마다 잡아내는 흔적이 다르기 때문에 어느 한 단계만 강하게 만드는 것보다 단계 사이의 빈틈을 줄이는 것이 중요합니다. 예를 들어 촬영 단계를 통과한 합성 영상도 신분증 사진과의 대조에서 걸러질 수 있고, 신분증 사진까지 합성한 경우에는 신분증 사본판별과 진위 확인 단계가 다시 한 번 걸러냅니다.
생성 기술은 빠르게 발전하고 있어, 오늘 뚜렷하게 보이는 흔적이 다음 세대 모델에서는 사라질 수 있습니다. GAN의 격자 패턴이 알려지자 이를 줄이는 기법이 나왔고, 디퓨전 모델은 처음부터 이런 패턴을 거의 남기지 않습니다. 특정 흔적 하나에만 의존하는 탐지는 새로운 생성 방식 앞에서 쉽게 무력해질 수 있으므로, 탐지 기준을 정기적으로 다시 점검하는 운영 체계가 함께 필요합니다.
실제 서비스 환경도 흔적을 지웁니다. 메신저로 전송하거나 화상 통화를 거치며 영상이 압축되면 미세한 패턴과 질감 정보가 함께 사라지고, 어두운 조명이나 저화질 카메라에서는 실제 얼굴도 흔적이 있는 것처럼 보이기도 합니다. 그래서 기업의 얼굴 인증은 흔적 분석에만 기대지 않고, 촬영 단계의 위변조 탐지, 신분증 진위 확인, 계좌 인증처럼 서로 다른 확인 수단을 함께 두어 하나가 뚫려도 다음 단계에서 걸러지도록 설계하는 것이 좋습니다.
.png)
.svg)
.svg)
