.svg)
AI 솔루션 문의하기
멀티모달 학습은 텍스트, 이미지, 오디오, 비디오 등 여러 종류의 데이터를 함께 활용하여 AI 모델을 학습하는 방식입니다. 현실 세계의 정보는 단일한 형태로 존재하지 않습니다. 뉴스 기사는 텍스트와 사진으로 구성되고, 영상은 화면과 음성 정보를 담고 있습니다. 멀티모달 학습은 이러한 다양한 정보원을 함께 처리하여 더 풍부한 이해를 가능하게 합니다. 각 모달리티가 서로 보완적인 정보를 제공하므로 단일 모달리티만 사용할 때보다 더 정확한 결과를 얻을 수 있습니다.
텍스트 데이터는 언어적 의미를 직접 담고 있습니다. 단어의 순서와 문맥이 중요하며 자연어 처리 기술로 분석됩니다. 텍스트는 상대적으로 저장 공간을 적게 차지하고 다루기 간단합니다. 이미지 데이터는 시각적 정보를 픽셀 형태로 표현합니다. 물체의 형태, 색상, 구조 등을 담고 있으며 컴퓨터 비전 기술로 처리됩니다. 이미지는 많은 정보를 압축된 형태로 전달할 수 있지만 저장 용량이 크고 처리에 더 많은 계산량이 필요합니다. 오디오 데이터는 음성과 음악 정보를 담고 있습니다. 음성 인식, 음성 감정 분석, 음악 분류 등에 활용됩니다. 오디오 신호는 시계열 데이터로 표현되며 특별한 신호 처리 기술이 필요합니다. 비디오 데이터는 시간에 따른 이미지 시퀀스와 오디오를 결합한 형태입니다. 시각과 청각 정보를 동시에 제공하므로 다른 모달리티보다 더 많은 정보를 담고 있습니다.
서로 다른 모달리티의 데이터를 수집하면서 동기화를 맞추는 것이 어렵습니다. 예를 들어 비디오 분석에서 영상과 음성이 정확히 일치해야 하는데, 수집 과정에서 타이밍이 어긋날 수 있습니다. 각 모달리티의 품질 수준이 다를 수 있다는 점도 문제입니다. 이미지는 고해상도이지만 오디오는 낮은 샘플링 레이트로 수집될 수 있습니다. 멀티모달 데이터 수집 비용도 상당합니다. 비디오 데이터는 특히 저장 공간과 처리 비용이 크고, 데이터 라벨링도 더 복잡합니다. 또한 서로 다른 출처에서 수집한 데이터들을 통합하면서 일관성을 유지하기 어렵습니다.
여러 모달리티의 데이터를 함께 활용하려면 시간적 정렬이 필요합니다. 비디오와 오디오의 경우 프레임 레이트와 샘플링 레이트가 다를 수 있으므로 공통된 시간 기준으로 변환해야 합니다. 텍스트와 이미지의 경우 명시적인 시간 정보가 없을 수 있지만, 이미지 캡션 작업에서는 텍스트와 이미지가 동일한 대상을 나타내야 합니다. 센서로부터 수집한 데이터의 경우 각 센서의 클록이 약간씩 다를 수 있으므로 동기화를 위한 타임스탐프 보정이 필요합니다. 동기화 오류가 누적되면 멀티모달 모델이 잘못된 상관관계를 학습할 수 있으므로 정렬 정확성 검증이 중요합니다.
각 모달리티마다 다른 종류의 결함이 발생합니다. 이미지에서는 극단적인 밝기, 초점 오류, 왜곡 같은 시각적 문제가 나타납니다. 오디오에서는 배경 잡음, 음량의 불일치, 녹음 오류가 문제가 될 수 있습니다. 텍스트에는 오타, 문법 오류, 언어가 섞여 있을 수 있습니다. 비디오의 경우 프레임 손상, 음성과 영상의 동기 오류, 일부 프레임의 누락이 발생합니다. 멀티모달 데이터 정제는 각 모달리티에 맞는 방법을 적용하면서도 모달리티 간의 일관성을 유지해야 합니다. 한 모달리티의 데이터가 제거되면 연관된 다른 모달리티의 데이터도 제거되어야 합니다.
멀티모달 데이터의 라벨링은 단일 모달리티보다 복잡합니다. 이미지-캡션 쌍의 경우 이미지에 맞는 정확한 텍스트 설명을 작성해야 합니다. 비디오 분류의 경우 전체 비디오가 어떤 범주에 속하는지, 또는 특정 시간대의 프레임이 특정 행동을 보이는지를 결정해야 합니다. 음성 감정 분석에서는 음성 문맥을 고려하여 감정 라벨을 부여해야 합니다. 멀티모달 객체 탐지는 이미지에서 객체의 위치를 표시하면서 동시에 오디오에서 그 객체에 대한 언급을 추적합니다. 라벨링의 일관성을 위해 명확한 가이드라인과 여러 라벨러의 일치도 검증이 필수적입니다.
멀티모달 데이터셋에서 클래스 불균형이 발생하면 모델이 다수 클래스에 편향됩니다. 비디오 분류에서 특정 행동은 많이 포함되어 있지만 다른 행동은 드물게 나타날 수 있습니다. 이미지-텍스트 쌍에서 어떤 범주의 이미지는 많지만 다른 범주는 적을 수 있습니다. 불균형을 해결하는 방법으로는 오버샘플링으로 소수 클래스 데이터를 더 많이 사용하거나, 언더샘플링으로 다수 클래스를 줄이는 방식이 있습니다. 또는 데이터 증강 기법을 사용하여 소수 클래스의 새로운 샘플을 생성할 수 있습니다. 비디오의 경우 프레임 추출 방식을 조정하거나, 이미지의 경우 회전, 확대, 밝기 조정 같은 변환을 적용할 수 있습니다.
멀티모달 데이터 증강은 모달리티마다 다르게 적용되어야 합니다. 이미지 증강으로는 회전, 좌우 반전, 확대 축소, 밝기 조정, 노이즈 추가 등이 있습니다. 오디오 증강으로는 피치 시프트, 속도 조정, 노이즈 추가, 시간 스트레칭 등이 있습니다. 텍스트 증강으로는 유의어 대체, 단어 순서 변경, 역번역, 백번역 등이 있습니다. 비디오 증강은 이미지 증강 기법을 모든 프레임에 적용하거나, 시간 축에 대한 변환을 추가할 수 있습니다. 멀티모달 증강 시 주의할 점은 모달리티 간의 대응 관계를 유지해야 한다는 것입니다. 이미지를 회전시키면 이에 대응하는 텍스트 캡션도 그에 맞게 수정되어야 합니다.
멀티모달 데이터에서 각 모달리티가 같은 대상을 나타내도록 매칭시키는 것이 중요합니다. 이미지-캡션 데이터에서 각 이미지에 대응하는 캡션을 정확히 지정합니다. 비디오 분석에서 특정 시간대의 영상과 음성이 일치하도록 동기화합니다. 음성 대화 데이터에서 화자의 입모양과 음성이 맞는지 확인합니다. 센서 데이터 융합에서 여러 센서로부터 수집한 정보가 동일한 물리적 현상을 측정하는지 검증합니다. 이러한 대응 관계를 메타데이터로 명확히 기록하면 모델 학습 시 올바른 정렬을 유지할 수 있습니다.
멀티모달 모델을 학습하기 전에 각 모달리티로부터 의미 있는 특성을 추출해야 합니다. 이미지에서는 CNN을 사용하여 시각적 특성을 추출하거나, 사전 학습된 모델에서 특성 벡터를 얻을 수 있습니다. 텍스트에서는 단어 임베딩이나 BERT 같은 언어 모델을 사용하여 의미적 표현을 얻습니다. 오디오에서는 음성의 주파수 특성을 나타내는 멜-스펙트로그램을 추출하거나, 사전 학습된 음성 모델을 활용합니다. 특성 추출 방법을 선택할 때는 모델의 목표 작업과 데이터의 특성을 고려해야 합니다. 특성의 차원과 스케일이 모달리티마다 다르므로, 이를 일관되게 정규화하는 과정도 필요합니다.
서로 다른 모달리티의 특성을 하나의 공간에 정렬해야 모델이 이들 정보를 함께 처리할 수 있습니다. 초기 접근으로는 각 모달리티의 특성을 연결(concatenation)하는 방식이 있습니다. 더 정교한 방법으로는 모달리티 간의 상관관계를 학습하는 교차 모달 주의 메커니즘이 있습니다. 또는 각 모달리티를 공통된 잠재 공간으로 변환하여 비교 가능하게 만듭니다. 모달리티의 중요도가 다르다면 가중치를 부여하여 더 신뢰할 수 있는 모달리티에 더 높은 가중치를 줄 수 있습니다.
멀티모달 데이터셋을 구성할 때 학습, 검증, 테스트 데이터의 분할을 신중하게 해야 합니다. 같은 비디오에서 나온 프레임들이 서로 다른 집합에 분산되지 않도록 주의해야 합니다. 이미지-텍스트 쌍의 경우 같은 대상의 다양한 표현이 모두 포함되도록 합니다. 각 집합이 원본 데이터의 분포를 대표하도록 유지하는 것이 중요합니다. 또한 멀티모달 데이터의 특성상 데이터셋이 매우 클 수 있으므로, 저장 공간과 처리 시간을 고려한 실용적인 크기로 구성합니다.
멀티모달 학습 데이터의 구성은 점점 더 대규모화될 것으로 예상됩니다. 비디오, 이미지, 오디오, 텍스트를 모두 포함하는 대규모 데이터셋이 개발되고 있습니다. 자동 라벨링 기술의 발전으로 수작업 라벨링의 비용이 감소할 것입니다. 또한 합성 데이터 생성 기술을 활용하여 실제 데이터를 보완할 수 있습니다. 멀티모달 모델의 성능 향상에 따라 더 정교한 데이터 구성 전략이 개발될 것으로 예상됩니다. 다양한 분야에서 멀티모달 데이터의 활용이 증가하면서 표준화된 데이터셋 구성 방법론도 정립될 것입니다.
.svg)
.svg)
