1. 핵심 문제와 연구 목표

시각-언어 다중 모달 작업(예: 시각 질답(VQA))에서 순수 시각 SSL의 성능은 왜 언어 지도 방식의 CLIP 모델보다 계속 낮은가? 이 격차는 언어 지도가 제공하는 의미론적 우위 때문인가, 아니면 두 방식의 학습 데이터가 달라서인가? 학습 데이터 변수를 통제해 시각 SSL과 CLIP을 완전히 동일한 MetaCLIP 데이터로 학습시키고 모델 크기도 확장한다면, 순수 시각 방식은 이 격차를 메울 수 있을까? 심지어 CLIP의 성능을 넘어설 수 있을까?

2. 사전 지식

CLIP 대조 학습

CLIP: 텍스트와 이미지 연결하기 | OpenAI CLIP은 OpenAI가 제안한 다중 모달 사전 학습 모델로, 대조 학습을 통해 이미지와 텍스트의 표현을 정렬한다. 핵심 가정은 일치하는 이미지-텍스트 쌍은 특징 공간에서 서로 가까워야 하고, 일치하지 않는 쌍은 멀어져야 한다는 것이다.

SSL 자기 지도 학습

MAE(마스킹 오토인코더)와 SimCLR(표현의 단순 대조 학습)은 각각 생성형 방식과 대조형 방식에 기반한 대표적인 자기 지도 학습 프레임워크로, 데이터의 일반적인 표현을 학습하는 데 사용된다.

--- [2111.06377] 마스킹된 오토인코더는 확장 가능한 비전 학습 모델이다 arxiv.org/pdf/2002.05709

1. MAE(마스킹 오토인코더)

• 핵심 아이디어: 입력 데이터(예: 이미지의 일부 픽셀이나 텍스트의 토큰)를 무작위로 마스킹한 뒤, 모델이 마스킹된 부분을 재구성하도록 학습해 데이터의 잠재 표현을 익히게 한다.
• 특징:
  • 비대칭 구조: 인코더(예: ViT)는 마스킹된 입력을 처리하고, 경량 디코더는 원본 데이터를 재구성한다.
  • 효율성: 높은 마스킹 비율(예: 75%)은 모델이 지역적인 세부 정보보다 높은 수준의 의미를 학습하도록 유도한다.
  • 생성형 방법: 픽셀 수준의 재구성 작업(예: MSE 손실)을 통해 표현 학습을 유도한다.
• 적용: 컴퓨터 비전(ViT 아키텍처), 자연어 처리(BERT 유사 사전 학습).
• 장점: 데이터가 부족한 상황에 적합하고 마스킹에 강건하지만, 재구성 작업이 불필요한 세부 정보를 포함할 수 있다. 2. SimCLR(단순 대조 학습)
• 핵심 아이디어: 동일한 샘플의 서로 다른 증강 뷰(예: 크롭, 색상 변환)는 서로 가깝게, 다른 샘플의 뷰는 멀게 만들어 불변 특징을 학습한다.
• 특징:
  • 대칭 구조: 두 갈래로 나뉜 네트워크(인코더+투영 헤드)를 사용하고, InfoNCE 손실로 포지티브 쌍의 유사도를 최대화한다.
  • 데이터 증강: 강한 증강(예: 크롭, 색상 지터)을 활용해 포지티브 쌍을 생성한다.
  • 대조형 방법: 픽셀 수준의 재구성보다 샘플 간 상대 관계에 집중한다.
• 적용: 이미지 분류, 탐지·분할 등 하위 작업의 사전 학습.

• 장점: 관점과 외관 변화에 강건하지만, 큰 배치와 많은 네거티브 쌍에 의존하므로 계산 비용이 높다.

  비교 요약

  특성	MAE	SimCLR
  학습 패러디즘	생성형(재구성)	대조형(유사도)
  목적 함수	픽셀 수준의 재구성 손실(예: MSE)	대조 손실(예: InfoNCE)
  데이터 요구량	높은 마스킹률을 처리할 수 있어 소량 배치에 적합	대량의 네거티브 샘플에 의존
  계산 효율성	경량 디코더를 사용해 대규모 사전 학습에 적합	네거티브 샘플 저장에 메모리를 많이 사용함
  적용 분야	이미지, 텍스트	이미지, 음성 등 모달리티

공통점: 둘 다 인공 라벨 없이 자기 지도 학습으로 일반적인 표현을 학습하며, 학습한 표현을 하위 작업에 적용할 수 있다. 어떤 것을 선택할지는 구체적인 사용 사례에 따라 달라진다. MAE는 생성형 작업에, SimCLR는 판별형 작업에 적합하다.

3. 이 논문이 해결하는 문제

이 논문은 시각 자기 지도 학습(SSL)과 다중 모달 대조 학습(예: CLIP) 사이의 성능 격차를 둘러싼 핵심 논쟁을 해소하고, 실험을 통해 동일한 데이터 규모와 모델 용량에서는 순수 시각 SSL이 언어 지도 방식의 CLIP과 맞먹는 성능을 낼 수 있다는 핵심 결론을 검증했다. 이는 “언어 지도가 CLIP의 우위를 설명하는 유일한 원인”이라는 전통적인 가정을 도전했다.

이 연구는 다중 모달 모델링을 위한 사전 학습에 사용되는 시각 표현에도 언어 지도가 필요한지라는 기본적인 질문에서 출발한다. 대규모 시각 자기 지도 학습의 다중 모달 응용에서의 내재적 역량과 한계를 이해하는 것이 목표다.

4. 방법론

논문은 이미지 자기 지도 학습의 스케일링을 상세하게 분석하며, 다섯 가지 질문을 통해 데이터 규모가 증가할 때 이미지 자기 지도 학습도 모델의 표현 성능을 개선할 수 있음을 입증한다.

먼저, 논문은 데이터 규모와 모델 크기라는 두 축에서 각각 스케일링을 수행했다. 모델 크기를 늘린 실험에서는 모델 규모가 커질수록 SSL 모델의 정확도가 CLIP 모델과 견줄 만하다는 점을 확인했다.

[!NOTE] 실험 설정 MC-2B에서 가져온 20억 장의 224×224 해상도 레이블 없는 이미지를 사용해 파라미터 수가 10억에서 70억까지인 DINOv2 ViT 모델을 사전 학습했다. 텍스트 쌍을 사용하는 CLIP 모델과 비교했다.

한편 데이터 규모를 늘리는 실험에서는, 일반 작업과 비전 중심 작업은 20억 장을 넘긴 뒤 추가 이득이 줄어들었지만, OCR과 차트 작업은 계속 개선되어 평균 성능은 안정적으로 향상됐다. 또한 Web-DINO은 학습 샘플 규모가 다르더라도 항상 같은 모델 규모(ViT-7B)의 CLIP 모델보다 우수했다.

논문은 다섯 가지 질문을 제시하고 이에 답했다.

1. 관찰된 스케일링 거동은 다른 시각 SSL 기법에도 일반화되는가?

저자들은 동일한 데이터셋으로 MAE 모델을 학습시켰고, MAE에서도 동일한 스케일링 거동을 관찰했다. 이러한 결과는 VQA 작업에서 관찰된 “스케일링 거동”이 서로 다른 시각 SSL 기법으로 일반화될 수 있음을 보여준다.

2. ImageNet과 같은 비교적 작은 규모의 기존 데이터에서도 시각 SSL은 유사한 스케일링 거동을 보이는가?

ImageNet-1k에서 사전 학습한 모델은 모든 평가 지표에서 일관되게 낮은 성능을 보였다. 또한 MC-2B에서 학습한 모델과 달리 ImageNet-1k에서 학습한 모델은 모델 크기가 증가해도 개선되지 않았다. 이는 더 다양하고 큰 데이터셋에서 시각 자기 지도 학습을 수행하는 것의 중요성을 부각한다. 이는 데이터셋의 크기와 다양성을 늘리는 것이 대형 언어 모델의 스케일링을 뒷받침한다는 최근의 발견과도 맞는다.

3. 스케일링된 모델은 고전적인 비전 작업에서 어떤 성능을 보이는가?

논문은 VQA와 달리 고전적인 비전 작업에서는 스케일링 거동이 덜 뚜렷하게 나타난다고 관찰했다. 이는 시각 SSL에서 비교적 뚜렷한 스케일링 거동을 관찰하려면 다양하고 도전적인 데이터셋이 필요하다는 것을 시사한다.

4. 웹 규모 데이터는 OCR 및 차트 성능을 향상시키는 이유는 무엇인가?

저자들은 데이터셋 규모가 커질수록 시각 SSL 모델의 OCR 및 차트 성능도 크게 향상되며, 심지어 언어 지도 방식으로 학습한 CLIP 모델을 넘어섰다는 점을 발견했다. 저자들은 이 현상에 대해 상세한 실험을 진행했다.

[!NOTE] 실험 설정 선별된 두 데이터셋: (i) 경량 필터: Web-DINO의 50.3%를 유지하며 텍스트 콘텐츠가 하나라도 포함된 이미지를 포함한다. (ii) 중량 필터: MC-2B의 1.3%를 유지하며 차트, 표 또는 문서가 포함된 이미지를 포함한다.

이러한 결과는 텍스트가 더 많이 포함된 이미지로 학습한 자기 지도 시각 모델이 언어 지도 없이도 높은 품질의 텍스트 이해 능력을 개발할 수 있음을 보여준다. 즉, 강력한 OCR 및 차트 이해 능력을 키우는 데 결정적인 것은 단순한 규모나 언어 지도가 아니라 데이터 구성이라는 뜻이다.

OCR 및 차트 데이터에 편향된 데이터가 OCR 및 차트 성능 향상에 유리하다는 것은 놀랍지 않다. 하지만 단순히 필터링한 데이터로 학습한 모델이 전체 데이터에 언어 지도를 적용한 모델을 outperform했다는 점은 놀랍다.

5. 언어 지도 없이도 SSL은 다중 모달 모델링을 위한 강한 시각 표현을 어떻게 학습할 수 있는가?

논문은 모델 규모와 학습한 예시 수가 증가할수록 SSL 모델이 학습하는 특징이 언어와 점점 더 잘 정렬된다고 가정한다. 이를 평가하기 위해 위키백과 캡션 데이터셋의 이미지-텍스트 쌍을 사용해 비전 인코더와 언어 모델 사이의 매칭 지표를 계산하고, 내재적 표현의 정렬 정도를 평가했다. 비전 인코더로는 바로 사용할 수 있는 DINOv2와 Web-DINO를, 언어 모델로는 바로 사용할 수 있는 Llama-3.1 8B 및 70B(Touvron 등, 2023)를 사용했으며, 별도의 비전 인스트럭션 파인튜닝이나 정렬 과정은 수행하지 않았다.

이러한 결과는 모델 규모, 특히 학습 샘플 규모가 확대될수록 시각 모델이 텍스트에 민감한 특징을 자연스럽게 형성하고, 명시적인 언어 지도 없이도 대형 언어 모델 및 다중 모달 작업에서 높은 정렬도를 달성한다는 것을 보여준다.

5. 결론

무감독이면서 언어 주석도 필요 없는 대규모 비전 인코더를 사용하면 다중 모달 모델에 고품질의 시각 특징을 제공할 수 있다. 또한 언어 지도를 포함해 감독을 줄이는 것이 여전히 컴퓨터 비전 분야를 발전시키는 유망한 방향임을 보여준다. 이 연구를 통해 순수 시각 방식에 대한 탐색이 더 촉진되고, 전통적인 비전 작업과 현대적인 다중 모달 능력 모두에서 우수한 차세대 비전 모델을 구축하는 데 도움이 되기를 기대한다.