1、中核的な問題と研究目標

視覚・言語のマルチモーダルタスク（例：視覚質問応答VQA）では、画像のみを使う自己教師あり学習（SSL）は、なぜこれまで言語による教師あり学習を用いたCLIPモデルより性能が劣ってきたのでしょうか。この差は、言語による教師がもたらす意味上の優位性にあるのか、それとも学習データの違いにあるのでしょうか。学習データの条件をそろえ、視覚SSLとCLIPをまったく同じMetaCLIPデータで学習したうえでモデル規模を拡大すれば、画像のみを使う手法は差を埋め、CLIPの性能を上回れるのでしょうか。

2、前提知識

CLIPの対比学習

CLIP: テキストと画像を結ぶ | OpenAI CLIPはOpenAIが提案したマルチモーダル事前学習モデルで、対比学習（Contrastive Learning）によって画像とテキストの表現を整合させる。基本仮説は、一致する画像–テキストの組は特徴空間内で近接し、一致しない組は離れるべきだというもの

SSL自己教師あり学習

MAE（Masked Autoencoder）とSimCLR（Simple Contrastive Learning of Representations）は、広く使われる2つの自己教師あり学習フレームワークで、それぞれ生成型と対比型の手法に基づいてデータの汎用表現を学習する。

--- [2111.06377] マスク付き自動エンコーダはスケーラブルな視覚学習器 arxiv.org/pdf/2002.05709

1. MAE（Masked Autoencoder）

• 核となる考え方：入力データ（画像の一部ピクセルやテキストのトークンなど）をランダムにマスクし、隠された部分を再構築するようモデルを訓練することで、データの潜在表現を学習する。
• 特徴：
  • 非対称な構造：エンコーダ（ViTなど）がマスクされた入力を処理し、軽量なデコーダが元のデータを再構築する。
  • 効率性：高いマスク率（75%など）は、モデルに局所的な細部ではなく高度な意味表現を学習させる。
  • 生成型手法：ピクセル単位の再構築タスク（MSE損失など）を駆動力として表現学習を進める。
• 応用：コンピュータビジョン（ViTアーキテクチャ）、自然言語処理（BERTに似た事前学習）。
• 利点：データが乏しい場面に適し、遮蔽に対して頑健です。ただし、再構築タスクが不要な細部を混入させる可能性があります。 2. SimCLR（Simple Contrastive Learning）
• 考え方：同じサンプルの異なる拡張ビュー（クロップや色変換など）を近づけ、異なるサンプルのビューを遠ざけることで、不変の特徴を学習する。
• 特徴：
  • 対称的な構造：2分岐のネットワーク（エンコーダ＋投影ヘッド）を用い、InfoNCE損失によって正のサンプル対の類似度を最大化する。
  • データ拡張：強い拡張（クロップや色ジッター）を使って正のサンプル対を生成する。
  • 対比型手法：ピクセル単位の再構築ではなく、サンプル間の相対的な関係に着目する。
• 応用：画像分類や、下流タスク（検出、セグメンテーション）のための事前学習。

• 利点：撮影視点や外観の変化に対して頑健です。ただし、大量のバッチと負のサンプル対を必要とするため、計算コストも高くつきます。

  対比まとめ

  特性	MAE	SimCLR
  学習パラダイム	生成型（再構築）	対比型（類似性）
  目的関数	ピクセル単位の再構築損失（MSEなど）	対比損失（InfoNCEなど）
  データ要件	高いマスク率に対応でき、小規模バッチ向き	大批量の負のサンプルが必要
  計算効率	デコーダが軽量で、大規模事前学習向き	負のサンプルを保持する必要があり、メモリ消費が大きい
  適用分野	画像、テキスト	画像、音声などのモダリティ

  共通点：いずれも人手によるアノテーションが不要で、自己教師あり学習によって汎用表現を学び、下流タスクへ転移できます。どちらを選ぶかは利用シーンによる而来ます。MAEは生成型タスク、SimCLRは判別タスクに向いています。

3、本論文で解かれる問題

この論文は、視覚自己教師あり学習（SSL）とマルチモーダル対比学習（CLIPなど）の性能差の根本をめぐる中核的な論争に答え、実験によって重要な結論を検証した。同じデータ規模とモデル容量なら、視覚のみを使うSSLは言語で教師したCLIPに匹敵できる。したがって「言語による教師がCLIPの優位性の唯一の理由である」という従来の仮説に疑義を唱える。

この研究は、マルチモーダルモデリングのために視覚表現を事前学習する際、言語による教師が必要かという基本的な問いを扱い、大規模な視覚自己教師あり学習が多モーダル用途で持つ本質的な能力と限界を理解することを目的としている。

4、方法論

論文では画像自己教師あり学習のスケーリングを詳細に分析し、5つの問いを通じて、データ量の増加に伴ってモデルの表現性能も向上しうることを示している。

まず、論文はデータ量とモデルサイズの2つの軸でそれぞれスケーリングを行った。モデルサイズを拡大すると、SSLで学習したモデルの精度はCLIPモデルに匹敵できることが分かった。

[!NOTE] 実験設定 MC-2Bの20億枚の未ラベル画像（解像度224×224）を使い、10億～70億パラメータのDINOv2 ViTモデルを事前学習した。また、テキストペアで学習したCLIPモデルも用いた。

また、データサイズのスケーリングでは、20億枚を超えると、一般的なタスクや視覚中心タスクでは改善効果が逓減する一方、OCRとチャートタスクでは性能が継続的に向上し、平均性能は着実に上昇した。さらにWeb-DINOは、学習サンプル規模にかかわらず、同規模（ViT-7B）のCLIPモデルを常に上回った。

さらに、論文は5つの問いに答えている。

1、 観察されたスケーリング挙動は他の視覚SSL手法にも一般化するか？

著者は同じデータセットでMAEモデルを学習し、同様のスケーリング挙動を示した。この結果から、VQAタスクで観察された「スケーリング挙動」は、他の視覚SSL手法にも一般化できることが示された。

2、視覚SSLはImageNetのようなより小規模な従来のデータでも同様のスケーリング挙動を示すか？

ImageNet-1kで事前学習したモデルは、すべての指標で一貫して低い性能を示した。また、MC-2Bで学習したモデルとは異なり、ImageNet-1kで学習したモデルは、モデル規模を拡大しても改善しなかった。これは、より多様で大きなデータセットでの視覚自己教師あり学習が重要であることを強調する。これは、データセットの大きさや多様性を増やすことが大規模言語モデルの拡張を推進するという最近の知見とも符合する。

3、規模を拡大したモデルは古典的な視覚タスクでどの程度の性能を示すか？

論文では、VQAの場合と比べて古典的な視覚タスクではスケーリング挙動が目立ちにくいことが確認された。つまり、視覚SSLで良好なスケーリング挙動を観察するには、多様で難易度の高いデータセットが必要となる。

4、ウェブ規模データはなぜOCR＆チャートの性能を向上させるのか？

著者は、データセットの規模を拡大するにつれて、視覚SSLモデルのOCRおよびチャートに対する性能が大きく向上し、言語で教師したCLIPモデルを上回ることを確認した。そのため、この現象について詳細に実験を行った。

[!NOTE] 実験設定 2つの厳選データセット：(i) Light filter：Web-DINOの50.3%を保持し、テキストを一つでも含む画像を収録。(ii) Heavy filter：MC-2Bの1.3%を保持し、チャート、表、または文書を含む画像を収録。

これらの結果は、テキストをより多く含む画像で学習した自己教師あり視覚モデルが、言語による教師なしでも高品質なテキスト理解能力を習得できうることを示している。OCRやチャートの理解力を高めるうえで、単なる規模や言語による教師ではなく、データ構成が重要であることが分かる。

OCRやチャートデータに偏らせることでOCRAやチャート機能が向上するのは予想どおりだ。ただし、単にフィルタリングしたデータだけでも、全データに言語教師を与えたモデルより優れるのは、確かに驚きだ。

5、言語教師なしで、SSLはなぜマルチモーダルモデリングのために強い視覚表現を学習できるのか？

論文では、モデル規模とモデルが見るサンプル数が増えるにつれ、SSLが学習する特徴と言語の整合性が高まる Clusters assumed。内部表現の整合性は、ウィキペディアのキャプション・データセットから得た画像–テキストペアを用い、視覚エンコーダと言語モデルの間のマッチング度を計算して評価した。視覚エンコーダには既存のDINOv2とWeb-DINOを、言語モデルには既存のLlama-3.1 8Bと70B（Touvron et al., 2023）を使用した。視覚指示によるファインチューニングや整合プロセスは一切行っていない。

これらの所見は、モデル規模、特に訓練サンプル規模を拡大すると、視覚モデルがテキストに敏感な特徴を自然に形成し、明示的な言語教師なしでも大型言語モデルやマルチモーダルタスクと高い整合性を実現することを示している。

5、結論

言語アノテーションを必要としない教師なしの大規模視覚エンコーダを使えば、マルチモーダルモデルに高品質な視覚特徴を提供できる。监督の削減――言語による監督を含めて――が、コンピュータビジョンの分野を発展させる有望な方向であることも示された。この研究が、視覚のみを使う手法のさらなる探索を促し、古典的な視覚タスクと現代のマルチモーダル能力の双方で優れた次世代視覚モデルの構築につながれば幸いである。