GPT-4oは、OpenAIが2024年5月に発表したフラッグシップのマルチモーダルモデルで、テキスト・画像・音声の入出力に対応できる。「万能」モデルとして設計されており、テキスト・音声・画像・動画を任意の組み合わせで入力し、テキスト・音声・画像を生成する。このマルチモーダル能力と統一トークン化手法により、GPT-4oは画像生成で特にすぐれた性能を発揮する。本レポートでは、ユーザーから提供された情報をもとに、GPT-4oの画像生成メカニズムを分析し、Meta Chameleonモデルと対比しながら、その利点と潜在的な影響を検討する。
GPT-4oのマルチモーダルアーキテクチャ
GPT-4o System Cardによると、GPT-4oは自己回帰型の万能モデルで、テキスト・視覚・音声を単一のニューラルネットワークで処理し、エンドツーエンドで学習する。つまり、すべての入力と出力が同じニューラルネットワークで処理される。それまでのモデル（GPT-4 Turboなど）では、異なるモーダルを別々のモデルで処理する必要があった。GPT-4 TurboはDALL-E 3モデルと接続して画像を生成していたのに対し、GPT-4oは画像をネイティブに生成できる。
このアーキテクチャの効率は、速度とコストの两个方面に表れる。OpenAIの主張では、GPT-4oはGPT-4 Turboの2倍の速さでAPIを利用でき、コストは50%低い。100万トークンあたりの入力・出力トークン価格は、入力5米ドル、出力15米ドルだ（GPT-4oとは？ | IBM）。
画像生成における統一トークン化手法
ユーザーが言及したMeta Chameleonモデルでは、VQGANを使って画像をトークンに変換し、テキスト・音声のトークンと同じ辞書に統合している。この共通化が「ネイティブ」な特性の根拠になる。研究によると、GPT-4oも同様の手法を採っている可能性が高いが、具体的な詳細はまだ公開されていない。
「画像1枚に170トークンの価値：GPT-4oは画像をどうエンコードするのか」によると、GPT-4oでは512x512の画像タイルごとに170トークン分の処理コストが発生する。これは、画像をタイルに分割し、トークン列としてエンコードしていることを示唆する。推測する限り、VQ-VAEに似た手法で画像を離散トークンに圧縮し、transformerモデルがそのトークンを予測していると考えられる。
この統一トークン化では、画像生成もテキスト生成と同じく、次のトークンを予測する方式になる。ユーザーが挙げた「トークン化できるものなら強化学習に使える」という考えも当てはまる。すべてのモーダルが同じトークン辞書を共有しているため、画像生成に対する強化学習を用いたファインチューニングが可能になる。たとえば、テキスト生成のファインチューニングと同様、モデルがユーザーのフィードバックをもとに画像生成の品質を最適化できる。
Meta Chameleonモデルとの比較
Meta ChameleonモデルはMeta AIが開発したもので、早期融合の手法により画像・テキスト・コードを離散トークンとして表現し、統一されたtransformerアーキテクチャでエンドツーエンドに学習する（Meta、最先端のマルチモーダルモデルChameleonを発表 | VentureBeat）。「Chameleon：混合モーダル早期融合基盤モデル」によると、約10兆トークン規模の混合モーダルデータで訓練され、画像キャプション生成や視覚質問応答で特に高い性能を示した。
統一トークン化手法の類似性が、ユーザーが言及した「ネイティブ」な特徴を説明している可能性がある。「GPT-4oのすべて：OpenAI最新のマルチモーダルモデル」によると、GPT-4oとChameleonはいずれも最新世代のマルチモーダルモデルで、あらゆるメディアに対応する汎用性を重視している。開発者はこれらを活用し、革新的なアプリケーションを構築できる。
優位性の分析
統一トークン化手法の利点は次の点にある。
クロスモーダル強化学習：すべてのデータ表現が同じトークン辞書を使うため、強化学習をテキスト・画像・音声に統一して適用できる。たとえば、テキスト生成のファインチューニングと同様、モデルがユーザーのフィードバックをもとに画像生成の品質を最適化できる。
統一された推論能力：モデルが複数のモーダルをシームレスに統合し、推論と生成を行える。たとえば、テキストプロンプトから画像を生成したり、画像からテキスト説明を生成したりでき、複雑なタスクでの性能が向上する。
効率とコスト：すべての処理を単一モデルで賄うため、複数のモデルに依存するシステムより効率的だ。「GPT-4o：総合ガイドと解説」によると、GPT-4oはGPT-4 Turboより2倍速く、コストは50%低く、毎分処理できるトークン上限は5倍に達している。
制限と今後の展望
統一トークン化手法には大きな利点がある一方、課題も残る。たとえば、「大規模言語モデルのトークナイザバイアス：GPT-4oに関するケーススタディと解決策」によると、トークン化のプロセスが中国語や韓国語などの英語以外の言語では十分に機能せず、ハルシネーションを伴う応答につながる可能性が示されている。また、画像のトークン化の具体的な仕組み（VQ-VAEの詳細など）はまだ完全には公開されておらず、研究者がその性能を深く分析する上で制約になっている可能性がある。
今後、GPT-4oでは画像生成品質がさらに最適化され、特に高解像度画像や複雑なシーンの生成で改善が見込まれる。また、クロスモーダル推論能力の強化は、リアルタイムのマルチモーダルインタラクションや生成AIによるコンテンツ制作など、より革新的アプリケーションの登場を後押しする可能性がある。
GPT-4oの画像生成は統一トークン化手法に基づいており、画像は、テキスト・音声と同じトークン辞書を使うトークン列として表現される。この方法はMeta Chameleonモデルに似ており、モデルが画像トークンを予測して画像を生成できる。これにより、クロスモーダル推論能力と強化学習能力が高まる。具体的なメカニズムはまだ完全には公開されていないが、その効率性と柔軟性から、マルチモーダルAI分野で先頭をリードするモデルとなっている。