GPT-4o는 OpenAI가 2024년 5월 출시한 플래그십 멀티모달 모델로, 텍스트·이미지·오디오의 입력과 출력을 처리할 수 있습니다. 모든 입력과 출력을 하나의 네트워크가 처리하도록 설계된 “만능” 모델로, 텍스트·오디오·이미지·비디오 입력을 어떤 방식으로 조합하든 받아들일 수 있으며 텍스트, 오디오, 이미지를 생성합니다. 이러한 멀티모달 성능 덕분에 특히 통합 토큰화 방식을 뒷받침받아 이미지 생성에서 뛰어난 결과를 냅니다. 본 보고서는 사용자가 제공한 정보를 바탕으로 GPT-4o의 이미지 생성 메커니즘을 분석하고, Meta Chameleon 모델과 비교해 그 장점과 잠재적 영향을 살펴봅니다.
GPT-4o의 멀티모달 아키텍처
GPT-4o System Card에 따르면, GPT-4o는 하나의 신경망으로 텍스트·시각·오디오 데이터를 엔드투엔드 학습하는 자기회귀형 만능 모델입니다. 즉, 모든 입력과 출력은 동일한 신경망에서 처리되므로, GPT-4 Turbo와 같은 이전 모델처럼 서로 다른 모달을 처리하기 위해 여러 개의 별도 모델을 연결할 필요가 없습니다. 예를 들어 GPT-4 Turbo는 이미지 생성을 위해 DALL-E 3 모델을 연결해야 했지만, GPT-4o는 이미지를 네이티브로 생성할 수 있습니다.
이 아키텍처의 효율성은 속도와 비용에서 나타납니다. OpenAI는 GPT-4o가 API 사용 시 GPT-4 Turbo보다 두 배 빠르고 비용은 50% 낮으며, 입력·출력 토큰 요금이 각각 백만 토큰당 5달러와 15달러라고/virtual assistant. (What Is GPT-4o? | IBM).
이미지 생성의 통합 토큰화 방식
사용자는 Meta Chameleon 모델이 VQGAN으로 이미지를 토큰으로 변환한 뒤 텍스트·음성 토큰과 동일한 어휘에 통합하는 방식이 “네이티브”로 여겨지는 이유라고 언급했습니다. 연구에 따르면 GPT-4o도 유사한 방식을 사용할 가능성이 있지만 구체적인 세부는 공개되지 않았습니다. A Picture is Worth 170 Tokens: How Does GPT-4o Encode Images?에 따르면 GPT-4o는 512x512 이미지 타일 하나의 처리 비용으로 170개의 토큰을 부과합니다. 이는 이미지가 타일로 분할되어 토큰 시퀀스로 인코딩됨을 시사합니다. VQ-VAE와 유사한 기법으로 이미지를 이산 토큰으로 압축한 뒤 트랜스포머 모델이 이를 예측하는 방식일 수 있습니다.
이 통합 토큰화 방식에서는 텍스트 생성과 마찬가지로 이미지 생성도 다음 토큰을 예측하는 방식으로 이루어집니다. 사용자가 언급한 “토큰으로 표현 가능한 것은 강화 학습이 가능하다”는 방식도 적용됩니다. 모든 모달이 동일한 토큰 어휘를 공유하므로 모델은 이미지 생성에 대해서도 강화 학습을 통해 미세 조정할 수 있습니다. 예를 들어 모델은 텍스트 생성의 미세 조정과 마찬가지로 사용자 피드백을 바탕으로 이미지 생성 품질을 최적화할 수 있습니다.
Meta Chameleon 모델과의 비교
Meta Chameleon 모델은 Meta AI가 개발했으며, 이미지·텍스트·코드를 이산 토큰으로 표현한 뒤 통합된 트랜스포머 아키텍처로 엔드투엔드 학습하는 조기 융합 방식을 채택합니다 (Meta introduces Chameleon, a state-of-the-art multimodal model | VentureBeat). Chameleon: Mixed-Modal Early-Fusion Foundation Models에 따르면 이 모델은 약 10조 토큰 규모의 혼합 모달 데이터로 학습했으며, 특히 이미지 캡셔닝과 시각적 질문 응답에서 뛰어난 성능을 보였습니다.
두 모델의 통합 토큰화 방식이 얼마나 유사한지 보면 사용자가 언급한 “네이티브” 특성을 설명할 수 있습니다. All About GPT-4o, OpenAI's Latest Multimodal Model에 따르면 GPT-4o와 Chameleon은 모두 최신 세대 멀티모달 모델로서 미디어 처리에서의 만능성을 강조하며, 개발자는 이 모델들을 활용해 혁신적인 애플리케이션을 구축할 수 있습니다.
장점 분석
통합 토큰화 방식의 장점은 다음과 같습니다.
모달 간 강화 학습: 모든 데이터 형태가 동일한 토큰 어휘를 공유하므로 텍스트·이미지·오디오에 강화 학습을 일관되게 적용할 수 있습니다. 예를 들어 모델은 텍스트 생성의 미세 조정과 마찬가지로 사용자 피드백을 통해 이미지 생성 품질을 최적화할 수 있습니다.
통합 추론 능력: 모델은 여러 모달을 매끄럽게 결합해 추론하고 생성할 수 있습니다. 예를 들어 텍스트 프롬프트로부터 이미지를 생성하거나 이미지로부터 텍스트 설명을 생성할 수 있으며, 이는 복잡한 작업에서의 성능을 강화합니다.
효율성과 비용: 하나의 모델로 모든 작업을 처리하므로 GPT-4o는 여러 모델에 의존하는 시스템보다 효율적입니다. GPT-4o: The Comprehensive Guide and Explanation에 따르면 GPT-4o는 GPT-4 Turbo보다 두 배 빠르고 비용은 50% 낮으며, 분당 처리 가능한 토큰 수의 상한도 5배로 높아졌습니다.
한계와 향후 방향
통합 토큰화 방식이 뚜렷한 장점을 가져왔지만 과제도 남아 있습니다. 예를 들어 Large Language Model Tokenizer Bias: A Case Study and Solution on GPT-4o에 따르면 토큰화 과정이 비영어 언어(중국어와 한국어 등)에서 성능을 보이지 못해 환각 응답 문제가 발생할 수 있습니다. 또한 이미지 토큰화의 구체적인 메커니즘(예: VQ-VAE의 세부 사항)은 아직 완전히 공개되지 않아 연구자들이 성능을 심층적으로 분석하는 데 제약이 될 수 있습니다.
앞으로 GPT-4o는 특히 고해상도 이미지와 복잡한 장면 생성에서 이미지 생성 품질을 더욱 개선할 수 있습니다. 동시에 모달 간 추론 능력의 강화는 실시간 멀티모달 상호작용과 생성형 AI 콘텐츠 제작 등 더 많은 혁신적인 애플리케이션을 촉진할 수 있습니다.
GPT-4o의 이미지 생성은 통합 토큰화 방식을 기반으로 하며, 이미지는 텍스트·오디오와 공유하는 토큰 시퀀스로 표현됩니다. Meta Chameleon 모델과 유사한 이 방식은 모델이 이미지 토큰을 예측해 이미지를 생성하도록 하여 모달 간 추론과 강화 학습 역량을 강화합니다. 구체적인 메커니즘은 아직 완전히 공개되지 않았지만, 높은 효율성과 유연성 덕분에 멀티모달 AI 분야의 선도 모델으로 자리매김하고 있습니다.