新浪科技10月23日下午消息，智源研究院近日宣布原生多模态世界模型Emu3发布。该模型实现了视频、图像、文本三种模态的统一理解与生成。据悉，Emu3只基于下一个token预测，无需扩散模型或组合式方法，便能把图像、文本和视频编码为一个离散空间，在多模态混合序列上从头开始联合训练一个Transformer，展现了其在大规模训练和推理上的潜力。
在图像生成、视觉语言理解、视频生成任务中，Emu3的表现超过了 SDXL 、LLaVA-1.6、OpenSora等知名开源模型。在图像生成任务中，人类评估得分Emu3高于SD-1.5与SDXL；在视觉语言理解任务中，12 项基准测试的平均得分，Emu3领先于LlaVA-1.6与LlaVA-1.5；在视频生成任务中，VBench基准测试得分，Emu3优于OpenSora 1.2。
目前，智源研究院已将Emu3的关键技术和模型开源至国际技术社区。相关技术从业者表示：“对于研究人员来说，Emu3意味着出现了一个新的机会，可以通过统一的架构探索多模态，无需将复杂的扩散模型与大语言模型相结合。这种方法类似于transformer在视觉相关任务中的变革性影响。”（文猛《可以在手机上买足球彩票》）
责任编辑：刘万里 SF014
