新闻 · arXiv cs.AI

面向语言智能的可扩展视觉预训练

大型基础模型主要依靠海量文本语料预训练，但图表、排版公式和页面布局承载的知识无法被纯文本完整保留。本文挑战语言模型必须基于纯文本训练的默认假设，系统研究无需文本提取、直接利用视觉文档的无监督视觉预训练；在多个骨干网络和基准上，相同语料的视觉预训练均优于纯文本方案。