英文原标题:LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- LLMON(LLM Object Notation)是一种面向LLM的原生标记语言,通过保留特殊token作为结构分隔符,显式标注上下文中的语义组件(如指令、数据、要求),并利用唯一ID将指令绑定到其作用的数据上。
- IBM基于Granite 4.1基础模型发布了两个实验性预览模型:granite-4.1-3b-LLMON-preview和granite-4.1-8b-LLMON-preview,同时开源了GitHub仓库,包含LLMON工具包、工作流示例和模板。
- LLMON通过指令与数据的显式分离,显著提升了对间接提示注入的防御能力。在OPI基准测试中,LLMON模型几乎消除了此类攻击,相比最佳前沿模型多抵御47%的攻击,相比最佳开源模型多抵御95%。
- LLMON不替代聊天模板,而是对其增强:在消息中可标记各部分的exec属性,exec为True的部分会被绑定到exec块中,明确指定要执行的指令及其操作的数据,而常规模板会将所有组件扁平化为单一字符串。
- JSON因分词器不遵循语法、结构token与内容token重叠、嵌套依赖括号计数等问题不适合LLM直接消化;LLMON使用保留特殊token作为结构分隔符,使结构与内容使用不同的词汇表部分,并提供无损的JSON与LLMON互转工具。
关键数据
- granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview 两个实验性预览模型
- 在OPI基准测试中,LLMON避免的攻击比最佳前沿模型多47%,比最佳开源模型多95%
- 块ID为两个字符,来自固定集合,分词器将其编码为单个token,因此寻址一个块始终花费两个token
为什么值得看:LLMON为LLM提供了一种显式结构化的上下文表示方法,在保持通用能力的同时大幅降低间接提示注入风险,并提供了与现有JSON管道兼容的迁移工具。