PrismML 希望其微型 LLM 改变我们使用 AI 的方式

英文原标题：PrismML hopes its tiny LLM will change how we all use AI

本文为英文原文的机器翻译摘要，原文见：TechCrunch AI ↗

• PrismML 是一家由 Caltech 研究人员创立、Hassibi 领导的初创公司，专注于将推理型大语言模型压缩到可运行在 PC 和智能手机上的极小体积。
• 该公司发布 Bonsai 2 27B，将阿里开源模型 Qwen3.8 27B 压缩至 5.9 GB，内存占用减少约 9 到 10 倍，且基准测试综合得分达到原模型的 98%。
• 其压缩技术采用“三元”权重，将每个权重从常规 16 位简化为 +1、-1 或 0 三种取值，从而大幅缩小模型体积。
• 首代 Bonsai 于 3 月发布，基准匹配度为 95%，已被下载超 1100 万次，更小的模型另被下载 260 万次，显示压缩效果逐代提升。
• 公司下一步计划将压缩技术应用于数千亿参数级模型，Hassibi 认为模型越大越容易在压缩后保留智能；顾问 Stoica 则强调端侧运行带来的免费与隐私优势。

关键数据

• PrismML 已获得 2225 万美元种子轮融资。
• Bonsai 2 27B 将 Qwen3.8 27B 压缩至 5.9 GB，内存减少 9 到 10 倍。
• Bonsai 2 匹配 Qwen 综合基准得分的 98%，首代 Bonsai 为 95%。
• 首代 Bonsai 下载量超 1100 万次，更小模型下载量 260 万次。
• 投资者包括 Khosla Ventures、Cerberus Capital 和 Caltech。

引语

• “你将在指尖拥有智能，而且它是免费的，因为它运行在你已经购买的设备上。”
• “它也将是私密的，因为你不会把它发送到云端。”

为什么值得看：PrismML 的压缩技术若持续奏效，可能让高性能推理模型直接在个人设备上免费、私密地运行，改变 AI 的使用方式。