英文原标题:BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model
本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗
- Tether AI Research 发布 BotPsy,一个基于 Qwen3.5-0.8B 构建的 0.8B 参数模型,专为函数调用和智能体工作流设计,适合端侧部署。
- BotPsy 在六项工具使用与智能体基准测试中,性能超越所有测试过的 ≤1.2B 参数模型,并在五项上击败了参数量为其 2.5 倍的 Qwen3.5-2B-Think。
- 相比基座模型,BotPsy 在 BFCL v4、ACEBench 和 τ-bench 上的智能体能力约翻倍,同时 IFEval 从 59.7 提升至 90.8,IFBench 从 22.0 提升至 55.9。
- 在安全性方面,BotPsy 在六类危害的自动化红队测试中不安全响应率为 21%,低于基座模型的 36%;在提示注入攻击下,不安全率从 46% 降至 31%。
- BotPsy 推理更高效,在 GPQA Diamond 上使用的推理 token 约为基座模型的 1/3,重复循环率从 22.9% 降至 1.4%,并将以 Apache 2.0 许可证开源,提供 bf16、Q8、Q4 三种精度。
关键数据
- BFCL v4 从 23.4 升至 44.0,ACEBench 从 30.1 升至 58.7,τ-bench 从 23.2 升至 51.5
- τ²-bench 电信场景得分 82.5,高于 Qwen3.5-2B-Think 的 69.3
- BFCL v4 多轮任务从 7.5 升至 46.1,Qwen3.5-2B-Think 为 23.8
- BFCL v4 幻觉测试得分 86.1,为所有测试模型中最高
- GPQA Diamond 从 33.2 升至 38.1,MMLU-Pro 从 41.6 升至 48.9
- GPQA Diamond 推理 token 3,690 vs 11,563,MMLU-Pro 1,912 vs 5,105
- 32k token 限制触发率从 28.3% 降至 0.2%
引语
- An agent that acts must also know when not to act.
为什么值得看:BotPsy 展示了小参数模型在端侧智能体任务上兼顾性能、隐私与效率的潜力,为替代高成本云端大模型提供了开源选项。