新闻 · The Verge AI
学习使用本地AI既令人兴奋，又令人不知所措和沮丧
我正踏上一段此前一直犹豫不决的旅程：真正开始经常使用AI。将我最私密的数据交给云服务一直是我的一大顾虑，但如今在本地运行强大的模型来了解其能力已越来越可行。这项技术是否真的如此有用……
en
英文原标题：Learning to use local AI is exciting, overwhelming, and frustrating
本文为英文原文的机器翻译摘要，原文见：The Verge AI ↗
- 作者Antonio G. Di Benedetto开始尝试定期使用本地AI，主要动机是避免将个人数据交给云服务，并探索本地运行强大模型的可能性。
- 他在M5 Ultra Mac Studio上安装了开源AI代理桌面应用Hermes Agent，该应用支持macOS、Windows和Linux，使用本地LLM时完全免费。
- 由于Mac Studio拥有256GB统一内存，他选择了1250亿参数的Qwen 3.8 Flash Next模型（约105GB），并计划在M6 Mac Mini、M5 MacBook Air、Asus TUF Gaming A14等设备上测试更小的Qwen模型。
- 他通过Hermes完成了多个任务：创建每日晨间简报（扫描邮件、日历和天气）、整理Steam游戏库（超过400款游戏按类型分类）、分析财务记录和制作笔记本电脑规格对比表。
- 他还在尝试自动化笔记本电脑基准测试脚本，但承认过程困难，且本地模型并非万能助手，每日简报已多次失败。
关键数据
- M5 Ultra Mac Studio拥有256GB统一内存
- Qwen 3.8 Flash Next模型有1250亿参数，大小约105GB
- Steam游戏库有超过400款游戏
- Apple展示的由四台Mac Studio组成的集群价值近5万美元
引语
- “What do I do with this thing?”
- “I don’t want a digital friend.”
为什么值得看：本文以第一人称视角记录了非AI专家使用本地AI工具的真实体验，展示了本地AI在隐私保护和实际任务中的潜力与局限，为考虑尝试本地AI的读者提供了参考。