奇点 AI 索引Qidian AI Index

英文原标题：AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

  • AnyLanguageModel 1.0 正式发布，同时推出 swift-huggingface 1.0 和 swift-xet 1.0；该项目最初是作为 Apple Foundation Models 框架的替代方案，让开发者能自选模型和提供商。
  • 核心 API 保持兼容：只需将 import FoundationModels 改为 import AnyLanguageModel，同一套会话代码即可用于系统模型、通过 llama.cpp/MLX/Core ML 运行的开放权重模型，以及多家托管服务商。
  • 过去一年新增功能包括：所有提供商均支持工具调用和引导生成（含嵌套 @Generable 类型及数组）、支持图像输入，并兼容符合 LanguageModel 协议的模型（含 Core AI 模型）。
  • 托管模型支持范围扩大，涵盖 OpenAI Chat Completions/Responses、Open Responses、Anthropic Messages（含自适应思考）、Google Gemini、Ollama、Private Cloud Compute、Hugging Face Inference Providers 及 OpenRouter 等兼容端点。
  • 托管提供商与本地模型功能对齐，支持引导生成、流式工具调用和 token 用量；推理内容纳入对话记录，切换提供商时自动省略无法重放的推理块；API 密钥改为通过闭包获取，便于使用短期令牌。

关键数据

  • Gemma 4 E2B（GGUF，Q4_0 约 3.4 GB）和 LFM2.5 2.6B（GGUF，Q4_K_M 约 1.7 GB）可在 iPhone 上运行
  • Qwen3.8 27B 的 MLX 4 位版本约 16 GB，需 32 GB 以上内存的 Mac
  • GLM-5.3 的 BF16 版本约 1.5 TB，需四台顶配 Mac Studio
  • AnyLanguageModel 也支持 Linux，同一代码可用于服务器

为什么值得看：它为 Apple 平台开发者提供了统一 API，在本地与托管模型之间灵活切换，降低了集成多种推理后端的复杂度。

站内导航