TorchNeuron：在AWS Trainium上运行HF模型比以往更容易

英文原标题：TorchNeuron: running HF models on AWS Trainium is easier than ever

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• TorchNeuron 是 PyTorch 在 AWS Trainium 上的新原生后端，支持 eager 模式、torch.compile 以及 FSDP、TP 等分布式 API，将于 2026 年 10 月 20 日以公开测试版发布，可通过 pip install torch-neuronx 安装。
• 此前 Hugging Face 在 Trainium/Inferentia 上的体验依赖 optimum-neuron（基于 PyTorch XLA），需要处理惰性张量、静态形状和频繁重编译；TorchNeuron 将 Neuron 变为原生设备，消除了这些复杂性。
• Transformers、Diffusers、Accelerate、PEFT 和 TRL 现在可直接在 Trainium 上运行，使用与其他加速器相同的类和脚本，官方建议 Neuron 用户直接使用这些库而非 Optimum Neuron。
• 在 Transformers 文本生成推理中，TorchNeuron 开箱支持前 100 个最常用文本生成模型架构的 89%，而 Optimum Neuron v0.4.5 为 46%；只需设置 device_map=neuron 即可将模型移至 Neuron 设备。
• 训练方面，标准 TRL 微调脚本只需少量 Neuron 特定设置即可在 Trainium 上运行，并行通过 DistributedConfig 指定 TP/FSDP 大小，由 Transformers 原生处理分片。

关键数据

• 公开测试版发布日期：2026 年 10 月 20 日
• 安装命令：pip install torch-neuronx
• TorchNeuron 支持 89% 的前 100 文本生成模型架构，Optimum Neuron v0.4.5 为 46%
• TRL ≥ 1.16 在 Neuron 上会将批次填充到 128 个 token 的倍数
• 序列长度可达 2048 个 token（使用 wrapped packing）

引语

• pip install torch-neuronx
• device_map=neuron
• HF_DEACTIVATE_ASYNC_LOAD=1

为什么值得看：TorchNeuron 让 Hugging Face 模型在 AWS Trainium 上的推理和训练变得像在其他加速器上一样简单，显著降低了使用门槛并扩大了模型支持范围。