Stable Audio 快速上手教程

是什么

Stable Audio 是 Stability AI 开源的音频生成模型训练与推理工具库（GitHub: Stability-AI/stable-audio-tools）。它基于 PyTorch 构建，支持 Flash Attention 和 Flex Attention 加速，使用 PyTorch Lightning 实现多 GPU/多节点训练。项目采用 uv 进行依赖管理，开发环境基于 Python 3.10。

能干什么

• 训练自定义音频生成模型：支持从零训练或微调预训练模型
• 推理生成音频：加载预训练模型直接生成音频内容
• 模型解包：将训练时包含优化器状态等额外信息的"包装"检查点，提取为纯模型文件
• Gradio 交互界面：提供 Web 界面进行模型测试和演示

怎么装

基础安装（仅推理）

git clone https://github.com/Stability-AI/stable-audio-tools.git
cd stable-audio-tools
uv sync

训练环境安装

uv sync --extra train

完整安装（训练 + UI）

uv sync --extra train --extra ui

使用 pip 安装

pip install "stable-audio-tools[train]"

注意：建议安装 Flash Attention 以获得更好性能，可在 uv sync 后参考其官方文档安装。

怎么用第一个例子

启动 Gradio 交互界面

以 stable-audio-open-1.0 模型为例（需先在 Hugging Face 接受模型使用条款）：

python3 ./run_gradio.py --pretrained-name stabilityai/stable-audio-open-1.0

常用参数说明

训练模型

1. 准备配置文件：需要模型配置文件（model config）和数据集配置文件（dataset config）
2. 登录 W&B（用于记录训练日志）：

   wandb login
   

3. 启动训练：

   python3 ./train.py --dataset-config /path/to/dataset/config --model-config /path/to/model/config --name harmonai_train
   

模型解包

训练产生的检查点包含训练包装器（含判别器、EMA 副本、优化器状态等），推理前需解包：

python3 ./unwrap_model.py --model-config /path/to/model/config --ckpt-path /path/to/wrapped/ckpt --name model_unwrap

解包后的模型可用于推理、作为其他模型的预变换模块或进行微调。

微调预训练模型

• 从包装检查点继续训练：--ckpt-path 参数
• 从解包预训练模型开始新训练：--pretrained-ckpt-path 参数

社区资源

• GitHub 仓库：https://github.com/Stability-AI/stable-audio-tools
• 预训练模型：可在 Hugging Face 搜索 stabilityai/stable-audio-open-1.0 等模型
• 配置参考：仓库内提供模型配置和数据集配置的示例文件

翻译整理自 GitHub README，原文：https://github.com/Stability-AI/stable-audio-tools