通义千问（Qwen）快速上手教程

是什么

通义千问（Qwen）是阿里云开源的大语言模型系列，包含基础语言模型（Qwen）和对话模型（Qwen-Chat）两大类。目前提供四个尺寸版本：1.8B、7B、14B、72B，参数规模从18亿到720亿不等，满足不同场景和硬件需求。

每个版本还提供 Int4 和 Int8 量化版本，可在更低显存下运行。模型已在 Hugging Face 和 ModelScope 平台开源，并发布了配套的技术报告。

⚠️ 注意：该仓库（QwenLM/Qwen）已不再积极维护，最新版本请关注 QwenLM/Qwen2。

能干什么

• 多语言理解与生成：支持中英文等多种语言，预训练数据量高达3万亿 token
• 对话交互：Qwen-Chat 系列专为多轮对话优化，可用于聊天机器人、客服、知识问答等场景
• 代码编写与解释：具备较强的代码理解和生成能力
• 文本创作与摘要：可完成文章写作、翻译、摘要提取等任务
• 量化部署：Int4/Int8 版本大幅降低显存需求，适合个人电脑或边缘设备

怎么装

环境要求

• Python 3.8+
• PyTorch 推荐 1.12 以上
• 建议使用 CUDA 11.4+（GPU 推理）

安装依赖

pip install transformers accelerate

如需使用量化版本，额外安装：

pip install auto-gptq optimum

下载模型（以7B-Chat为例）

国内用户推荐从 ModelScope 下载：

from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen-7B-Chat')

怎么用（第一个例子）

基础对话示例

from transformers import AutoModelForCausalLM, AutoTokenizer
from modelscope import snapshot_download

# 下载并加载模型
model_dir = snapshot_download('qwen/Qwen-7B-Chat')
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    device_map="auto",
    trust_remote_code=True
).eval()

# 对话
response, history = model.chat(tokenizer, "你好，请介绍一下你自己", history=None)
print(response)

多轮对话

history = []
while True:
    query = input("用户：")
    if query == "exit":
        break
    response, history = model.chat(tokenizer, query, history=history)
    print(f"Qwen：{response}")

使用量化版本（节省显存）

# 加载 Int4 版本
model_dir = snapshot_download('qwen/Qwen-7B-Chat-Int4')
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    device_map="auto",
    trust_remote_code=True,
    use_quantization=True
).eval()

社区资源

翻译整理自 GitHub README，原文：https://github.com/QwenLM/Qwen