ChatGLM-6B 快速上手教程

是什么

ChatGLM-6B 是由智谱AI与清华大学开源的中英双语对话语言模型，基于 General Language Model (GLM) 架构，拥有 62 亿参数。它采用了与 ChatGPT 相似的技术路线，针对中文问答和对话进行了深度优化。

该模型最大的亮点在于低门槛部署：通过模型量化技术，INT4 量化级别下最低仅需 6GB 显存即可在消费级显卡上运行。模型权重对学术研究完全开放，填写问卷登记后也允许免费商业使用。

能干什么

ChatGLM-6B 主要面向以下场景：

• 智能对话：支持中英双语的多轮对话，能够生成符合人类偏好的回答
• 本地部署：可在个人电脑上运行，无需联网，保护数据隐私
• 定制微调：支持基于 P-Tuning v2 的高效参数微调，INT4 量化下仅需 7GB 显存即可启动
• 扩展生态：后续衍生出多个专业版本：
  • ChatGLM2-6B：升级版，上下文长度从 2K 扩展到 32K，推理速度提升 42%
  • CodeGeeX2：代码生成专用模型，支持 100+ 编程语言
  • VisualGLM-6B：支持图像理解的多模态对话模型
  • WebGLM：支持利用网络信息生成带引用的长回答

怎么装

环境要求

• Python 3.8+
• PyTorch 1.10+
• 显存：FP16 推理需 13GB，INT4 量化仅需 6GB

安装步骤

# 1. 克隆仓库
git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B

# 2. 安装依赖
pip install -r requirements.txt

# 3. 安装 PyTorch（根据 CUDA 版本选择）
# CUDA 11.6
pip install torch==1.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
# CUDA 11.7
pip install torch==1.13.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117

模型下载

模型权重会自动从 Hugging Face 下载，国内访问受限时可使用镜像站点：

# 设置镜像
export HF_ENDPOINT=https://hf-mirror.com

怎么用：第一个例子

命令行交互

创建 cli_demo.py：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
model = model.eval()

# 多轮对话
history = []
while True:
    query = input("\n用户: ")
    if query == "exit":
        break
    response, history = model.chat(tokenizer, query, history=history)
    print(f"ChatGLM: {response}")

运行：

python cli_demo.py

Web 界面

# 启动 Gradio 界面
python web_demo.py

访问 http://localhost:7860 即可在浏览器中对话。

社区资源

• 官方博客：https://chatglm.cn/blog
• Hugging Face 仓库：https://huggingface.co/THUDM/chatglm-6b
• API 平台：智谱AI开放平台提供更大规模的商业模型
• 微调指南：ptuning/README.md 包含基于 P-Tuning v2 的详细微调教程
• GLM-4 开源模型：https://github.com/THUDM/GLM-4
• API 教程：https://github.com/MetaGLM/glm-cookbook/

注意事项：

• 模型输出受概率随机性影响，无法保证完全准确
• 请遵守开源协议，勿用于未经安全评估的服务
• 本项目团队未基于 ChatGLM-6B 开发任何移动端或桌面应用

翻译整理自 GitHub README，原文：https://github.com/THUDM/ChatGLM-6B