DeepSeek-V3 快速上手教程

是什么

DeepSeek-V3 是深度求索推出的新一代大语言模型，采用 混合专家（MoE）架构，总参数量达 671B，但每个 token 只激活 37B 参数，兼顾性能与效率。

核心技术亮点：

• 无辅助损失负载均衡：首创无需额外损失函数即可实现专家负载均衡，避免性能下降
• 多 token 预测（MTP）：训练时同时预测多个 token，提升模型能力，推理时可用于投机解码加速
• FP8 混合精度训练：首次在大规模模型上验证 FP8 训练的有效性
• 跨节点通信优化：通过算法-框架-硬件协同设计，几乎实现计算与通信完全重叠

训练数据为 14.8 万亿高质量 token，整个训练仅消耗 2.788M H800 GPU 小时（预训练 2.664M + 后训练 0.1M），且全程无不可恢复的损失尖峰。

能干什么

综合评测显示，DeepSeek-V3 超越所有开源模型，性能与顶尖闭源模型相当。具体能力包括：

• 文本生成、对话、问答
• 代码编写与理解
• 数学推理与逻辑分析
• 多语言支持（含中文）
• 通过从 DeepSeek-R1 蒸馏长链推理能力，具备更强的复杂推理表现

怎么装

模型下载

模型权重可从 Hugging Face 获取（国内访问受限，推荐使用镜像站或国产平台）：

# 完整模型（671B）
git lfs install
git clone https://huggingface.co/deepseek-ai/DeepSeek-V3

# 如需仅下载推理所需文件，可使用稀疏格式

本地运行

环境要求：

• Python 3.8+
• PyTorch 2.0+
• 显存：完整模型需多卡（建议 8×H800 或同等配置）
• 推荐使用 vLLM 或 Transformers 库加载

使用 Transformers 加载示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "deepseek-ai/DeepSeek-V3"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

使用 vLLM 加速推理（推荐）：

pip install vllm
python -m vllm.entrypoints.openai.api_server \
    --model deepseek-ai/DeepSeek-V3 \
    --tensor-parallel-size 8 \
    --dtype bfloat16

怎么用第一个例子

启动服务后，通过 API 调用：

import requests

response = requests.post(
    "http://localhost:8000/v1/chat/completions",
    json={
        "model": "deepseek-ai/DeepSeek-V3",
        "messages": [
            {"role": "user", "content": "用 Python 写一个快速排序算法"}
        ]
    }
)
print(response.json()["choices"][0]["message"]["content"])

在线体验（无需本地部署）：

• 官方聊天：https://chat.deepseek.com
• API 平台：https://platform.deepseek.com

社区资源

许可证：

• 模型权重：Model Agreement（详见 LICENSE-MODEL）
• 代码：MIT（详见 LICENSE-CODE）

翻译整理自 GitHub README，原文：https://github.com/deepseek-ai/DeepSeek-V3