Together AI 使用教程：从入门到上手

Together AI 是什么

Together AI 是一个面向开发者的开源大模型推理云平台，主打 Llama、Mistral、Qwen 等开源模型的 API 调用。它不像 OpenAI 那样只提供自家模型，而是把社区里最热门的开源模型统一打包成标准 API，让你直接用代码调用，不需要自己搭 GPU 服务器。简单说，它就是开源模型的“API 商店”——你选模型，传参数，拿结果，按 token 付费。

核心功能怎么用

Together AI 的核心功能有三个：模型推理、微调、和自定义部署。

模型推理是最常用的。你发一个 HTTP 请求，带上 prompt 和参数，平台返回模型生成的文本。支持聊天补全（Chat Completions）和文本补全（Completions）两种接口。比如用 Python 调用 Llama 3：

import requests

response = requests.post(
    "https://api.together.xyz/v1/chat/completions",
    headers={"Authorization": "Bearer YOUR_API_KEY"},
    json={
        "model": "meta-llama/Llama-3-70b-chat-hf",
        "messages": [{"role": "user", "content": "用中文写一段产品介绍"}],
        "temperature": 0.7,
        "max_tokens": 500
    }
)
print(response.json()["choices"][0]["message"]["content"])

微调功能让你用自己的数据训练模型参数。上传 JSONL 格式的数据集，选择基础模型（比如 Mistral-7B），设置学习率、epoch 数，平台自动跑训练。完成后生成一个专属模型 ID，后续推理时直接指定这个 ID 就行。

自定义部署适合高频调用的场景。你把微调好的模型或者某个开源模型固定在专用 GPU 上，按小时付费，不用每次请求都排队。

第一次上手步骤

1. 注册账号：访问 Together AI 官网，用邮箱注册。注意国内访问可能受限，如果打不开可以考虑国产替代方案，比如百度的文心千帆或阿里的 ModelScope。

2. 获取 API Key：登录后进入 Dashboard，点击“API Keys”生成一个密钥。复制保存好，页面关闭后不再显示。

3. 充值（可选）：平台提供免费额度，新用户通常有 5 美元左右的试用金。如果需要更多，用信用卡充值——但国内用户办境外信用卡比较麻烦，建议先用免费额度测试，不够的话转向国产平台。

4. 测试调用：用上面 Python 代码替换 YOUR_API_KEY，运行后就能收到 Llama 3 的回复。也可以直接用 cURL：

curl -X POST "https://api.together.xyz/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "mistralai/Mixtral-8x7B-Instruct-v0.1", "messages": [{"role": "user", "content": "你好"}], "max_tokens": 100}'

5. 查看用量：Dashboard 的“Usage”页面显示每天的 token 消耗和费用，方便控制预算。

适合什么场景

• 快速原型验证：想试试 Llama 3 或 Mistral 在某个任务上的表现，不用部署环境，直接调 API 几分钟出结果。
• 低成本微调：手上有几千条标注数据，想微调一个 7B 模型做客服或分类任务，Together AI 的微调价格比自建集群便宜很多。
• 高并发推理：需要同时处理大量请求（比如实时聊天机器人），平台自动扩容，不用操心 GPU 资源。
• 模型对比测试：同一个 prompt 换不同模型跑，看哪个输出质量高，适合做模型选型。

不适合的场景：对数据隐私要求极高的场景（数据会经过平台服务器）、需要完全离线部署的场景、以及需要频繁调用但预算敏感的小团队（可以先用免费额度，超了再考虑国产替代）。

价格说明

Together AI 按 token 计费，不同模型价格不同。以 2024 年标准为例：

• Llama 3 70B：约 $0.9/百万输入 token，$0.9/百万输出 token
• Mistral 7B：约 $0.2/百万 token
• 微调：按 GPU 小时计费，A100 约 $2.5/小时

免费额度新用户有 5 美元，用完自动停掉，不会超支。微调后的模型推理价格和基础模型相同。自定义部署按 GPU 小时算，比如单卡 A100 约 $3-4/小时，适合高频调用场景。

总的来说，如果只是偶尔调几个模型做测试，免费额度够用一阵子。如果要做生产级应用，建议先算好 token 消耗，对比国产平台的定价再决定。