模型配置
模型配置是 Flocks 首次部署后的关键配置步骤。完成模型配置后，Rex、Agent、Workflow、任务中心和 IM 通道才能正常调用大模型能力。
本页用于说明部署后的模型配置顺序；完整的 Provider、模型实例、默认模型、Agent 单独指定模型和模型报错排查，请进入 模型清单 查看。
1. 配置目标
模型配置需要完成三件事：
- 添加一个可访问的模型 Provider。
- 在 Provider 下添加至少一个可调用模型。
- 在 模型清单 页面左上角的 默认模型 卡片中选择默认模型。
完成后，新建会话、运行 Agent、执行 Workflow 或创建任务时，Flocks 才能自动使用默认模型。
2. 推荐配置顺序
首次配置建议按下面顺序进行：
- 打开 WebUI，进入 模型清单。
- 添加模型 Provider，填写
Base URL和API Key。 - 在 Provider 下添加模型，模型名称需要和服务端实际模型 ID 保持一致。
- 点击 测试连接，确认模型可以正常调用。
- 在页面左上角的 默认模型 卡片中点击编辑，选择 Provider 和模型。
- 新建一个会话，发送一句简单问题，确认 Rex 能正常回复。
如果只是保存了 Provider 或模型，但没有测试通过，通常还不能说明模型已经接通。
3. 推荐模型选择
3.1 优先使用微步推荐模型
如果使用微步模型平台，建议优先从 模型清单 中的 ThreatBook-cn-llm Provider 选择推荐模型。这些模型已经按 Flocks 的主 Agent、子 Agent、长上下文和成本敏感场景做过整理。
常见选择方式：
Rex主 Agent：优先选择推理能力强、上下文长、工具调用稳定的模型。- 关键 Workflow：优先选择稳定性更好的模型。
- 子 Agent：根据任务复杂度选择 7B、30B 或 70B 级别模型。
- 大批量日志、告警和资产数据：优先选择长上下文模型。
3.2 本地模型规模建议
如果使用本地自部署模型，Rex 主 Agent 建议使用 200B 以上规模的模型。主 Agent 要负责理解目标、拆解任务、调用工具、委派子 Agent 和整合结果，对模型能力要求最高。
子 Agent 任务边界更窄，一般可以使用更小模型，以降低成本和响应时间。
4. 默认模型和 Agent 模型
系统默认模型会影响：
- 新建 WebUI 会话。
- Rex 默认执行。
- 未单独指定模型的 Agent。
- 任务中心中新建任务。
- Workflow 中未单独指定模型的模型推理节点或 Agent 节点。
- IM 通道中新建 Session。
每个 Agent 也可以在 Agent 页面单独指定模型。指定后，这个 Agent 不会跟随系统默认模型变化；只有重新改回“系统默认”，才会继续跟随默认模型。
5. 如何判断配置成功
可以用下面几项做验收：
- 模型清单中能看到 Provider 和模型。
- 目标模型测试连接通过。
- 左上角 默认模型 卡片显示了正确模型。
- 新建 WebUI 会话后，Rex 可以正常回复。
- 使用系统默认模型的 Agent 可以正常执行。
- 如果单独给 Agent 指定了模型，Agent 详情中显示指定模型，执行任务时也能正常调用。
如果新会话不能回复，优先检查 Base URL、API Key、模型名称、模型服务状态和网络连通性。
6. 部署模型推荐配置
以下为 minimax2.7 的部署推荐配置（仅供参考）：
- 参数量：230B，激活参数 10B，默认上下文
196608。 - 在 FP16 量化、上下文
128K、并发10的场景下，显存占用约713.13 GB。
部署硬件条件（建议）：
- NVDIA H20-96G × 8
- NVDIA H200-141G × 6
- NVDIA B100-192G 或 B200-192G × 4
- NVDIA A100-80G × 12
扩展建议（估算）：
- 每增加 1 个并发，显存增加约
50~100 GB。 - 每扩大 1 倍上下文，显存增加约
50~100 GB。
软件条件：
- vllm / sglang 等推理框架
- NCCL
- Transformers
- Pytorch @A
7. 常见问题
7.1 保存模型后为什么仍然不能用？
保存模型只代表配置已写入，不代表模型服务可用。需要点击 测试连接，并用新会话做一次真实调用验证。
7.2 默认模型被清空怎么办？
如果当前默认模型被删除，或者所在 Provider 被删除，系统会自动清除默认模型。回到 模型清单，在左上角 默认模型 卡片中重新选择即可。
7.3 Agent 为什么没有跟随新的默认模型？
如果某个 Agent 手动指定过模型，它不会跟随系统默认模型变化。需要进入 Agent 页面，把该 Agent 的模型重新改回“系统默认”。