模型管理用于把多个真实上游模型整理成用户可选择的平台模型。管理员在这里维护模型名称、厂商、类型、可见范围、路由来源、能力声明、系统提示词、官方工具和显示顺序。
使用入口#
进入管理端后打开“模型”。页面显示平台模型列表,支持搜索平台模型名、厂商或描述,并按状态、协议、厂商和类型筛选。
平台模型是用户侧看到的模型入口。上游模型是供应商真实模型。一个平台模型可以绑定多个上游来源,用于主备、负载、成本或供应商切换。
平台模型列表#
列表会展示模型状态、类型、厂商、来源数量和可用范围。状态包括启用、停用和熔断中;可用范围包括全平台和内部任务。
全平台模型会出现在用户可选模型中。内部任务模型更适合标题生成、标签生成、摘要压缩、OCR 回退等后台任务,不建议暴露给普通用户选择。
新增和编辑模型#
新增模型时,应先确定模型用途:对话、语音、图像生成、图像编辑或视频生成。然后填写平台模型名称、显示名称、厂商、描述、状态和可用范围。
编辑模型时,可以调整模型提示词、能力配置、官方原生工具、来源绑定和展示信息。模型级系统提示词会追加到全局默认系统提示词之后,用于为某个模型补充行为规则。
上游来源和路由#
平台模型需要绑定一个或多个上游来源。来源通常包含上游名称、真实模型、协议、绑定编码、权重、优先级和状态。
多来源路由适合做主备容灾和供应商分流。优先级决定先尝试哪类来源,权重用于同级来源之间分配流量。停用某个来源不会删除平台模型,但会减少可用路由。
能力配置#
能力配置决定模型在用户侧和系统任务中的可用能力,例如文本、图片输入、工具调用、推理、图像生成、图像编辑、视频生成、流式响应等。
能力配置应与真实上游能力一致。若上游不支持某项能力,却在平台模型中开启,用户可能在特定任务中遇到失败。修改能力后,应使用模型测试验证关键路径。
官方原生工具#
模型管理中可以配置某个模型允许使用的官方原生工具。只有管理员在模型中开启的官方工具,才会进入用户侧会话配置。
能力配置、参数透传、官方工具和工具计费的完整关系,见 能力透传与官方工具。
用户手写工具参数时,系统只保留管理员允许的官方工具;未知工具、未允许工具和不符合策略的工具不会进入实际调用。这样可以让工具能力可控开放。
显示顺序和可见性#
“顺序”用于调整模型在用户侧模型选择器中的展示位置。常用、稳定、推荐模型应排在前面;测试中或内部任务模型应保持内部可见或停用。
当模型不再推荐使用时,可以先停用或改为内部任务,观察是否还有业务依赖,再删除。删除前应确认没有关键路由和计费配置依赖它。
模型测试#
模型测试用于验证平台模型和上游来源是否可用。测试结果会显示可用、错误、超时或暂不支持,并展示延迟和来源信息。
新增上游、调整路由、修改协议、替换密钥、改变能力配置后,都建议测试相关模型。批量测试适合上线前检查多个模型的整体状态。
使用建议#
先从少量核心模型开始,确保名称、能力和路由稳定,再逐步开放更多模型。对用户开放前,至少完成来源绑定、能力校验、计费价格和模型测试。内部任务模型应和用户模型分开管理,避免误用高成本或不稳定模型。