• AI 通道
  • 模型路由
  • 优先级
  • 权重
  • 故障重试

通道与路由

通道代表一个可用的上游连接;路由是在多个候选通道之间,依据模型、权限、健康状态、优先级和权重选择实际执行者的过程。

通道是上游连接的单位

一个通道通常对应某个提供商账号、代理或兼容服务地址。它包含连接配置以及允许转发的模型范围;实际字段和可用能力依赖通道类型。

将同一提供商拆分为多个通道可以隔离凭据、地区、预算或工作负载。管理端应将密钥保留在通道配置中,而不是交给终端应用。

候选集先于负载分配

系统会先按请求模型、用户或令牌允许范围、分组和可用状态筛选候选通道。随后才会应用优先级、权重、健康检查、重试或切换等策略。

因此,提高某个通道的权重不会让它突破模型限制或用户的通道白名单。排查“为什么没有命中某通道”时,应先检查候选条件,再检查分配策略。

  • 模型匹配决定通道能否处理该请求。
  • 权限和令牌约束决定请求是否能进入该通道。
  • 优先级、权重和健康状态决定候选之间的选择顺序。

运营建议

为关键模型保留多个可替代通道,并通过实际请求验证不同协议、流式输出与媒体能力。健康状态只能反映已检测到的连接状况,不能替代对业务请求的端到端测试。

项目来源:model/channel.go、service/、relay/、docs/channel/

相关页面