跳转到主要内容
FlexInference 路由 OpenAI、Google Gemini 和 Anthropic 模型别名。请通过模型的别名（例如 gpt-5.5 或 gemini-3.5-flash）传递模型，而不是过时的快照。 将 start_within 设置为您愿意等待请求开始的最长时间。表面规划器仅对下面列出的支持 flex 的 OpenAI 和 Gemini 模型运行 flex 竞价：它会根据该预算尝试更便宜的提供商 flex 层级，如果 flex 未及时启动，则升级到标准层级。有关 flex 竞价的完整机制，请参阅flex 竞价的工作原理。 对于非持续时间请求，FlexInference 代理其支持的提供商层级上的任何模型。Gemini 没有 auto 层级，因此在 Gemini 模型上使用 auto 会返回 400 auto_unsupported_for_gemini。

​
支持 Flex 的模型

​
OpenAI

GPT-5.6

gpt-5.6, gpt-5.6-sol, gpt-5.6-terra, gpt-5.6-luna

GPT-5.5

gpt-5.5, gpt-5.5-pro

GPT-5.4

gpt-5.4, gpt-5.4-mini, gpt-5.4-nano, gpt-5.4-pro

GPT-5.2

gpt-5.2

GPT-5 和 5.1

gpt-5, gpt-5-mini, gpt-5-nano, gpt-5.1

推理

o3, o4-mini

​
Gemini

Gemini 3.5 / 3.1

gemini-3.5-flash, gemini-3.1-pro-preview, gemini-3.1-flash-lite

Gemini 3 预览版

gemini-3-flash-preview

Gemini 2.5

gemini-2.5-pro, gemini-2.5-flash, gemini-2.5-flash-lite
在不在允许列表中的 OpenAI 或 Gemini 模型上设置持续时间 start_within 不会运行 flex 竞价。FlexInference 会返回 400 flex_model_not_capable。请选择列出的模型以使用 flex。要跳过 flex 竞价，请发送层级值而不是持续时间：default、priority，或者在支持的情况下发送 auto。FlexInference 会将支持的层级请求代理到提供商。对于 Gemini，default 映射到 Gemini 的 standard 层级，而 auto 返回 400 auto_unsupported_for_gemini。

​
Anthropic (Claude)

Claude 模型路由到 Anthropic，并且是仅代理。它们支持 default、priority 和 auto，但不支持 flex 竞价。在 claude-* 模型上设置持续时间 start_within 会返回 400 flex_unsupported_for_anthropic，因为 Anthropic 没有 flex 层级。 default 映射到 Anthropic 的 standard_only 服务层级。auto 让 Anthropic 选择。priority 是尽力而为的，并映射到 auto，因为 Anthropic 拒绝字面上的 priority 层级。 Anthropic 要求上游提供 max_tokens。当您设置输出 token 字段时，FlexInference 会转发该字段，并且在您省略该字段时不会合成默认值，因此 Anthropic 会因缺少限制而返回其自己的请求错误。

Opus

claude-opus-4-8, claude-opus-4-7, claude-opus-4-6, claude-opus-4-5, claude-opus-4-1

Sonnet

claude-sonnet-5, claude-sonnet-4-6, claude-sonnet-4-5

Haiku

claude-haiku-4-5

Fable

claude-fable-5
Claude 通过所有支持的调用者格式工作：/v1/responses、/v1/chat/completions、/v1/interactions 和 Anthropic 原生 /v1/messages。FlexInference 将每个格式转换为 Anthropic 的 Messages API。Anthropic 决定所服务的层级。standard_only 请求在响应中报告为 "service_tier": "standard"。

​
提供商路由

可选的有序 provider 数组会固定您的请求所采用的路由。元素 0 是主路由和唯一的 flex 门；元素 1 到 n 是相同模型的备用链，当路由暂时失败时按顺序尝试。省略 provider，FlexInference 将使用模型的原生直接路由，与以前完全相同。将数组设置为模型的原生路由是一个路由空操作，它明确地固定了相同的行为。 google、openai 和 anthropic 是直接路由。vertex (Gemini) 和 bedrock (Claude) 是云路由，它们在不同的提供商上提供相同的模型：bedrock 通过 Amazon Bedrock (Bedrock Converse) 提供 claude-*，vertex 通过 Google Vertex AI (Vertex generateContent) 提供 gemini-*。提供商回退只改变路由：它从不改变模型或层级，并且回退条目始终是普通的标准调用，而不是 flex 竞价。

​
您命名的每个路由都需要其密钥

链是您已配置其中每个路由的声明。每个路由都使用其自己的 BYOK 密钥：openai 使用您的 OpenAI 密钥，google 使用您的 Gemini 密钥，anthropic 使用您的 Anthropic 密钥，vertex 使用您的 Vertex express 密钥，bedrock 使用您的 Bedrock 密钥和区域。在仪表板的“设置”->“API 密钥”下添加它们，然后才能命名路由。 缺少密钥是配置错误，而不是暂时性故障，因此它不会回退到下一个路由。FlexInference 会在任何上游调用之前和任何可计费工作之前，以缺少密钥的路由的 400 no_..._key 代码拒绝请求。即使您的 Anthropic 密钥存在并且可以服务模型，没有 Bedrock 密钥的 ["bedrock","anthropic"] 也会返回 400 no_bedrock_key。在此处回退会隐藏未配置的路由，并悄悄地在您不打算使用的提供商上为您提供服务，因此 FlexInference 会通知您。添加缺少的密钥，或从链中删除该路由。 回退仅涵盖暂时性上游故障，不包括其他情况：429、5xx、连接错误或超时，每个都在响应提交之前捕获。路由可能被预先拒绝的所有情况，包括缺少密钥、路由无法服务的模型以及格式错误的链，都是您需要修复的请求，并返回 400。 每个路由服务一个模型系列，因此固定无法服务您的模型的路由的链会返回 400 provider_model_mismatch。openai 服务 GPT 和 o 系列模型，google 和 vertex 服务 Gemini，anthropic 和 bedrock 服务 Claude。 单元素云优先链（例如 ["vertex"] 或 ["bedrock"]）是到该云提供商的有效无 flex 直接路由。将持续时间 start_within 与云路由作为元素 0 一起使用会返回 400 flex_unsupported_on_cloud，因为云路由没有 flex 层级可竞价；请发送层级值（default、priority 或 auto）代替。格式错误的数组（未知名称、重复、空数组或超过三个条目）会返回 400 invalid_provider_chain。

​
Bedrock 上的 Claude：全球路由、opus-4-1 和访问授权

bedrock 路由通过 Amazon 的跨区域推理配置文件提供 Claude 服务。FlexInference 将其路由为全球优先：它在 Bedrock 上提供的每个 claude-* 模型都通过全球推理配置文件寻址，因此它可以在任何 AWS 区域提供服务，无论您的组织的 Bedrock 密钥设置在哪里。一个后果是值得了解的数据驻留权衡：全球配置文件将每个请求路由到所有支持的 AWS 区域，因此不能保证请求在您自己的区域运行。在全球优先模式下，没有路由能保证在特定 AWS 区域进行处理，并且 anthropic 直接路由不是区域内替代方案：它到达 Anthropic 自己的基础设施，而不是您的 AWS 账户。如果区域内处理是要求，则可以通过按组织的数据驻留策略请求区域固定的 Bedrock 配置文件（us. 或 eu.，与您的 Bedrock 密钥区域匹配）。 claude-opus-4-1 是一个例外，它根本不在 bedrock 路由上。Amazon 仅在美国发布它，甚至不是在每个美国区域，因此 FlexInference 不会携带部分区域划分，而仅在 anthropic 直接路由上提供服务；它的 ["bedrock"] 链在每个区域都会返回 400 bedrock_model_unavailable。它始终在 anthropic 直接路由上可用，因此省略 provider 或发送 ["anthropic"] 即可从任何区域访问它。 另外，一个模型可以全球提供服务，但在您的 AWS 账户中仍然是封闭的，直到您在 Amazon Bedrock 控制台中请求访问它。当 Bedrock 拥有该模型但您的 AWS 账户尚未获得授权时，您会收到 403 bedrock_model_access_denied，其中会命名该模型并引用 Bedrock 的说法。（另一种情况，400 bedrock_model_unavailable 适用于 Bedrock 未发布配置文件的模型，现在实际上仅适用于 claude-opus-4-1，因为所有其他已服务的模型都有全球配置文件。） 两者都不是您的 Bedrock 密钥的问题，并且一个有效的密钥会保持有效：这两个错误都意味着模型问题，而不是凭证问题。两者也不会回退到链中的下一个路由，因为您命名的路由是您预期已设置的路由。请将模型发送到 anthropic 路由，或将其授权给 AWS 账户。

​
Bedrock 上最新的 Claude 模型需要一次性账户设置

一旦 AWS 账户拥有普通的 Model access 授权，五个 Claude 模型就可以在 bedrock 路由上提供服务：claude-haiku-4-5、claude-sonnet-4-6、claude-sonnet-4-5、claude-opus-4-6 和 claude-opus-4-5。 四个最新模型——claude-sonnet-5、claude-fable-5、claude-opus-4-8 和 claude-opus-4-7——在 Bedrock 提供服务之前，需要在 AWS 账户上额外执行两个一次性步骤。仅 Amazon Bedrock 控制台的 Model access 授权无法启用它们。使用管理员的 AWS 凭证（而不是您的 Bedrock 推理密钥）在每个 AWS 账户上运行这两个步骤一次。 步骤 1 - 启用账户的提供商数据共享。 此步骤没有控制台 UI，因此必须从 AWS CLI 运行：
步骤 2 - 接受您计划调用的每个模型的模型协议（每个模型运行一次）：
在完成这两个步骤之前，对这四个模型之一的 bedrock 请求将返回 403 bedrock_model_access_denied。这是 Amazon Bedrock 账户要求，而不是 FlexInference 要求，因此无论您是通过 FlexInference 还是直接访问 Bedrock，结果都相同。claude-opus-4-1 不受影响，因为它根本不在 bedrock 路由上提供服务；请通过 anthropic 路由访问它。
vertex 和 bedrock 云路由现已提供服务。bedrock 通过 Amazon Bedrock 提供 claude-* 服务，vertex 通过 Google Vertex AI 提供 gemini-* 服务，始终是您请求的相同模型。每个云路由都需要在仪表板中添加该云自己的密钥：vertex 需要 Vertex express 密钥（AQ. 前缀），bedrock 需要 Bedrock bearer 密钥（ABSK 前缀）和区域。云路由仅在标准层级运行，没有 flex 竞价。两个云路由都支持文本、图像和文件：远程 https 图像或文件 URL 会在服务器端获取并内联（请参阅下面的输入）。

​
按路由划分的功能

下表是按路由划分的快速是/否列表。每个路由都支持文本、流式传输、函数调用、图像、文件（包括 PDF）以及思考/推理；基线以下的行是路由不同的地方。openai、anthropic 和 google 是直接路由；vertex 和 bedrock 是云路由。 *Bedrock 运行思考，但将推理 token 折叠到输出计数中，不报告单独的推理 token 总数；Vertex 报告推理 token。 “否”表示明确的 400 unsupported_parameter，而不是静默丢弃。将 web_search、json_schema 结构化输出或 text.format.strict: true 发送到不支持它的路由，FlexInference 将拒绝请求并命名该字段。将网页搜索或结构化输出路由到任何直接路由或 vertex，并将严格模式路由到 openai。

​
Flex 结果和错误

x-flexinference-flex-* 标头报告成功响应上的 flex 结果。验证错误仍使用正常的错误正文。有关完整的错误格式和 Flex 结果标头，请参阅错误页面。
  • flex_model_not_capable 表示您向不在 flex 允许列表中的 OpenAI 或 Gemini 模型发送了持续时间 start_within。请使用层级值或选择支持 flex 的模型。
  • auto_unsupported_for_gemini 表示您在 Gemini 模型上请求了 auto，但该模型没有 auto 层级。请使用 default 作为 Gemini 的标准层级。
  • flex_unsupported_for_anthropic 表示您向 claude-* 模型发送了持续时间 start_within。请使用 default、priority 或 auto 作为 Claude。

​
输入

这些路由接受 OpenAI 兼容的输入：
  • 文本：系统、开发者、用户和助手消息。
  • 图像：传递图像 URL 或 base64 数据 URL。Base64 数据 URL 最可靠。对于 Bedrock 和 Vertex 路由，它们需要内联字节，远程 https 图像 URL 会在服务器端下载并为您内联，并经过 SSRF 安全检查（仅限 https，无私有或元数据主机，大小限制，以及 png/jpeg/gif/webp 的魔术字节类型检查）；如果 URL 未通过检查，则返回 400 unsupported_parameter，而不是静默丢弃。
  • 文件：PDF 和 Responses API 接受的其他文件输入。远程 https PDF URL 会在相同的检查下为 Bedrock 和 Vertex 下载并内联。
输出是文本，包括工具调用、结构化输出和推理。流式传输适用于每个模型。在 Gemini 上，reasoning.effort 映射到每个模型的 thinking_level，并可能被限制在该模型支持的范围内。 原生提供商参数仅在模型属于该提供商时才传递。有关特定于端点的直通规则，请参阅 SDKs。
上面的功能矩阵是按路由划分的是/否；此说明是共享功能如何映射到每个提供商。对于网页搜索，发送 Responses web_search 工具；Gemini 将其映射到 google_search，Anthropic 将其映射到其 web_search_20250305 工具。无论哪个提供商服务请求，web_search（和 Gemini 的 url_context）都会将其来源作为消息输出上的规范 url_citation 注释返回，因此无论路由如何，您都以相同的方式读取引用。结构化输出（带有 json_schema 的 text.format）映射到 Gemini 的 response_format 和 Anthropic 的 output_config；json_object 映射到 Gemini 但不映射到 Anthropic。strict 标志仅在 OpenAI 上受支持。Gemini、Vertex 和 Anthropic 遵守响应模式形状，但不能保证严格一致性，因此 text.format.strict: true 在那里会返回 400 unsupported_parameter 而不是静默忽略；请删除 strict 或路由到 OpenAI 以强制执行。Gemini 还接受 code_execution 和 url_context 工具以及 top_k。将文件作为 base64 数据 URL 传递；PDF 在 Gemini 上最可靠。
FlexInference 会随着提供商发布新的支持 flex 的 OpenAI 和 Gemini 模型而添加它们。如果您期望的模型缺失，请检查您是否正在使用其别名以及提供商是否为其提供了 flex 层级。