service_tier。您可以保留已用于 Chat Completions、Responses、Interactions 和 Anthropic Messages 的请求格式，并设置一个必填字段：start_within。
可选的 provider 数组会固定您的请求所走的路由。直接路由连接到 OpenAI、Gemini 和 Anthropic；云路由则通过您自己的云账户提供相同的模型——bedrock 通过 Amazon Bedrock 运行 claude-*，vertex 通过 Google Vertex AI 运行 gemini-*，均采用标准 tier，不参与 flex 竞价。请参阅提供商路由。
您只需提供一次提供商密钥。FlexInference 会加密存储 BYOK 密钥，并且不会在每次请求时要求提供。请求通过 FlexInference 密钥进行身份验证；路由器会根据该密钥解析您的组织，检查强一致性撤销注册表，并使用存储的提供商密钥来处理选定的表面。
在超过 60,000 个真实请求中，flex 路由将按 token 计费的成本降低了约 47%，同时将首个 token 的响应时间增加了约 16%。
FlexInference 不销售推理服务。您需自带提供商密钥 (BYOK)——OpenAI、Gemini 或 Anthropic，以及用于云路由的 Google Vertex AI express 密钥或 Amazon Bedrock 密钥——提供商将根据处理请求的
tier 直接向您的账户收费。我们在此基础上增加了成本路由功能，该功能会考虑您的等待时间。x-flexinference-flex-applied 和 x-flexinference-flex-reason，以及响应的 service_tier，以便您审计请求是否由 flex 处理或为何回退。
存在原因
OpenAI 为相同的模型提供了多个service_tier。flex（批处理）tier 的成本是标准费率的一半，但容量不保证。关注延迟的应用程序需要一种按请求的方式来决定何时可以接受等待。
start_within 是您允许请求开始运行前的最长时间。它不是一个硬性的完成截止时间。当用户正在等待时，请使用较短的值；对于成本更重要的后台工作，请使用较长的值。
立即需要
start_within: "priority" 会路由到 OpenAI 的 priority tier。可以稍等
start_within: "00h-00m-30s" 会首先尝试更便宜的 flex tier。如果 flex
无法在 30 秒内开始，FlexInference 会将请求提升到您的标准 tier，以便它仍然运行。默认
start_within: "default" 使用 OpenAI 的默认 tier 和定价。（"auto"
让 OpenAI 选择。）tier，如果 flex 无法在 start_within 时间内开始，则会升级到标准 tier。升级的成本不会高于直接以标准价格调用提供商。
即插即用兼容
将您的基础 URL 设置为 FlexInference 并包含start_within。该路由器会保持 OpenAI、Gemini 和 Anthropic 的流式传输、工具调用、结构化输出、视觉和推理的提供商请求和响应格式不变。
快速入门
从零开始发送您的第一个请求。
截止时间路由
start_within 的工作原理，以及何时会升级到标准 tier。身份验证
FlexInference API 密钥，以及您自己的 OpenAI、Gemini 或 Anthropic 密钥。
支持的模型
支持 flex 路由的模型。
提供商路由
固定路由，或通过 Amazon Bedrock 或 Google Vertex AI 添加云路由。