什么是 FlexInference？
FlexInference 是一个具有截止时间意识的 LLM 路由器。它支持 OpenAI、Gemini 和 Anthropic，并且与 OpenAI 兼容，因此您可以继续使用 OpenAI SDK。您需要自带提供商密钥。将基本 URL 指向 FlexInference，并在任何请求中添加一个start_within 截止时间。在此窗口内，我们将竞价一个更便宜的 flex 层级，并返回您请求的精确模型。标准请求保持免费。当 flex 击败标准价格时，我们将保留您节省金额的 20%，并在您的余额超过 20 美元时进行计费。您还可以使用可选的提供商数组来固定路由，包括通过 Amazon Bedrock (Claude) 或 Google Vertex AI (Gemini) 在您自己的云密钥上提供相同模型的云路由。
什么是 start_within？
每个请求的必填字段。将其设置为 default、priority、auto 或持续时间 HHh-MMm-SSs（5 秒到 10 分钟）。对于支持 flex 的模型，持续时间会搜索您所选模型的更便宜层级。如果 flex 竞价无法及时找到更便宜的推理，我们会将您的请求升级为 default 请求。这样您就能获得响应，并且在可能的情况下，以更低的成本获得。
FlexInference 能节省多少费用？
在我们所有的流量中，flex 路由将混合成本降低了大约 47%，而首次 token 的时间增加了大约 16%。我们从不对default、auto 或 priority 请求收费，因此您可以立即避免其他路由器在这些请求上增加的大约 5.5% 的额外费用。实际节省取决于您的模型、提供商和您设置的截止时间。Anthropic 仅支持代理，不享受 flex 节省。
如果 FlexInference 找不到更便宜的推理怎么办？
如果 flex 竞价在您的start_within 截止时间内找不到更便宜的推理，我们会将请求升级为标准的 default 层级请求，因此您仍然会收到响应。我们只在 flex 请求实际为您节省资金时收取佣金；因此，如果请求没有找到更便宜的选项，则不收取任何费用。
如果 flex 竞价失败，我需要付费吗？
不需要。在 flex 写入任何输出 token 之前，我们会升级到标准层级，因此没有需要付费的 flex 响应，也没有对未节省任何费用的请求收取佣金。如果 flex 尝试开始但未提交就失败了，它可能会消耗少量输入 token；您的提供商会直接对这些 token 进行计费，我们不加价地将其传递给您。你们支持哪些提供商和模型？
所有 OpenAI、Gemini 和 Anthropic 模型。只有支持 flex 的模型才能进行更便宜的推理搜索。您还可以使用可选的提供商数组来固定路由：openai、google 和 anthropic 是直接路由，而 Vertex (Gemini) 和 Bedrock (Claude) 是云路由，它们通过 Google Vertex AI 和 Amazon Bedrock 使用您自己的云密钥提供相同的模型。云路由仅在标准层级运行，不支持 flex。
你们有 MCP 服务器吗？
是的。将任何 MCP 客户端（例如 Claude 或 Cursor）指向https://mcp.flexinference.com/mcp。两个文档工具无需登录即可使用。它们可以搜索文档并查找任何错误代码。在一次性 OAuth 登录后，代理还可以读取您的使用情况和节省情况，列出、创建或撤销 API 密钥，以及检查账单，每个操作都有自己的范围。我们从不通过 MCP 获取原始提供商密钥，因此请在仪表板上添加这些密钥。有关设置，请参阅 MCP 文档。
你们的错误是为编码代理设计的吗？
是的。错误以您调用的端点（OpenAI、Anthropic 或 Google）的形状返回，因此您已经使用的 SDK 可以不变地解析它们。OpenAI 形状添加了一个机器可读的代码、有问题的字段和doc_url。每条消息都说明了哪里出了问题、您触发的规则以及带有示例的确切修复方法，因此将其显示给您的代理通常足以在第一次尝试时修复。
Anthropic 模型是否支持更便宜的推理搜索？
不支持。Anthropic 仅支持代理：没有 flex 竞价，也没有成本节省。您将获得相同的统一 API，您的密钥在静态时加密，以及服务层级控制（default、priority、auto），并且您将消耗自己的 Anthropic 积分。在 /v1/responses 上调用任何 claude-* 模型，或直接在 /v1/messages 上使用 Anthropic Messages 格式。
你们支持缓存吗？
支持词法缓存，语义缓存即将推出。你们支持回退提供商吗？
支持。发送一个可选的有序提供商数组来固定您的路由。元素 0 是主路由，也是唯一的 flex 门；其余的是相同模型的回退链，当路由暂时失败时按顺序尝试，因此回退会更改路由，但绝不会更改您的模型或层级。路由包括三个直接路由（openai、google、anthropic）以及两个云路由，bedrock 用于 claude-*，vertex 用于 gemini-*，两者都是标准层级，不支持 flex；gpt-* 仅支持 openai。您命名的每个路由都需要其密钥：缺少密钥是配置错误，将为该路由返回 400 错误，并且不会回退。回退仅涵盖瞬态上游故障：429、5xx、连接错误或超时。有关有效链，请参阅模型文档。
你们支持上游重试（到 LLM 提供商）吗？
支持。添加一个可选的retry 对象，例如 count 为 2，当您的请求因瞬态 429 或 5xx 错误而无法启动时，我们将重新请求服务您请求的层级。count 范围从 1 到 5，具有指数或线性退避加抖动，并且我们遵守提供商的 Retry-After 标头。重试仅在您的响应提交之前运行，绝不在第一个 token、身份验证失败或客户端错误之后。它们与您的 SDK 自己的重试堆叠，我们会在 x-flexinference-retries 标头中报告我们运行了多少次。请参阅截止时间路由文档。
你们支持自动模型选择吗？
尚未支持，即将推出。（start_within 值 auto 是 OpenAI 的服务层级，而不是此功能。）
你们按请求收费吗？
没有固定的按请求收费。一个击败标准价格的 flex 请求会收取您节省金额的 20% 作为佣金，因此您只在实际节省时才付费；如果请求没有节省任何费用，则是免费的。标准、priority 和 auto 路由以及 Anthropic 层级/代理请求完全免费。
你们如何盈利？
我们对 flex 请求实际为您节省的金额（相对于标准价格）收取 20% 的佣金。如果请求没有为您节省任何费用，则是免费的，并且标准、priority 和 auto 路由以及 Anthropic 层级/代理请求始终免费。佣金按请求累计，每月结算。
我何时以及如何付费？
当您的余额超过 20 美元时，我们每月结算一次；较小的余额会结转，我们至少每三个月结算一次，以确保它不会长期拖欠。在仪表板的“账单”页面添加一张卡，当账单到期时，我们会自动扣款。如果付款逾期，定价的 flex 将暂停并返回 402 错误，而免费路由（default、priority、auto）和所有 Anthropic 层级/代理请求将继续工作；更新您的卡以恢复服务。