> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 常见问题

> 关于 FlexInference 的常见问题：start_within、定价、提供商、计费和 MCP 服务器。

{/* GENERATED FILE - do not edit by hand.
  Source of truth: website/src/app/faq-data.ts
  Regenerate: pnpm --dir apps/website gen:faq */}

## 什么是 FlexInference？

FlexInference 是一个支持截止时间的 LLM 路由器。它支持 OpenAI、Gemini 和 Anthropic，并且与 OpenAI 兼容，因此您可以继续使用 OpenAI SDK。您可以使用自己的提供商密钥。将基础 URL 指向 FlexInference，并在任何请求中添加一个 start\_within 截止时间。在该时间窗口内，我们将竞价一个更便宜的 flex 层级，并返回您请求的精确模型。标准请求保持免费。当 flex 击败标准价格时，我们将保留您节省金额的 20%，并在您的余额超过 20 美元时进行计费。您还可以使用可选的 provider 数组来固定路由，包括通过您自己的云密钥在 Amazon Bedrock (Claude) 或 Google Vertex AI (Gemini) 上提供相同模型的云路由。

## 什么是 start\_within？

每个请求的必填字段。将其设置为 default、priority、auto，或持续时间 HHh-MMm-SSs（5 秒到 10 分钟）。对于支持 flex 的模型，持续时间会搜索您所选模型的更便宜层级。如果 flex 竞价未能及时找到更便宜的推理，我们会将您的请求升级为 default 请求。这样您就能获得响应，并且在可能的情况下，以更低的成本获得。

## FlexInference 能节省多少费用？

在我们所有的流量中，flex 路由将综合成本降低了约 47%，同时首次 token 的时间增加了约 16%。我们从不对 default、auto 或 priority 请求收费，因此您可以立即避免其他路由器在这些请求上增加的约 5.5% 的额外费用。实际节省的费用取决于您的模型、提供商以及您设置的截止时间。Anthropic 仅支持代理，不享受 flex 节省。

## FlexInference 适用于哪些用例？

我们可以说它适用于所有场景吗？作为普通路由器，它对 BYOK 免费，并且不会剥离您为强制成功而设置的参数。因此，当您想确保所请求即所得时，它非常出色。至于 flex 竞价，您将 start\_within 设置为截止时间。它非常适合对延迟不敏感的任务。这可以是数据处理、评估、作为判断者的 LLM、浏览器代理或摘要。任何可以承受几秒钟等待以获得巨大成本降低的任务。

## 如果 FlexInference 找不到更便宜的推理怎么办？

如果 flex 竞价未能在您的 start\_within 截止时间内找到更便宜的推理，我们会将请求升级为标准的 default 层级请求，因此您仍然会收到响应。我们只在 flex 请求实际为您节省费用时收取佣金，因此未找到更便宜选项的请求不收取任何费用。

## 如果 flex 竞价失败，我需要付费吗？

不需要。在 flex 写入任何输出 token 之前，我们会将其升级为标准请求，因此无需为 flex 响应付费，也无需为未节省费用的请求支付佣金。如果 flex 尝试开始后在提交前失败，可能会消耗少量输入 token；您的提供商会直接对这些 token 收费，我们不加价地将其传递给您。

## 你们支持哪些提供商和模型？

所有 OpenAI、Gemini 和 Anthropic 模型。只有支持 flex 的模型才能进行更便宜的推理搜索。您还可以使用可选的 provider 数组来固定路由：openai、google 和 anthropic 是直接路由，而 Vertex (Gemini) 和 Bedrock (Claude) 是云路由，它们通过您自己的云密钥在 Google Vertex AI 和 Amazon Bedrock 上提供相同的模型。云路由仅在标准层级运行，不支持 flex。

## 你们有 MCP 服务器吗？

是的。将任何 MCP 客户端（例如 Claude 或 Cursor）指向 [https://mcp.flexinference.com/mcp。两个文档工具无需登录即可使用。它们可以搜索文档并查找任何](https://mcp.flexinference.com/mcp。两个文档工具无需登录即可使用。它们可以搜索文档并查找任何) error code。一次性 OAuth 登录后，代理还可以读取您的使用情况和节省金额，列出、创建或撤销 API keys，以及检查计费，每个操作都有自己的范围。我们绝不会通过 MCP 获取原始 provider key，因此请在仪表板上添加这些密钥。请参阅 MCP 文档了解设置。

## 你们的错误信息是为编码代理设计的吗？

是的。错误信息会以您调用的端点（OpenAI、Anthropic 或 Google）的格式返回，因此您已使用的 SDK 可以不变地解析它们。OpenAI 格式会添加一个机器可读的 code、有问题的 field 和一个 doc\_url。每条消息都会说明哪里出了问题、您触犯了什么规则以及具体的修复方法和示例，因此将其展示给您的代理通常足以在第一次尝试时解决问题。

## Anthropic 模型能获得更便宜的推理搜索吗？

目前不能。目前仅支持普通路由，我们正在努力开发中。

## 你们支持缓存吗？

是的，支持词法缓存，语义缓存即将推出。

## 你们支持备用提供商吗？

是的。您可以添加一个有序的 provider 列表作为备用。我们会在遇到 429、5xx、连接错误或超时时使用它。当列表中的第一个 provider 支持 flex 时，flex 竞价仍然适用。如果您不设置，我们将根据您请求的模型默认使用 openai、google 或 anthropic。我们支持 Vertex 和 Bedrock，Foundry 正在开发中。

## 你们支持上游重试（对 LLM 提供商）吗？

是的。您可以设置重试次数（例如 2 次）并开启或关闭抖动。退避策略可以是线性或指数的，您可以设置时间。重试会在瞬时 429 和 5xx 错误时触发。我们也会遵守提供商的 Retry-After 头部，因此您无需担心。

## 你们支持自动模型选择吗？

目前不支持，即将推出。（start\_within 值 auto 是 OpenAI 的服务层级，并非此功能。）

## 你们按请求收费吗？

没有固定的按请求收费。击败标准价格的 flex 请求会收取您节省金额的 20% 作为佣金，因此您只在实际节省费用时才付费；如果请求没有节省任何费用，则是免费的。Standard、priority 和 auto 路由以及 Anthropic 层级/代理请求完全免费。

## 你们如何盈利？

我们对 flex 请求实际为您节省的费用（相对于标准价格）收取 20% 的佣金。如果请求没有为您节省任何费用，则是免费的；standard、priority 和 auto 路由以及 Anthropic 层级/代理请求始终免费。佣金按请求累计，每月结算。

## 我何时以及如何被收费？

当您的余额超过 20 美元时，我们每月计费；较小的余额会结转，我们至少每三个月结算一次，以确保不会长期累积。在仪表板的“Billing”页面添加银行卡，账单到期时我们会自动扣款。如果付款逾期，付费 flex 将暂停并返回 402 错误，而免费路由（default、priority、auto）和所有 Anthropic 层级/代理请求将继续工作；更新您的银行卡即可恢复。

## 如果我已有提供商积分，还能节省推理费用吗？

是的。使用您自己的 API key（我们对其进行静态加密），您的请求将消耗您现有的积分。

## 你们能看到我的请求或响应吗？

不，我们看不到您的信息。

## FlexInference 会改变我的模型、提示或输出吗？

不，我们不会改变您请求的任何内容。我们唯一会改变的是服务您模型的层级，前提是这能使相同的模型更便宜。其他路由器通过改变内容来困扰我们，这也是我们构建此路由器的部分原因。所以请相信我们，我们不会改变任何东西。您可以审计任何请求并亲自查看。

## 网站和文档支持哪些语言？

网站和文档支持七种语言：英语、法语、德语、印地语、简体中文、西班牙语和葡萄牙语。您可以在网站页脚或仪表板的“User”选项卡中自行选择语言。该选择会在网站和文档中保持一致。我们绝不会从您的浏览器自动检测语言，因此未保存选择时打开的页面将显示英语。英语版本位于裸 URL，而其他所有语言版本都位于诸如 /es 等前缀下，网站和文档均如此。翻译是语义化且考虑方言的，与每个地区匹配，而非逐字翻译。