> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.

# FlexInference 的作用

> 一个与 OpenAI 兼容的路由器，支持 OpenAI、Gemini 和 Anthropic，并通过 Amazon Bedrock 和 Google Vertex AI 提供云路由。您只需自带密钥并设置一个字段 `start_within`，即可指定您愿意等待的时间。FlexInference 会找到一种更经济的方式来运行相同的请求，并且您只在节省费用时才需要付费。

FlexInference 是一个与 OpenAI 兼容的截止日期路由器，支持 OpenAI、Gemini 和 Anthropic，并可通过 Amazon Bedrock 和 Google Vertex AI 提供可选的云路由。一个表面规划器会将每个请求映射到正确的提供商 API 表面和服务层级。您可以保留您已用于 Chat Completions、Responses、Interactions 和 Anthropic Messages 的请求格式，并设置一个必填字段：`start_within`。

一个可选的 `provider` 数组可以固定您的请求所走的路由。直接路由连接到 OpenAI、Gemini 和 Anthropic；云路由则通过您自己的云账户提供相同的模型服务——`bedrock` 通过 Amazon Bedrock 运行 `claude-*`，`vertex` 通过 Google Vertex AI 运行 `gemini-*`，均在标准层级运行，不参与 flex 竞价。请参阅[提供商路由](/zh/models)。

您只需一次性提供您的提供商密钥。FlexInference 会加密存储 BYOK 密钥，并且不会在每次请求时要求提供。请求通过 FlexInference 密钥进行身份验证；路由器会从该密钥解析您的组织，检查强一致性撤销注册表，并使用存储的提供商密钥来处理选定的服务表面。

在超过 60,000 个真实请求中，flex 路由将按 token 加权的成本降低了约 47%，同时首次 token 的响应时间增加了约 16%。

<Info>
  FlexInference 不销售推理服务。您需自带提供商密钥 (BYOK)——OpenAI、Gemini 或 Anthropic，以及用于云路由的 Google Vertex AI express 密钥或 Amazon Bedrock 密钥——提供商将根据请求所使用的层级直接向您的账户收费。我们在此基础上增加了成本路由功能，该功能会考虑您愿意等待的时间。
</Info>

标准路由是免费的。对于 flex 路由，FlexInference 会收取节省金额的 20%。没有节省，就没有费用。不收取每请求费用，也没有 token 加价。

每个成功的响应都包含 `x-flexinference-flex-applied` 和 `x-flexinference-flex-reason`，以及响应的 `service_tier`，以便您审计请求是否由 flex 提供服务或为何回退。

## 存在原因

OpenAI 为相同的模型提供了多个服务层级。flex（批处理）层级的成本是标准费率的一半，但容量不保证。关注延迟的应用程序需要一种按请求的方式来决定何时可以接受等待。

`start_within` 是您允许请求开始运行前的最长时间。它不是一个硬性的完成截止日期。当用户正在等待时，请使用较短的值；对于更注重成本的后台工作，请使用较长的值。

<CardGroup cols={3}>
  <Card title="立即需要" icon="bolt">
    `start_within: "priority"` 会路由到 OpenAI 的优先层级。
  </Card>

  <Card title="可以稍等" icon="hourglass-half">
    `start_within: "00h-00m-30s"` 会首先尝试更便宜的 flex 层级。如果 flex
    无法在 30 秒内开始，FlexInference 会将请求提升到您的标准层级，使其仍然能够运行。
  </Card>

  <Card title="默认" icon="equals">
    `start_within: "default"` 使用 OpenAI 的默认层级和定价。（`"auto"`
    让 OpenAI 自行选择。）
  </Card>
</CardGroup>

大多数路由器通过从更强大的模型转向更便宜的模型来降低成本。FlexInference 保持模型不变。它首先尝试更便宜的 flex 层级，如果 flex 无法在 `start_within` 时间内开始，则会升级到标准层级。升级的成本不会高于直接以标准价格调用提供商的成本。

## 即插即用兼容

将您的基础 URL 设置为 FlexInference 并包含 `start_within`。路由器会保持提供商请求和响应的形状不变，支持 OpenAI、Gemini 和 Anthropic 的流式传输、工具调用、结构化输出、视觉和推理功能。

```
https://api.flexinference.com/v1
```

<CardGroup cols={2}>
  <Card title="快速入门" icon="rocket" href="/zh/quickstart">
    从零开始发送您的第一个请求。
  </Card>

  <Card title="截止日期路由" icon="hourglass-half" href="/zh/deadline-routing">
    `start_within` 的工作原理，以及何时会升级到标准层级。
  </Card>

  <Card title="身份验证" icon="key" href="/zh/authentication">
    FlexInference API 密钥，以及您自己的 OpenAI、Gemini 或 Anthropic 密钥。
  </Card>

  <Card title="支持的模型" icon="layer-group" href="/zh/models">
    支持 flex 路由的模型。
  </Card>

  <Card title="提供商路由" icon="route" href="/zh/models">
    固定路由，或通过 Amazon Bedrock 或 Google Vertex
    AI 添加云路由。
  </Card>
</CardGroup>

## 演示文稿

三个录制的演示文稿并行比较了同一模型的两次运行：一侧设置了 `start_within` 截止日期，另一侧使用默认路由。每个演示文稿都提供完整的纯文本记录，方便人类和代理阅读：

* [Gemini 图像分类](https://www.flexinference.com/transcripts/gemini-image-classification.txt)
* [OpenAI 浏览器代理](https://www.flexinference.com/transcripts/openai-browser-agent.txt)
* [OpenAI 深度研究](https://www.flexinference.com/transcripts/openai-deep-research.txt)

视频本身可在 [FlexInference 主页](https://www.flexinference.com/#demos)上观看。