> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 支持的模型
> FlexInference 路由的模型及其接受的输入。
FlexInference 路由 **OpenAI**、**Google Gemini** 和 **Anthropic** 模型别名。请通过模型的**别名**（例如 `gpt-5.5` 或 `gemini-3.5-flash`）传递模型，而不是过时的快照。
将 `start_within` 设置为您愿意等待请求开始的最长时间。表面规划器仅对下面列出的支持 flex 的 OpenAI 和 Gemini 模型运行 flex 竞价：它会根据该预算尝试更便宜的提供商 flex 层级，如果 flex 未及时启动，则升级到标准层级。有关 flex 竞价的完整机制，请参阅[flex 竞价的工作原理](/zh/deadline-routing)。
对于非持续时间请求，FlexInference 代理其支持的提供商层级上的任何模型。Gemini 没有 `auto` 层级，因此在 Gemini 模型上使用 `auto` 会返回 `400 auto_unsupported_for_gemini`。
## 支持 Flex 的模型
### OpenAI
`gpt-5.6`, `gpt-5.6-sol`, `gpt-5.6-terra`, `gpt-5.6-luna`
`gpt-5.5`, `gpt-5.5-pro`
`gpt-5.4`, `gpt-5.4-mini`, `gpt-5.4-nano`, `gpt-5.4-pro`
`gpt-5.2`
`gpt-5`, `gpt-5-mini`, `gpt-5-nano`, `gpt-5.1`
`o3`, `o4-mini`
### Gemini
`gemini-3.5-flash`, `gemini-3.1-pro-preview`, `gemini-3.1-flash-lite`
`gemini-3-flash-preview`
`gemini-2.5-pro`, `gemini-2.5-flash`, `gemini-2.5-flash-lite`
在不在允许列表中的 OpenAI 或 Gemini 模型上设置持续时间 `start_within` 不会运行 flex 竞价。FlexInference 会返回 `400 flex_model_not_capable`。请选择列出的模型以使用 flex。要跳过 flex 竞价，请发送层级值而不是持续时间：`default`、`priority`，或者在支持的情况下发送 `auto`。FlexInference 会将支持的层级请求代理到提供商。对于 Gemini，`default` 映射到 Gemini 的 **standard** 层级，而 `auto` 返回 `400 auto_unsupported_for_gemini`。
## Anthropic (Claude)
Claude 模型路由到 Anthropic，并且是**仅代理**。它们支持 `default`、`priority` 和 `auto`，但不支持 flex 竞价。在 `claude-*` 模型上设置持续时间 `start_within` 会返回 `400 flex_unsupported_for_anthropic`，因为 Anthropic 没有 flex 层级。
`default` 映射到 Anthropic 的 **standard\_only** 服务层级。`auto` 让 Anthropic 选择。`priority` 是尽力而为的，并映射到 `auto`，因为 Anthropic 拒绝字面上的 priority 层级。
Anthropic 要求上游提供 `max_tokens`。当您设置输出 token 字段时，FlexInference 会转发该字段，并且在您省略该字段时不会合成默认值，因此 Anthropic 会因缺少限制而返回其自己的请求错误。
`claude-opus-4-8`, `claude-opus-4-7`, `claude-opus-4-6`, `claude-opus-4-5`,
`claude-opus-4-1`
`claude-sonnet-5`, `claude-sonnet-4-6`, `claude-sonnet-4-5`
`claude-haiku-4-5`
`claude-fable-5`
Claude 通过所有支持的调用者格式工作：`/v1/responses`、`/v1/chat/completions`、`/v1/interactions` 和 Anthropic 原生 [`/v1/messages`](/zh/sdks)。FlexInference 将每个格式转换为 Anthropic 的 Messages API。Anthropic 决定所服务的层级。`standard_only` 请求在响应中报告为 `"service_tier": "standard"`。
## 提供商路由
可选的有序 `provider` 数组会固定您的请求所采用的路由。元素 0 是主路由和唯一的 flex 门；元素 1 到 n 是相同模型的备用链，当路由暂时失败时按顺序尝试。省略 `provider`，FlexInference 将使用模型的原生直接路由，与以前完全相同。将数组设置为模型的原生路由是一个路由空操作，它明确地固定了相同的行为。
`google`、`openai` 和 `anthropic` 是**直接路由**。`vertex` (Gemini) 和 `bedrock` (Claude) 是**云路由**，它们在不同的提供商上提供相同的模型：`bedrock` 通过 Amazon Bedrock (Bedrock Converse) 提供 `claude-*`，`vertex` 通过 Google Vertex AI (Vertex generateContent) 提供 `gemini-*`。提供商回退只改变路由：它从不改变模型或层级，并且回退条目始终是普通的标准调用，而不是 flex 竞价。
### 您命名的每个路由都需要其密钥
链是您已配置其中每个路由的声明。每个路由都使用其自己的 BYOK 密钥：`openai` 使用您的 OpenAI 密钥，`google` 使用您的 Gemini 密钥，`anthropic` 使用您的 Anthropic 密钥，`vertex` 使用您的 Vertex express 密钥，`bedrock` 使用您的 Bedrock 密钥和区域。在仪表板的“设置”->“API 密钥”下添加它们，然后才能命名路由。
缺少密钥是配置错误，而不是暂时性故障，因此它不会回退到下一个路由。FlexInference 会在任何上游调用之前和任何可计费工作之前，以缺少密钥的路由的 `400 no_..._key` 代码拒绝请求。即使您的 Anthropic 密钥存在并且可以服务模型，没有 Bedrock 密钥的 `["bedrock","anthropic"]` 也会返回 [`400 no_bedrock_key`](/zh/errors#no_bedrock_key)。在此处回退会隐藏未配置的路由，并悄悄地在您不打算使用的提供商上为您提供服务，因此 FlexInference 会通知您。添加缺少的密钥，或从链中删除该路由。
回退仅涵盖暂时性上游故障，不包括其他情况：`429`、`5xx`、连接错误或超时，每个都在响应提交之前捕获。路由可能被预先拒绝的所有情况，包括缺少密钥、路由无法服务的模型以及格式错误的链，都是您需要修复的请求，并返回 `400`。
每个路由服务一个模型系列，因此固定无法服务您的模型的路由的链会返回 [`400 provider_model_mismatch`](/zh/errors#provider_model_mismatch)。`openai` 服务 GPT 和 o 系列模型，`google` 和 `vertex` 服务 Gemini，`anthropic` 和 `bedrock` 服务 Claude。
| 模型 | 原生直接路由 | 云路由 | 有效数组示例 | Flex 竞价？ |
| --------------------- | ----------- | --------- | ------------------------------------------------------------------------------------ | ----------------------------------------- |
| `claude-*` | `anthropic` | `bedrock` | `["anthropic"]`, `["bedrock"]`, `["anthropic","bedrock"]`, `["bedrock","anthropic"]` | 否，Claude 没有 flex 层级 |
| 支持 Flex 的 `gemini-*` | `google` | `vertex` | 同上 | 仅当元素 0 是 `google` 且 `start_within` 是持续时间时 |
| 不支持 Flex 的 `gemini-*` | `google` | `vertex` | 同上 | 否，不在 flex 允许列表中 |
| 支持 Flex 的 `gpt-*` | `openai` | 无 | `["openai"]` | 仅当元素 0 是 `openai` 且 `start_within` 是持续时间时 |
| 不支持 Flex 的 `gpt-*` | `openai` | 无 | `["openai"]` | 否，不在 flex 允许列表中 |
单元素云优先链（例如 `["vertex"]` 或 `["bedrock"]`）是到该云提供商的有效无 flex 直接路由。将持续时间 `start_within` 与云路由作为元素 0 一起使用会返回 [`400 flex_unsupported_on_cloud`](/zh/errors#flex_unsupported_on_cloud)，因为云路由没有 flex 层级可竞价；请发送层级值（`default`、`priority` 或 `auto`）代替。格式错误的数组（未知名称、重复、空数组或超过三个条目）会返回 [`400 invalid_provider_chain`](/zh/errors#invalid_provider_chain)。
### Bedrock 上的 Claude：全球路由、opus-4-1 和访问授权
`bedrock` 路由通过 Amazon 的跨区域推理配置文件提供 Claude 服务。FlexInference 将其路由为**全球优先**：它在 Bedrock 上提供的每个 `claude-*` 模型都通过全球推理配置文件寻址，因此它可以在任何 AWS 区域提供服务，无论您的组织的 Bedrock 密钥设置在哪里。一个后果是值得了解的数据驻留权衡：全球配置文件将每个请求路由到所有支持的 AWS 区域，因此不能保证请求在您自己的区域运行。在全球优先模式下，没有路由能保证在特定 AWS 区域进行处理，并且 `anthropic` 直接路由不是区域内替代方案：它到达 Anthropic 自己的基础设施，而不是您的 AWS 账户。如果区域内处理是要求，则可以通过按组织的数据驻留策略请求区域固定的 Bedrock 配置文件（`us.` 或 `eu.`，与您的 Bedrock 密钥区域匹配）。
`claude-opus-4-1` 是一个例外，它**根本不在 `bedrock` 路由上**。Amazon 仅在美国发布它，甚至不是在每个美国区域，因此 FlexInference 不会携带部分区域划分，而仅在 `anthropic` 直接路由上提供服务；它的 `["bedrock"]` 链在每个区域都会返回 [`400 bedrock_model_unavailable`](/zh/errors#bedrock_model_unavailable)。它始终在 `anthropic` 直接路由上可用，因此省略 `provider` 或发送 `["anthropic"]` 即可从任何区域访问它。
另外，一个模型可以全球提供服务，但在您的 AWS 账户中仍然是封闭的，直到您在 Amazon Bedrock 控制台中请求访问它。当 Bedrock 拥有该模型但您的 AWS 账户尚未获得授权时，您会收到 [`403 bedrock_model_access_denied`](/zh/errors#bedrock_model_access_denied)，其中会命名该模型并引用 Bedrock 的说法。（另一种情况，[`400 bedrock_model_unavailable`](/zh/errors#bedrock_model_unavailable) 适用于 Bedrock 未发布配置文件的模型，现在实际上仅适用于 `claude-opus-4-1`，因为所有其他已服务的模型都有全球配置文件。）
两者都不是您的 Bedrock 密钥的问题，并且一个有效的密钥会保持有效：这两个错误都意味着模型问题，而不是凭证问题。两者也不会回退到链中的下一个路由，因为您命名的路由是您预期已设置的路由。请将模型发送到 `anthropic` 路由，或将其授权给 AWS 账户。
### Bedrock 上最新的 Claude 模型需要一次性账户设置
一旦 AWS 账户拥有普通的 **Model access** 授权，五个 Claude 模型就可以在 `bedrock` 路由上提供服务：`claude-haiku-4-5`、`claude-sonnet-4-6`、`claude-sonnet-4-5`、`claude-opus-4-6` 和 `claude-opus-4-5`。
四个最新模型——`claude-sonnet-5`、`claude-fable-5`、`claude-opus-4-8` 和 `claude-opus-4-7`——在 Bedrock 提供服务之前，需要在 AWS 账户上额外执行两个一次性步骤。仅 Amazon Bedrock 控制台的 **Model access** 授权无法启用它们。使用管理员的 AWS 凭证（而不是您的 Bedrock 推理密钥）在每个 AWS 账户上运行这两个步骤一次。
**步骤 1 - 启用账户的提供商数据共享。** 此步骤没有控制台 UI，因此必须从 AWS CLI 运行：
```bash theme={null}
aws bedrock put-account-data-retention --mode provider_data_share
```
**步骤 2 - 接受您计划调用的每个模型的模型协议**（每个模型运行一次）：
```bash theme={null}
aws bedrock create-foundation-model-agreement
```
在完成这两个步骤之前，对这四个模型之一的 `bedrock` 请求将返回 [`403 bedrock_model_access_denied`](/zh/errors#bedrock_model_access_denied)。这是 Amazon Bedrock 账户要求，而不是 FlexInference 要求，因此无论您是通过 FlexInference 还是直接访问 Bedrock，结果都相同。`claude-opus-4-1` 不受影响，因为它根本不在 `bedrock` 路由上提供服务；请通过 `anthropic` 路由访问它。
`vertex` 和 `bedrock` 云路由现已提供服务。`bedrock` 通过 Amazon Bedrock
提供 `claude-*` 服务，`vertex` 通过 Google Vertex AI 提供 `gemini-*`
服务，始终是您请求的相同模型。每个云路由都需要在仪表板中添加该云自己的密钥：`vertex`
需要 Vertex express 密钥（`AQ.` 前缀），`bedrock` 需要 Bedrock bearer 密钥（`ABSK`
前缀）和区域。云路由仅在标准层级运行，没有 flex 竞价。两个云路由都支持文本、图像和文件：远程
`https` 图像或文件 URL 会在服务器端获取并内联（请参阅下面的[输入](#inputs)）。
## 按路由划分的功能
下表是按路由划分的快速是/否列表。每个路由都支持文本、流式传输、函数调用、图像、文件（包括 PDF）以及思考/推理；基线以下的行是路由不同的地方。`openai`、`anthropic` 和 `google` 是直接路由；`vertex` 和 `bedrock` 是云路由。
| 功能 | OpenAI (`openai`) | Anthropic (`anthropic`) | Gemini (`google`) | Vertex (`vertex`) | Bedrock (`bedrock`) |
| ----------------------------------------- | ----------------- | ----------------------- | ----------------- | ----------------- | ------------------- |
| 文本、流式传输、函数调用 | 是 | 是 | 是 | 是 | 是 |
| 图像和文件（包括 PDF） | 是 | 是 | 是 | 是 | 是 |
| 思考 / 推理 | 是 | 是 | 是 | 是 | 是\* |
| 网页搜索 | 是 | 是 | 是 | 是 | 否 |
| 引用 (`url_citation`) | 是 | 是 | 是 | 是 | 否 |
| 结构化输出 (`json_schema`) | 是 | 是 | 是 | 是 | 否 |
| `json_object` 输出格式 | 是 | 否 | 是 | 是 | 否 |
| 严格模式 (`text.format.strict`) | 是 | 否 | 否 | 否 | 否 |
| `code_execution` / `url_context` (Gemini) | 否 | 否 | 是 | 是 | 否 |
\*Bedrock 运行思考，但将推理 token 折叠到输出计数中，不报告单独的推理 token 总数；Vertex 报告推理 token。
“否”表示明确的 `400 unsupported_parameter`，而不是静默丢弃。将 `web_search`、`json_schema` 结构化输出或 `text.format.strict: true` 发送到不支持它的路由，FlexInference 将拒绝请求并命名该字段。将网页搜索或结构化输出路由到任何直接路由或 `vertex`，并将严格模式路由到 `openai`。
## Flex 结果和错误
`x-flexinference-flex-*` 标头报告成功响应上的 flex 结果。验证错误仍使用正常的错误正文。有关完整的错误格式和 Flex 结果标头，请参阅[错误页面](/zh/errors)。
* `flex_model_not_capable` 表示您向不在 flex 允许列表中的 OpenAI 或 Gemini 模型发送了持续时间 `start_within`。请使用层级值或选择支持 flex 的模型。
* `auto_unsupported_for_gemini` 表示您在 Gemini 模型上请求了 `auto`，但该模型没有 `auto` 层级。请使用 `default` 作为 Gemini 的标准层级。
* `flex_unsupported_for_anthropic` 表示您向 `claude-*` 模型发送了持续时间 `start_within`。请使用 `default`、`priority` 或 `auto` 作为 Claude。
## 输入
这些路由接受 OpenAI 兼容的输入：
* **文本**：系统、开发者、用户和助手消息。
* **图像**：传递图像 URL 或 base64 数据 URL。Base64 数据 URL 最可靠。对于 Bedrock 和 Vertex 路由，它们需要内联字节，远程 `https` 图像 URL 会在服务器端下载并为您内联，并经过 SSRF 安全检查（仅限 https，无私有或元数据主机，大小限制，以及 png/jpeg/gif/webp 的魔术字节类型检查）；如果 URL 未通过检查，则返回 `400 unsupported_parameter`，而不是静默丢弃。
* **文件**：PDF 和 Responses API 接受的其他文件输入。远程 `https` PDF URL 会在相同的检查下为 Bedrock 和 Vertex 下载并内联。
输出是文本，包括工具调用、结构化输出和推理。流式传输适用于每个模型。在 Gemini 上，`reasoning.effort` 映射到每个模型的 `thinking_level`，并可能被限制在该模型支持的范围内。
原生提供商参数仅在模型属于该提供商时才传递。有关特定于端点的直通规则，请参阅 [SDKs](/zh/sdks)。
上面的[功能矩阵](#capabilities-by-route)是按路由划分的是/否；此说明是共享功能如何映射到每个提供商。对于网页搜索，发送 Responses
`web_search` 工具；Gemini 将其映射到 `google_search`，Anthropic 将其映射到其
`web_search_20250305` 工具。无论哪个提供商服务请求，`web_search`（和 Gemini 的
`url_context`）都会将其来源作为消息输出上的规范 `url_citation`
注释返回，因此无论路由如何，您都以相同的方式读取引用。结构化输出（带有 `json_schema`
的 `text.format`）映射到 Gemini 的 `response_format` 和 Anthropic 的
`output_config`；`json_object` 映射到 Gemini 但不映射到 Anthropic。`strict`
标志仅在 OpenAI 上受支持。Gemini、Vertex 和 Anthropic 遵守响应模式形状，但不能保证严格一致性，因此
`text.format.strict: true` 在那里会返回 `400 unsupported_parameter`
而不是静默忽略；请删除 `strict` 或路由到 OpenAI 以强制执行。Gemini
还接受 `code_execution` 和 `url_context` 工具以及 `top_k`。将文件作为 base64
数据 URL 传递；PDF 在 Gemini 上最可靠。
FlexInference 会随着提供商发布新的支持 flex 的 OpenAI 和 Gemini
模型而添加它们。如果您期望的模型缺失，请检查您是否正在使用其别名以及提供商是否为其提供了 flex
层级。