FlexInference API key
在控制面板中创建密钥。控制面板仅显示一次;请将其作为秘密妥善保管。将其作为 bearer token 在Authorization 中发送:
start_within,它设置了请求可以等待启动的最长时间。default 使用标准层。指定持续时间可以让表面规划器首先尝试更便宜的 flex 层,如果 flex 无法在截止日期前启动,则升级到标准层。有关值的完整列表,请参阅截止日期路由。
格式错误、已撤销或未知的密钥将返回 401 invalid_api_key。每个 FlexInference 密钥都带有校验和,因此明显的拼写错误会在任何提供商调用之前被拒绝。撤销会在路由之前进行检查。如果您遇到此错误,请检查您是否复制了完整的密钥,它是否以 flex_live_ 开头,以及您是否未在控制面板中撤销它。如果您不确定它是否仍然有效,请创建一个新密钥。
您的提供商密钥 (BYOK)
FlexInference 不转售推理服务。请在控制面板中一次性添加您的提供商密钥:用于 GPT 模型的 OpenAI (sk-...),用于 Gemini 模型的 Gemini (AIza...),用于 Claude 模型的 Anthropic (sk-ant-...),或三者的任意组合。对于云路由,请添加 Vertex express 密钥(AQ. 前缀)或 Bedrock bearer 密钥(ABSK 前缀)及其区域。提供商将直接向您的账户收费。
模型和可选的 provider 数组选择提供商密钥。默认情况下,模型名称会选择密钥:gemini-* 模型使用您的 Gemini 密钥,claude-* 模型使用您的 Anthropic 密钥,其他所有模型都使用您的 OpenAI 密钥。当您使用 provider 锁定路由时,链中的每个路由都使用该路由的密钥:google 路由使用您的 Gemini 密钥,anthropic 路由使用您的 Anthropic 密钥,openai 路由使用您的 OpenAI 密钥。vertex 和 bedrock 云路由使用它们自己的密钥:vertex 路由使用您的 Vertex express 密钥(AQ. 前缀),bedrock 路由使用您的 Bedrock bearer 密钥(ABSK 前缀)和区域。请参阅提供商路由。
每个提供商密钥都以组织绑定方式加密存储在静态存储中。FlexInference 绝不会记录、返回或要求您在每个请求中发送它。
如果请求需要未配置的密钥,您将收到 400 no_byok_key (OpenAI)、400 no_gemini_key (Gemini)、400 no_anthropic_key (Anthropic)、400 no_vertex_key (Vertex) 或 400 no_bedrock_key (Bedrock)。请在控制面板中添加密钥并重试。如果存储的密钥存在但无法解密,请求将失败并显示 500 internal_error,而不是缺少密钥的错误。
您在 provider 链中命名的每个路由都需要其密钥,而不仅仅是主路由。缺少密钥是配置错误而不是瞬时故障,因此它会在任何上游调用之前被拒绝,并且绝不会落入链中的下一个路由:即使您的 Anthropic 密钥存在,没有 Bedrock 密钥的 ["bedrock","anthropic"] 也会返回 400 no_bedrock_key。请参阅提供商路由。
您在此处添加的 Bedrock 密钥是您的推理密钥(
ABSK 前缀)。它与 bedrock 路由上四个最新的 Claude 模型所需的 AWS 账户设置不同:一次性的 provider_data_share 数据保留选择加入和模型协议,使用管理员的 AWS 凭据运行一次,而不是此推理密钥。在此完成之前,这些模型将返回 403 bedrock_model_access_denied。请参阅最新模型设置。由于计费在您自己的提供商账户上运行,因此您现有的速率限制、配额和支出控制仍然适用。无论请求是发送到 OpenAI、Gemini 还是 Anthropic,这都适用。