您需要支付的费用
FlexInference 对 flex 请求节省金额的 20% 进行收费。flex 请求是指将start_within 设置为某个持续时间并实际运行 flex 竞价的调用。只有有定价的非 Anthropic 模型才能运行 flex,这意味着支持 flex 的 OpenAI 和 Gemini 模型。仅限原生 Chat Completions 参数不能与持续时间 start_within 结合使用,因此这些请求会在计费前被拒绝。
start_within 是一个截止时间预算,例如 30 秒。FlexInference 可以利用这段时间尝试在更便宜的层级启动请求。如果在预算到期前没有更便宜的层级可以启动,路由器会将请求升级到您的标准模型。start_within 是您设定的预算,而不是启动时间的保证。
flex 路由从更便宜的层级开始,并在需要时升级到标准层级。它不会先路由到标准层级,然后再降级。
节省的金额是提供商对该调用的标准价格与该调用使用的更便宜的 flex 价格之间的差额。FlexInference 收取该差额的 20%。您保留其余 80%。如果 flex 请求没有节省任何费用,您无需支付任何费用。
FlexInference 对节省的金额收取费用,而不是按 token 收费。当 flex 节省费用时,总成本会低于提供商的标准价格。如果节省金额为零,则费用为零。
免费项目
- 任何模型上的所有
default、priority和auto路由。这些路由直接代理到提供商。FlexInference 不会尝试更便宜的层级,因此没有可分享的节省金额,也没有费用。 - 所有 Anthropic (Claude) 层级请求。 Claude 仅支持代理。它没有 flex 层级,因此
claude-*模型上的default、priority和auto请求永远不会是可计费的 flex 请求。请参阅模型。 - 验证失败不计费。 在不支持 flex 的 OpenAI 或 Gemini 模型上,或在任何 Claude 模型上设置持续时间,会在验证时返回
400。它既不计费也不提供服务。请改用层级值。 - 云路由是未定价的直通。
vertex和bedrock云路由仅在标准层级提供服务,因此它们永远不会产生 flex 费用。FlexInference 以未定价的方式直通云使用量,不加价,不收取佣金;只有通过 flex 服务的直接请求才会产生 20% 的佣金。请参阅提供商路由。
自带密钥 (BYOK)
FlexInference 使用您的提供商密钥进行路由。在控制面板中添加您的 OpenAI、Gemini 或 Anthropic 密钥;FlexInference 会加密存储它们并用于路由。您无需在每个请求中发送提供商密钥。 您的提供商会按照其费率直接向您收取 token 费用。FlexInference 对 token 不加价,也不处理 token 支出。FlexInference 唯一的收费是上述 20% 的 flex 费用。跨提供商的 Prompt 缓存
Prompt 缓存降低了重复输入 token 的成本,并且每个提供商都运行自己的缓存。Prompt 缓存不会跨提供商共享:当提供商回退在不同提供商的路由上处理您的请求时,回退提供商自己的缓存会独立应用,并在重复使用中预热。新路由上的第一个请求支付完整的输入 token 价格,后续请求则随着该提供商缓存的填充而利用其缓存。在其原生路由上处理的请求照常使用该提供商的缓存。您的银行卡如何收费
在控制面板的账单页面添加或更新银行卡。当 flex 请求节省费用时,您的未付余额会增加:- 一旦您的未付余额达到 $20,FlexInference 会每月自动向您的银行卡收费。
- 余额**低于 20,FlexInference 就会收费。如果结转的余额持续约三个月,并且仍然至少达到 Stripe 的 **20。
逾期和 402 错误
单次扣款失败不会暂停 flex。当支付失败时,组织会进入宽限期,可计费的 flex 会继续工作,同时 FlexInference 会重试扣款。 FlexInference 仅在宽限期结束后暂停 flex。这发生在约三周内没有成功付款、发票被争议或被注销为无法收回,或者没有有效的银行卡记录时。一旦 flex 暂停:- 可计费的 flex 请求会返回
402 payment_required。 - 免费路由(
default、priority、auto)和所有 Anthropic 层级请求会继续工作。 只有有定价的 flex 会受到影响。
402 payment_required,其正文会说明失败的计费状态以及如何解决。有关确切的 JSON,请参阅 402 错误。
要解除暂停,请在控制面板的账单页面添加或更新银行卡,然后重试。
定价详情
FlexInference 营销网站上的完整定价。
402 错误
payment_required 在网络中的表现以及如何处理它。