Preços e faturamento

A FlexInference é gratuita para rotear. Você paga à FlexInference apenas quando uma solicitação flex obtém um preço de provedor mais barato. A taxa é uma parte dessa economia, não uma margem de lucro por token.

​

O que você paga

A FlexInference cobra 20% do dinheiro economizado em uma solicitação flex. Uma solicitação flex é uma chamada que define start_within para uma duração e pode realmente executar a corrida flex. Apenas um modelo precificado e não-Anthropic pode executar flex, o que significa os modelos OpenAI e Gemini compatíveis com flex. Parâmetros de Chat Completions apenas nativos não podem ser combinados com uma duração start_within, então essas solicitações são rejeitadas antes do faturamento. start_within é um orçamento de prazo, como 30 segundos. A FlexInference pode gastar esse tempo tentando iniciar a solicitação em um nível mais barato. Se nenhum nível mais barato puder iniciar antes que o orçamento expire, o roteador escala para o seu modelo padrão. start_within é um orçamento que você define, não uma garantia de tempo de início. O roteamento flex começa com o nível mais barato e avança para o padrão quando necessário. Ele não roteia o padrão primeiro para depois fazer o downgrade. A economia é a diferença entre o preço padrão do provedor para a chamada e o preço flex mais barato usado para essa chamada. A FlexInference fica com 20% dessa diferença. Você mantém os outros 80%. Se uma solicitação flex não economizar nada, você não deve nada.

​

O que é gratuito

• Todo o roteamento default, priority e auto, em qualquer modelo. Essas rotas funcionam como proxy direto para o provedor. A FlexInference não tenta um nível mais barato, então não há economia para compartilhar e nenhuma taxa.
• Todas as solicitações de nível Anthropic (Claude). Claude é apenas proxy. Não possui nível flex, então as solicitações default, priority e auto em modelos claude-* nunca são solicitações flex faturáveis. Consulte modelos.
• Falhas de validação não são cobradas. Uma duração em um modelo OpenAI ou Gemini não compatível com flex, ou em qualquer modelo Claude, retorna 400 na validação. Não é faturado nem atendido. Use um valor de nível em vez disso.
• Rotas de nuvem são pass-through sem preço. As rotas de nuvem vertex e bedrock servem apenas no nível padrão, então nunca incorrem em uma taxa flex. A FlexInference passa o uso da nuvem sem preço, sem margem de lucro e sem comissão; apenas uma solicitação direta atendida por flex gera a comissão de 20%. Consulte roteamento de provedor.

Apenas uma solicitação flex precificada em um modelo OpenAI ou Gemini incorre em uma taxa para você.

​

Traga sua própria chave (BYOK)

A FlexInference roteia com suas chaves de provedor. Adicione suas chaves OpenAI, Gemini ou Anthropic no painel; a FlexInference as armazena criptografadas e as usa para roteamento. Você não envia chaves de provedor por solicitação. Seu provedor cobra você diretamente pelos tokens às suas taxas. A FlexInference não adiciona margem de lucro sobre os tokens e não lida com o gasto de tokens. A única cobrança da FlexInference é a taxa flex de 20% descrita acima.

​

Cache de prompt entre provedores

O cache de prompt reduz o custo de tokens de entrada repetidos, e cada provedor executa seu próprio cache. O cache de prompt não é transportado entre provedores: quando um fallback de provedor atende sua solicitação em uma rota de provedor diferente, o cache do provedor de fallback se aplica independentemente e se aquece com o uso repetido. A primeira solicitação na nova rota paga o preço total do token de entrada, e as solicitações posteriores utilizam o cache desse provedor à medida que ele se preenche. Uma solicitação atendida em sua rota nativa usa o cache desse provedor como de costume.

​

Como seu cartão é cobrado

Adicione ou atualize um cartão na página Faturamento do painel. Seu saldo não pago aumenta quando as solicitações flex economizam dinheiro:

• A FlexInference cobra seu cartão automaticamente todos os meses assim que seu saldo não pago atinge $20.
• Um saldo **abaixo de $20 é transferido** para o mês seguinte. A FlexInference o cobra assim que ele ultrapassa$20. Se um saldo transferido permanecer por cerca de três meses e ainda valer pelo menos o mínimo de **$0.50** do Stripe, a FlexInference o cobra então, mesmo que nunca tenha atingido$20.

​

Atraso e o 402

Uma única falha de cobrança não pausa o flex. Quando um pagamento falha, a organização entra em um período de carência, e o flex faturável continua funcionando enquanto a FlexInference tenta a cobrança novamente. A FlexInference pausa o flex apenas após o término do período de carência. Isso acontece quando cerca de três semanas se passam sem um pagamento bem-sucedido, quando a fatura é contestada ou considerada incobrável, ou quando não há um cartão válido registrado. Uma vez que o flex é pausado:

• As solicitações flex faturáveis retornam um 402 payment_required.
• O roteamento gratuito (default, priority, auto) e todas as solicitações de nível Anthropic continuam funcionando. Apenas o flex precificado é afetado.

Uma solicitação flex pausada retorna 402 payment_required com um corpo que identifica o estado de faturamento falho e como resolvê-lo. Consulte o erro 402 para o JSON exato. Para remover a pausa, adicione ou atualize um cartão na página Faturamento do painel e tente novamente.