Saltar para o conteúdo principal
FlexInference é um roteador de prazo compatível com OpenAI para OpenAI, Gemini e Anthropic, com rotas opcionais em nuvem através do Amazon Bedrock e Google Vertex AI. Um planejador de superfície mapeia cada solicitação para a superfície de API e o nível de serviço do provedor correto. Você mantém os formatos de solicitação que já usa para Chat Completions, Responses, Interactions e Anthropic Messages, e define um campo obrigatório: start_within. Um array provider opcional fixa a rota que sua solicitação segue. As rotas diretas alcançam OpenAI, Gemini e Anthropic; as rotas em nuvem servem o mesmo modelo em sua própria conta de nuvem - bedrock executa claude-* através do Amazon Bedrock e vertex executa gemini-* através do Google Vertex AI, no nível padrão sem flex race. Veja roteamento de provedor. Você traz suas chaves de provedor uma única vez. O FlexInference armazena as chaves BYOK criptografadas e nunca as exige por solicitação. As solicitações são autenticadas com uma chave FlexInference; o roteador resolve sua organização a partir dessa chave, verifica o registro de revogação fortemente consistente e usa a chave de provedor armazenada para a superfície selecionada. Em mais de 60.000 solicitações reais, o roteamento flex reduz o custo ponderado por token em cerca de 47%, por aproximadamente 16% a mais de tempo para o primeiro token.
O FlexInference não vende inferência. Você traz sua própria chave de provedor (BYOK)
  • OpenAI, Gemini ou Anthropic, além de uma chave Google Vertex AI express ou uma chave Amazon Bedrock para uma rota em nuvem - e o provedor fatura sua conta diretamente no nível que atendeu à solicitação. Adicionamos roteamento de custo que respeita o tempo que você pode esperar.
O roteamento padrão é gratuito. Para o roteamento flex, o FlexInference cobra 20% do dinheiro economizado. Sem economia significa sem taxa. Não há cobrança por solicitação e nenhuma margem de token. Cada resposta bem-sucedida inclui x-flexinference-flex-applied e x-flexinference-flex-reason, juntamente com o service_tier da resposta, para que você possa auditar se o flex atendeu à solicitação ou por que ela falhou.

​
Por que existe

A OpenAI expõe múltiplos níveis de serviço para os mesmos modelos. O nível flex (batch) custa metade da taxa padrão, mas a capacidade não é garantida. Aplicativos que se preocupam com a latência precisam de uma maneira por solicitação para decidir quando a espera é aceitável. start_within é o tempo máximo que você permite antes que a solicitação comece a ser executada. Não é um prazo de conclusão rígido. Use um valor curto quando um usuário estiver esperando; use um valor mais longo para trabalho em segundo plano onde um custo menor é mais importante.

Precisa agora

start_within: "priority" roteia para o nível de prioridade da OpenAI.

Pode esperar um pouco

start_within: "00h-00m-30s" tenta primeiro o nível flex mais barato. Se o flex não puder iniciar em 30 segundos, o FlexInference move a solicitação para o seu nível padrão para que ela ainda seja executada.

Padrão

start_within: "default" usa o nível e o preço padrão da OpenAI. ("auto" permite que a OpenAI escolha.)
A maioria dos roteadores reduz o custo mudando de um modelo mais forte para um modelo mais barato. O FlexInference mantém o modelo fixo. Ele tenta primeiro o nível flex mais barato e, em seguida, escala para o nível padrão se o flex não puder iniciar dentro de start_within. A escalada não custa mais do que chamar o provedor diretamente com o preço padrão.

​
Compatível com substituição direta

Defina sua URL base para FlexInference e inclua start_within. O roteador mantém o formato de solicitação e resposta do provedor intacto para streaming, chamada de ferramentas, saídas estruturadas, visão e raciocínio em OpenAI, Gemini e Anthropic.

Início Rápido

Vá do zero à sua primeira solicitação.

Roteamento por prazo

Como start_within funciona e quando a escalada para o padrão é acionada.

Autenticação

Chaves de API FlexInference, além da sua própria chave OpenAI, Gemini ou Anthropic.

Modelos suportados

Os modelos que suportam roteamento flex.

Roteamento de provedor

Fixe uma rota ou adicione uma rota em nuvem através do Amazon Bedrock ou Google Vertex AI.