> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.
# O que o FlexInference faz
> Um roteador compatível com OpenAI para OpenAI, Gemini e Anthropic, com roteamento em nuvem via Amazon Bedrock e Google Vertex AI. Traga sua própria chave e defina um campo, start_within, para indicar quanto tempo você pode esperar. O FlexInference encontra uma maneira mais barata de executar a mesma solicitação, e você só paga quando ele economiza seu dinheiro.
FlexInference é um roteador de prazo compatível com OpenAI para OpenAI, Gemini e Anthropic, com rotas opcionais em nuvem através do Amazon Bedrock e Google Vertex AI. Um planejador de superfície mapeia cada solicitação para a superfície da API do provedor e o nível de serviço corretos. Você mantém os formatos de solicitação que já usa para Chat Completions, Responses, Interactions e Anthropic Messages, e define um campo obrigatório: `start_within`.
Um array `provider` opcional fixa a rota que sua solicitação segue. As rotas diretas alcançam OpenAI, Gemini e Anthropic; as rotas em nuvem servem o mesmo modelo em sua própria conta de nuvem - `bedrock` executa `claude-*` através do Amazon Bedrock e `vertex` executa `gemini-*` através do Google Vertex AI, no nível padrão sem corrida flex. Consulte [provider routing](/pt/models).
Você traz suas chaves de provedor uma única vez. O FlexInference armazena chaves BYOK criptografadas e nunca as exige por solicitação. As solicitações são autenticadas com uma chave FlexInference; o roteador resolve sua organização a partir dessa chave, verifica o registro de revogação fortemente consistente e usa a chave de provedor armazenada para a superfície selecionada.
Em mais de 60.000 solicitações reais, o roteamento flex reduz o custo ponderado por token em cerca de 47%, por aproximadamente 16% mais tempo para o primeiro token.
O FlexInference não vende inferência. Você traz sua própria chave de provedor (BYOK)
* OpenAI, Gemini ou Anthropic, além de uma chave expressa do Google Vertex AI ou uma
chave do Amazon Bedrock para uma rota em nuvem - e o provedor fatura sua conta
diretamente no nível que atendeu à solicitação. Nós adicionamos roteamento de custo que
respeita o tempo que você pode esperar.
O roteamento padrão é gratuito. Para o roteamento flex, o FlexInference cobra 20% do dinheiro economizado. Sem economia significa sem taxa. Não há cobrança por solicitação e nenhuma margem de token.
Cada resposta bem-sucedida inclui `x-flexinference-flex-applied` e `x-flexinference-flex-reason`, juntamente com o `service_tier` da resposta, para que você possa auditar se o flex atendeu à solicitação ou por que ela foi revertida.
## Por que existe
OpenAI expõe múltiplos níveis de serviço para os mesmos modelos. O nível flex (batch) custa metade da taxa padrão, mas a capacidade não é garantida. Aplicativos que se preocupam com a latência precisam de uma maneira por solicitação para decidir quando a espera é aceitável.
`start_within` é o tempo máximo que você permite antes que a solicitação comece a ser executada. Não é um prazo de conclusão rígido. Use um valor curto quando um usuário estiver esperando; use um valor mais longo para trabalho em segundo plano onde um custo menor é mais importante.
`start_within: "priority"` roteia para o nível de prioridade da OpenAI.
`start_within: "00h-00m-30s"` tenta primeiro o nível flex mais barato. Se o flex
não puder iniciar em 30 segundos, o FlexInference move a solicitação para o seu
nível padrão para que ela ainda seja executada.
`start_within: "default"` usa o nível e o preço padrão da OpenAI. (`"auto"`
permite que a OpenAI escolha.)
A maioria dos roteadores reduz o custo mudando de um modelo mais forte para um modelo mais barato. O FlexInference mantém o modelo fixo. Ele tenta primeiro o nível flex mais barato e, em seguida, escala para o nível padrão se o flex não puder iniciar dentro de `start_within`. A escalada não custa mais do que chamar o provedor diretamente com o preço padrão.
## Compatível com substituição direta
Defina sua URL base para FlexInference e inclua `start_within`. O roteador mantém o formato de solicitação e resposta do provedor intacto para streaming, chamada de ferramentas, saídas estruturadas, visão e raciocínio em OpenAI, Gemini e Anthropic.
```
https://api.flexinference.com/v1
```
Vá do zero à sua primeira solicitação.
Como `start_within` funciona e quando a escalada para o padrão é acionada.
Chaves de API do FlexInference, além da sua própria chave OpenAI, Gemini ou Anthropic.
Os modelos que suportam roteamento flex.
Fixe uma rota ou adicione uma rota em nuvem através do Amazon Bedrock ou Google Vertex
AI.
## Transcrições de demonstração
Três demonstrações gravadas comparam o mesmo modelo executado duas vezes em paralelo: um lado define um prazo `start_within` e o outro usa o roteamento padrão. Cada demonstração possui uma transcrição completa em texto simples, legível por pessoas e agentes:
* [Classificação de imagem Gemini](https://www.flexinference.com/transcripts/gemini-image-classification.txt)
* [Agente de navegador OpenAI](https://www.flexinference.com/transcripts/openai-browser-agent.txt)
* [Pesquisa aprofundada OpenAI](https://www.flexinference.com/transcripts/openai-deep-research.txt)
Os próprios vídeos estão na [página inicial do FlexInference](https://www.flexinference.com/#demos).