start_within, e o FlexInference tentará a camada flex mais barata antes de escalar para a standard. Funciona com OpenAI, Gemini e Anthropic, e você pode fixar uma rota de nuvem para servir o mesmo modelo através do Amazon Bedrock ou Google Vertex AI. Em uma requisição flex, o FlexInference cobra 20% da economia e não cobra nada quando não há economia.
Pré-requisitos
- Uma chave de API da OpenAI com crédito disponível. O FlexInference usa sua chave como BYOK, e a OpenAI fatura você diretamente.
- Um terminal com
curl, ou Python 3.9+, ou Node.js 18+.
Começar
1
Criar uma conta FlexInference
Vá para o painel e faça login. Sua conta é sua própria organização. Ela possui suas chaves de API e rastreia o uso, mantendo suas chaves e fatura separadas de outras organizações.
2
Criar uma chave de API
No painel, crie uma chave. Ela começa com
flex_live_... e aparece apenas uma vez. Armazene-a agora. Envie esta chave ao FlexInference em vez da sua chave OpenAI.3
Adicionar sua chave OpenAI (BYOK)
Cole sua chave OpenAI no painel. O FlexInference a armazena criptografada e a usa apenas para requisições feitas em seu nome; você não a envia por requisição. Consulte Autenticação para obter os detalhes.
4
Fazer sua primeira requisição
Aponte seu cliente para
https://api.flexinference.com/v1 e adicione start_within. Aqui, 00h-00m-30s significa que a requisição pode esperar até 30 segundos para iniciar. O FlexInference tenta a camada flex da OpenAI primeiro porque custa menos, mas pode entrar em fila. Se a flex não iniciar em 30 segundos, o FlexInference executa a camada standard normal. A standard é a camada de preço total e inicia imediatamente.A flex é a camada mais barata e pode esperar em uma fila antes de iniciar. A standard é a camada normal de preço total e inicia imediatamente. O FlexInference prioriza o preço, não a qualidade: ele começa com flex e usa standard apenas quando a flex excederia seu limite de tempo.start_within é o tempo máximo de espera antes do início da requisição. Escreva-o como uma duração, como 00h-00m-30s para 30 segundos. Um valor maior dá mais tempo para a flex iniciar, o que pode economizar mais dinheiro. Um valor menor move a requisição para a standard mais cedo. O exemplo do Claude passa default em vez de uma duração porque a Anthropic não tem uma camada flex para competir, então a requisição vai direto para a standard. O valor limita o tempo de início, não o tempo total de geração. Consulte a página de roteamento para a lista completa de valores.Uma resposta
200 com "service_tier": "flex" significa que a flex iniciou a tempo e
economizou dinheiro nesta chamada. "service_tier": "default" significa que o FlexInference usou a
standard porque a flex excederia seu limite de tempo. Os cabeçalhos de resposta
x-flexinference-flex-applied e x-flexinference-flex-reason expõem o
mesmo resultado para código. De qualquer forma, a requisição é concluída a tempo.Se sua primeira requisição falhar, leia o corpo do erro. Os erros do FlexInference indicam
o que deu errado, por que aconteceu, como corrigir e incluem um exemplo funcional.
Se você não adicionou sua chave OpenAI no painel, o erro informará isso e apontará
para a página que o corrige. Erros do provedor são repassados com seu status e corpo
originais. Consulte a página de erros para a lista completa.
O que tentar a seguir
Defina seu limite de tempo
Aprenda os valores de
start_within e a regra que move as requisições de flex
para standard.Streaming, ferramentas, visão
Use streaming, ferramentas e visão em OpenAI, Gemini e Anthropic.