Saltar para o conteúdo principal
Envie uma requisição através do FlexInference com sua chave de provedor existente. Aponte seu cliente compatível com OpenAI para o FlexInference, adicione start_within, e o FlexInference tentará a camada flex mais barata antes de escalar para a standard. Funciona com OpenAI, Gemini e Anthropic, e você pode fixar uma rota de nuvem para servir o mesmo modelo através do Amazon Bedrock ou Google Vertex AI. Em uma requisição flex, o FlexInference cobra 20% da economia e não cobra nada quando não há economia.

Pré-requisitos

  • Uma chave de API da OpenAI com crédito disponível. O FlexInference usa sua chave como BYOK, e a OpenAI fatura você diretamente.
  • Um terminal com curl, ou Python 3.9+, ou Node.js 18+.

Começar

1

Criar uma conta FlexInference

Vá para o painel e faça login. Sua conta é sua própria organização. Ela possui suas chaves de API e rastreia o uso, mantendo suas chaves e fatura separadas de outras organizações.
2

Criar uma chave de API

No painel, crie uma chave. Ela começa com flex_live_... e aparece apenas uma vez. Armazene-a agora. Envie esta chave ao FlexInference em vez da sua chave OpenAI.
3

Adicionar sua chave OpenAI (BYOK)

Cole sua chave OpenAI no painel. O FlexInference a armazena criptografada e a usa apenas para requisições feitas em seu nome; você não a envia por requisição. Consulte Autenticação para obter os detalhes.
4

Fazer sua primeira requisição

Aponte seu cliente para https://api.flexinference.com/v1 e adicione start_within. Aqui, 00h-00m-30s significa que a requisição pode esperar até 30 segundos para iniciar. O FlexInference tenta a camada flex da OpenAI primeiro porque custa menos, mas pode entrar em fila. Se a flex não iniciar em 30 segundos, o FlexInference executa a camada standard normal. A standard é a camada de preço total e inicia imediatamente.A flex é a camada mais barata e pode esperar em uma fila antes de iniciar. A standard é a camada normal de preço total e inicia imediatamente. O FlexInference prioriza o preço, não a qualidade: ele começa com flex e usa standard apenas quando a flex excederia seu limite de tempo.start_within é o tempo máximo de espera antes do início da requisição. Escreva-o como uma duração, como 00h-00m-30s para 30 segundos. Um valor maior dá mais tempo para a flex iniciar, o que pode economizar mais dinheiro. Um valor menor move a requisição para a standard mais cedo. O exemplo do Claude passa default em vez de uma duração porque a Anthropic não tem uma camada flex para competir, então a requisição vai direto para a standard. O valor limita o tempo de início, não o tempo total de geração. Consulte a página de roteamento para a lista completa de valores.
Uma resposta 200 com "service_tier": "flex" significa que a flex iniciou a tempo e economizou dinheiro nesta chamada. "service_tier": "default" significa que o FlexInference usou a standard porque a flex excederia seu limite de tempo. Os cabeçalhos de resposta x-flexinference-flex-applied e x-flexinference-flex-reason expõem o mesmo resultado para código. De qualquer forma, a requisição é concluída a tempo.
Se sua primeira requisição falhar, leia o corpo do erro. Os erros do FlexInference indicam o que deu errado, por que aconteceu, como corrigir e incluem um exemplo funcional. Se você não adicionou sua chave OpenAI no painel, o erro informará isso e apontará para a página que o corrige. Erros do provedor são repassados com seu status e corpo originais. Consulte a página de erros para a lista completa.

O que tentar a seguir

Defina seu limite de tempo

Aprenda os valores de start_within e a regra que move as requisições de flex para standard.

Streaming, ferramentas, visão

Use streaming, ferramentas e visão em OpenAI, Gemini e Anthropic.