O que é FlexInference?
FlexInference é um roteador LLM com reconhecimento de prazo. Ele funciona com OpenAI, Gemini e Anthropic, e é compatível com OpenAI, então você mantém o SDK da OpenAI. Você traz sua própria chave de provedor. Aponte a URL base para FlexInference e adicione um prazostart_within a qualquer solicitação. Dentro dessa janela, competimos com um nível flex mais barato e devolvemos o modelo exato que você pediu. As solicitações padrão permanecem gratuitas. Quando o flex supera o preço padrão, retemos 20% do que ele economiza para você, cobrado assim que seu saldo ultrapassa US$ 20. Você também pode fixar a rota com um array de provedores opcional, incluindo rotas de nuvem que servem o mesmo modelo através do Amazon Bedrock (Claude) ou Google Vertex AI (Gemini) com sua própria chave de nuvem.
O que é start_within?
Um campo obrigatório em cada solicitação. Defina-o comodefault, priority, auto ou uma duração HHh-MMm-SSs (5 segundos a 10 minutos). Em modelos compatíveis com flex, uma duração busca um nível mais barato para o modelo que você selecionou. Se essa corrida flex não conseguir encontrar inferência mais barata a tempo, escalamos sua solicitação para uma solicitação default. Dessa forma, você obtém uma resposta, mas sempre que possível, por um preço mais baixo.
Quanto o FlexInference economiza?
Em todo o nosso tráfego, o roteamento flex reduz o custo combinado em aproximadamente 47%, por cerca de 16% mais tempo para o primeiro token. Nunca cobramos em solicitaçõesdefault, auto ou priority, então você evita instantaneamente o acréscimo de aproximadamente 5,5% que outros roteadores adicionam a elas. As economias reais dependem de seus modelos, provedores e do prazo que você definir. Anthropic é apenas proxy e não obtém as economias flex.
O que acontece se o FlexInference não conseguir encontrar inferência mais barata?
Se a corrida flex não conseguir encontrar inferência mais barata dentro do seu prazostart_within, escalamos a solicitação para uma solicitação de nível padrão, default, para que você ainda receba sua resposta. Cobramos uma comissão apenas quando uma solicitação flex realmente economiza dinheiro para você, então uma solicitação que não encontra nada mais barato não tem taxa.
Se o flex perder a corrida, eu pago por isso?
Não. Escalamos para o padrão antes que o flex escreva um único token de saída, então não há resposta flex para pagar e nenhuma comissão em uma solicitação que não economizou nada. Se uma tentativa flex começar e falhar antes de ser confirmada, ela pode queimar alguns tokens de entrada; seu provedor os cobra diretamente e nós os repassamos sem margem de lucro.Quais provedores e modelos vocês suportam?
Todos os modelos OpenAI, Gemini e Anthropic. Apenas aqueles que suportam flex estão disponíveis para busca de inferência mais barata. Você também pode fixar a rota com um array de provedores opcional:openai, google e anthropic são rotas diretas, enquanto Vertex (Gemini) e Bedrock (Claude) são rotas de nuvem que servem o mesmo modelo através do Google Vertex AI e Amazon Bedrock usando sua própria chave de nuvem. As rotas de nuvem funcionam apenas no nível padrão, sem flex.
Vocês têm um servidor MCP?
Sim. Aponte qualquer cliente MCP, como Claude ou Cursor, para https://mcp.flexinference.com/mcp. Duas ferramentas de documentação funcionam sem login. Elas pesquisam a documentação e procuram qualquer código de erro. Após um login OAuth único, um agente também pode ler seu uso e economias, listar, criar ou revogar chaves de API e verificar o faturamento, cada um com seu próprio escopo. Nunca aceitamos uma chave de provedor bruta via MCP, então adicione-as no painel. Consulte a documentação do MCP para configuração.Seus erros são construídos para agentes de codificação?
Sim. Os erros retornam na forma do endpoint que você chamou, OpenAI, Anthropic ou Google, para que o SDK que você já usa os analise sem alterações. A forma OpenAI adiciona um código legível por máquina, o campo ofensivo e umadoc_url. Cada mensagem declara o que quebrou, a regra que você atingiu e a correção exata com um exemplo, então mostrá-la ao seu agente geralmente é suficiente para corrigir na primeira tentativa.
Os modelos Anthropic obtêm a busca de inferência mais barata?
Não. Anthropic é apenas proxy: sem corrida flex e sem economia de custos. Você obtém a mesma API unificada, sua chave criptografada em repouso e controle de nível de serviço (default, priority, auto), e você usa seus próprios créditos Anthropic. Chame qualquer modelo claude-* em /v1/responses, ou use o formato Anthropic Messages diretamente em /v1/messages.
Vocês suportam caching?
Sim, caching lexical, caching semântico em breve.Vocês suportam provedores de fallback?
Sim. Envie um array de provedores ordenado opcional para fixar sua rota. O elemento 0 é a rota primária e o único gate flex; o restante é uma cadeia de fallback do mesmo modelo, tentada em ordem quando uma rota falha transitoriamente, então um fallback muda a rota, nunca seu modelo ou nível. As rotas são as três diretas (openai, google, anthropic) mais duas rotas de nuvem, bedrock para claude-* e vertex para gemini-*, ambas de nível padrão sem flex; gpt-* é apenas openai. Cada rota que você nomeia precisa de sua chave: uma chave ausente é um erro de configuração que retorna um 400 para essa rota e nunca passa. O fallback cobre apenas falhas upstream transitórias: um 429, um 5xx, um erro de conexão ou um timeout. Consulte a documentação de modelos para as cadeias válidas.
Vocês suportam retries upstream (para os provedores LLM)?
Sim. Adicione um objetoretry opcional, como uma contagem de 2, e nós re-atingimos o nível que atende sua solicitação quando ela falha ao iniciar com um 429 ou 5xx transitório. A contagem vai de 1 a 5, com backoff exponencial ou linear mais jitter, e honramos um cabeçalho Retry-After do provedor. Os retries são executados apenas antes que sua resposta seja confirmada, nunca após o primeiro token, uma falha de autenticação ou um erro do cliente. Eles se acumulam com os próprios retries do seu SDK, e relatamos quantos executamos no cabeçalho x-flexinference-retries. Consulte a documentação de roteamento de prazo.
Vocês suportam seleção automática de modelos?
Ainda não, em breve. (O valorstart_within auto é o nível de serviço da OpenAI, não este.)
Vocês cobram uma taxa por solicitação?
Não há taxa fixa por solicitação. Uma solicitação flex que supera o preço padrão acarreta uma comissão de 20% do que ela economiza para você, então você só paga quando realmente economiza; se uma solicitação não economiza nada, ela é gratuita. O roteamento padrão,priority e auto e as solicitações de nível/proxy Anthropic não têm taxa alguma.
Como vocês ganham dinheiro?
Cobramos uma comissão de 20% do dinheiro que uma solicitação flex realmente economiza para você em comparação com o preço padrão. Se uma solicitação não economiza nada, ela é gratuita, e o roteamento padrão,priority e auto e as solicitações de nível/proxy Anthropic são sempre gratuitas. A comissão acumula por solicitação e é cobrada mensalmente.
Quando e como sou cobrado?
Faturamos mensalmente assim que seu saldo ultrapassa US$ 20; um saldo menor é transferido e o liquidamos pelo menos a cada três meses para que nunca se prolongue. Adicione um cartão na página de Faturamento do painel e o cobraremos automaticamente quando uma fatura for devida. Se um pagamento estiver atrasado, o flex pago é pausado e retorna um 402, enquanto o roteamento gratuito (default, priority, auto) e todas as solicitações de nível/proxy Anthropic continuam funcionando; atualize seu cartão para retomar.