Qu’est-ce que FlexInference ?
FlexInference est un routeur LLM sensible aux délais. Il fonctionne avec OpenAI, Gemini et Anthropic, et il est compatible OpenAI, vous permettant de conserver le SDK OpenAI. Vous utilisez votre propre clé de fournisseur. Pointez l’URL de base vers FlexInference et ajoutez un délaistart_within à toute requête. Dans cette fenêtre, nous mettons en concurrence un niveau flex moins cher et vous renvoyons le modèle exact que vous avez demandé. Les requêtes standard restent gratuites. Lorsque flex bat le prix standard, nous conservons 20 % de ce que cela vous fait économiser, facturé une fois que votre solde dépasse 20 $. Vous pouvez également épingler la route avec un tableau de fournisseurs facultatif, y compris des routes cloud qui servent le même modèle via Amazon Bedrock (Claude) ou Google Vertex AI (Gemini) avec votre propre clé cloud.
Qu’est-ce que start_within ?
Un champ obligatoire sur chaque requête. Définissez-le surdefault, priority, auto, ou une durée HHh-MMm-SSs (5 secondes à 10 minutes). Sur les modèles compatibles flex, une durée recherche un niveau moins cher pour le modèle que vous avez sélectionné. Si cette course flex ne parvient pas à trouver une inférence moins chère à temps, nous faisons passer votre requête à une requête par défaut. De cette façon, vous obtenez une réponse, mais chaque fois que possible, à moindre coût.
Combien FlexInference permet-il d’économiser ?
Sur l’ensemble de notre trafic, le routage flex réduit le coût moyen d’environ 47 %, pour environ 16 % de temps supplémentaire jusqu’au premier token. Nous ne facturons jamais les requêtesdefault, auto ou priority, vous évitant ainsi instantanément la majoration d’environ 5,5 % que d’autres routeurs ajoutent sur celles-ci. Les économies réelles dépendent de vos modèles, de vos fournisseurs et du délai que vous avez défini. Anthropic est uniquement un proxy et ne bénéficie pas des économies flex.
Que se passe-t-il si FlexInference ne parvient pas à trouver une inférence moins chère ?
Si la course flex ne parvient pas à trouver une inférence moins chère dans le délaistart_within que vous avez défini, nous faisons passer la requête à une requête standard de niveau default, afin que vous obteniez toujours votre réponse. Nous ne facturons une commission que lorsqu’une requête flex vous fait réellement économiser de l’argent, donc une requête qui ne trouve rien de moins cher n’entraîne aucun frais.
Si flex perd la course, dois-je payer ?
Non. Nous passons au standard avant que flex n’écrive un seul token de sortie, il n’y a donc pas de réponse flex à payer et pas de commission sur une requête qui n’a rien économisé. Si une tentative flex démarre puis échoue avant de s’engager, elle peut brûler quelques tokens d’entrée ; votre fournisseur les facture directement et nous les transmettons sans majoration.Quels fournisseurs et modèles prenez-vous en charge ?
Tous les modèles OpenAI, Gemini et Anthropic. Seuls ceux qui prennent en charge flex sont disponibles pour la recherche d’inférence moins chère. Vous pouvez également épingler la route avec un tableau de fournisseurs facultatif :openai, google et anthropic sont des routes directes, tandis que Vertex (Gemini) et Bedrock (Claude) sont des routes cloud qui servent le même modèle via Google Vertex AI et Amazon Bedrock en utilisant votre propre clé cloud. Les routes cloud fonctionnent uniquement au niveau standard, sans flex.
Avez-vous un serveur MCP ?
Oui. Pointez n’importe quel client MCP tel que Claude ou Cursor vers https://mcp.flexinference.com/mcp. Deux outils de documentation fonctionnent sans connexion. Ils recherchent dans la documentation et consultent tout code d’erreur. Après une connexion OAuth unique, un agent peut également lire votre utilisation et vos économies, lister, créer ou révoquer des clés API, et vérifier la facturation, chacun derrière sa propre portée. Nous ne prenons jamais de clé de fournisseur brute via MCP, alors ajoutez-les sur le tableau de bord. Consultez la documentation MCP pour la configuration.Vos erreurs sont-elles conçues pour les agents de codage ?
Oui. Les erreurs sont renvoyées sous la forme du point de terminaison que vous avez appelé, OpenAI, Anthropic ou Google, de sorte que le SDK que vous utilisez déjà les analyse sans modification. La forme OpenAI ajoute un code lisible par machine, le champ incriminé et unedoc_url. Chaque message indique ce qui a échoué, la règle que vous avez enfreinte et la correction exacte avec un exemple, de sorte que le montrer à votre agent est généralement suffisant pour corriger du premier coup.
Les modèles Anthropic bénéficient-ils de la recherche d’inférence moins chère ?
Non. Anthropic est uniquement un proxy : pas de course flex et pas d’économies de coûts. Vous obtenez la même API unifiée, votre clé chiffrée au repos, et le contrôle du niveau de service (default, priority, auto), et vous utilisez vos propres crédits Anthropic. Appelez n’importe quel modèle claude-* sur /v1/responses, ou utilisez directement le format Anthropic Messages sur /v1/messages.
Prenez-vous en charge la mise en cache ?
Oui, la mise en cache lexicale, la mise en cache sémantique arrive bientôt.Prenez-vous en charge les fournisseurs de secours (fallback) ?
Oui. Envoyez un tableau de fournisseurs ordonné facultatif pour épingler votre route. L’élément 0 est la route principale et la seule porte flex ; les autres sont une chaîne de secours du même modèle, essayée dans l’ordre lorsqu’une route échoue de manière transitoire, de sorte qu’un secours modifie la route, jamais votre modèle ou votre niveau. Les routes sont les trois routes directes (openai, google, anthropic) plus deux routes cloud, bedrock pour claude-* et vertex pour gemini-*, toutes deux de niveau standard sans flex ; gpt-* est openai-only. Chaque route que vous nommez nécessite sa clé : une clé manquante est une erreur de configuration qui renvoie un 400 pour cette route et ne passe jamais. Le secours couvre uniquement les défaillances transitoires en amont : un 429, un 5xx, une erreur de connexion ou un délai d’attente. Consultez la documentation des modèles pour les chaînes valides.
Prenez-vous en charge les tentatives en amont (vers les fournisseurs LLM) ?
Oui. Ajoutez un objetretry facultatif, tel qu’un count de 2, et nous relançons le niveau servant votre requête lorsqu’il échoue à démarrer avec un 429 ou 5xx transitoire. Le count va de 1 à 5, avec un backoff exponentiel ou linéaire plus un jitter, et nous respectons un en-tête Retry-After du fournisseur. Les tentatives ne s’exécutent qu’avant que votre réponse ne soit validée, jamais après le premier token, un échec d’authentification ou une erreur client. Elles s’empilent avec les propres tentatives de votre SDK, et nous signalons le nombre de tentatives que nous avons effectuées dans l’en-tête x-flexinference-retries. Consultez la documentation sur le routage des délais.
Prenez-vous en charge la sélection automatique de modèles ?
Pas encore, cela arrive bientôt. (La valeurstart_within auto est le niveau de service d’OpenAI, pas cela.)
Facturez-vous des frais par requête ?
Il n’y a pas de frais fixes par requête. Une requête flex qui bat le prix standard entraîne une commission de 20 % de ce qu’elle vous fait économiser, vous ne payez donc que lorsque vous économisez réellement ; si une requête n’économise rien, elle est gratuite. Le routage standard,priority et auto, ainsi que les requêtes de niveau/proxy Anthropic, sont entièrement gratuits.
Comment gagnez-vous de l’argent ?
Nous facturons une commission de 20 % de l’argent qu’une requête flex vous fait réellement économiser par rapport au prix standard. Si une requête ne vous fait rien économiser, elle est gratuite, et le routage standard,priority et auto, ainsi que les requêtes de niveau/proxy Anthropic, sont toujours gratuits. La commission s’accumule par requête et est facturée mensuellement.
Quand et comment suis-je facturé ?
Nous facturons mensuellement une fois que votre solde dépasse 20 $ ; un solde plus petit est reporté et nous le réglons au moins tous les trois mois afin qu’il ne s’attarde jamais. Ajoutez une carte sur la page de facturation du tableau de bord et nous la débiterons automatiquement lorsqu’une facture est due. Si un paiement est en retard, le flex payant est mis en pause et renvoie un 402, tandis que le routage gratuit (default, priority, auto) et toutes les requêtes de niveau/proxy Anthropic continuent de fonctionner ; mettez à jour votre carte pour reprendre.