Passer au contenu principal
FlexInference est un routeur de délai compatible OpenAI pour OpenAI, Gemini et Anthropic, avec des routes cloud optionnelles via Amazon Bedrock et Google Vertex AI. Un planificateur de surface mappe chaque requête à la surface d’API et au niveau de service du fournisseur approprié. Vous conservez les formes de requête que vous utilisez déjà pour les Chat Completions, Responses, Interactions et Anthropic Messages, et définissez un champ obligatoire : start_within. Un tableau provider optionnel fixe la route que prend votre requête. Les routes directes atteignent OpenAI, Gemini et Anthropic ; les routes cloud servent le même modèle sur votre propre compte cloud - bedrock exécute claude-* via Amazon Bedrock et vertex exécute gemini-* via Google Vertex AI, au niveau standard sans flex race. Voir routage par fournisseur. Vous apportez vos clés de fournisseur une seule fois. FlexInference stocke les clés BYOK chiffrées et ne les exige jamais par requête. Les requêtes s’authentifient avec une clé FlexInference ; le routeur résout votre organisation à partir de cette clé, vérifie le registre de révocation fortement cohérent et utilise la clé de fournisseur stockée pour la surface sélectionnée. Sur plus de 60 000 requêtes réelles, le routage flex réduit le coût pondéré par les tokens d’environ 47 %, pour environ 16 % de temps supplémentaire jusqu’au premier token.
FlexInference ne vend pas d’inférence. Vous apportez votre propre clé de fournisseur (BYOK) - OpenAI, Gemini ou Anthropic, plus une clé Google Vertex AI express ou une clé Amazon Bedrock pour une route cloud - et le fournisseur facture votre compte directement au niveau qui a servi la requête. Nous ajoutons un routage des coûts qui respecte le temps que vous pouvez attendre.
Le routage standard est gratuit. Pour le routage flex, FlexInference facture 20 % de l’argent économisé. Pas d’économies signifie pas de frais. Il n’y a pas de frais par requête ni de majoration de token. Chaque réponse réussie inclut x-flexinference-flex-applied et x-flexinference-flex-reason, ainsi que le service_tier de la réponse, afin que vous puissiez vérifier si flex a servi la requête ou pourquoi elle a échoué.

​
Pourquoi cela existe

OpenAI expose plusieurs niveaux de service pour les mêmes modèles. Le niveau flex (batch) coûte la moitié du tarif standard, mais la capacité n’est pas garantie. Les applications soucieuses de la latence ont besoin d’un moyen par requête pour décider quand l’attente est acceptable. start_within est le temps maximum que vous autorisez avant que la requête ne commence à s’exécuter. Ce n’est pas une date limite de complétion stricte. Utilisez une valeur courte lorsqu’un utilisateur attend ; utilisez une valeur plus longue pour le travail en arrière-plan où un coût inférieur est plus important.

Besoin immédiat

start_within: "priority" achemine vers le niveau de priorité d’OpenAI.

Peut attendre un peu

start_within: "00h-00m-30s" essaie d’abord le niveau flex moins cher. Si flex ne peut pas démarrer dans les 30 secondes, FlexInference déplace la requête vers votre niveau standard afin qu’elle s’exécute quand même.

Par défaut

start_within: "default" utilise le niveau et la tarification par défaut d’OpenAI. ("auto" laisse OpenAI choisir.)
La plupart des routeurs réduisent les coûts en passant d’un modèle plus puissant à un modèle moins cher. FlexInference maintient le modèle fixe. Il essaie d’abord le niveau flex moins cher, puis passe au niveau standard si flex ne peut pas démarrer dans le délai start_within. L’escalade ne coûte pas plus cher que d’appeler le fournisseur directement au prix standard.

​
Compatible sans modification

Définissez votre URL de base sur FlexInference et incluez start_within. Le routeur conserve la forme de la requête et de la réponse du fournisseur intacte pour le streaming, l’appel d’outils, les sorties structurées, la vision et le raisonnement sur OpenAI, Gemini et Anthropic.

Démarrage rapide

Passez de zéro à votre première requête.

Routage par délai

Comment fonctionne start_within et quand l’escalade vers le standard intervient.

Authentification

Clés API FlexInference, plus votre propre clé OpenAI, Gemini ou Anthropic.

Modèles pris en charge

Les modèles qui prennent en charge le routage flex.

Routage par fournisseur

Épinglez une route, ou ajoutez une route cloud via Amazon Bedrock ou Google Vertex AI.