start_within, et FlexInference essaiera le niveau flex moins cher avant de passer au niveau standard. Cela fonctionne avec OpenAI, Gemini et Anthropic, et vous pouvez épingler une route cloud pour servir le même modèle via Amazon Bedrock ou Google Vertex AI. Pour une requête flex, FlexInference facture 20 % des économies réalisées, et ne facture rien s’il n’y a pas d’économies.
Prérequis
- Une clé API OpenAI avec un crédit disponible. FlexInference utilise votre clé comme BYOK, et OpenAI vous facture directement.
- Un terminal avec
curl, ou Python 3.9+, ou Node.js 18+.
Démarrer
1
Créer un compte FlexInference
Allez sur le tableau de bord et connectez-vous. Votre compte est sa propre organisation. Il possède vos clés API et suit l’utilisation, gardant vos clés et votre facture séparées des autres organisations.
2
Créer une clé API
Dans le tableau de bord, créez une clé. Elle commence par
flex_live_... et n’apparaît qu’une seule fois. Stockez-la maintenant. Envoyez cette clé à FlexInference au lieu de votre clé OpenAI.3
Ajouter votre clé OpenAI (BYOK)
Collez votre clé OpenAI dans le tableau de bord. FlexInference la stocke chiffrée et ne l’utilise que pour les requêtes faites en votre nom ; vous ne l’envoyez pas par requête. Voir Authentification pour les détails.
4
Faire votre première requête
Pointez votre client vers
https://api.flexinference.com/v1 et ajoutez start_within. Ici, 00h-00m-30s signifie que la requête peut attendre jusqu’à 30 secondes pour démarrer. FlexInference essaie d’abord le niveau flex d’OpenAI car il coûte moins cher mais peut être mis en file d’attente. Si flex ne démarre pas dans les 30 secondes, FlexInference exécute le niveau standard normal à la place. Le niveau standard est le niveau à plein tarif et démarre immédiatement.Flex est le niveau le moins cher, et il peut attendre dans une file d’attente avant de démarrer. Standard est le niveau normal à plein tarif, et il démarre immédiatement. FlexInference augmente le prix, pas la qualité : il commence par flex et n’utilise standard que si flex dépasse votre limite de temps.start_within est le temps d’attente maximum avant le démarrage de la requête. Écrivez-le comme une durée, par exemple 00h-00m-30s pour 30 secondes. Une valeur plus grande donne plus de temps à flex pour démarrer, ce qui peut économiser plus d’argent. Une valeur plus petite déplace la requête vers standard plus tôt. L’exemple Claude passe default au lieu d’une durée car Anthropic n’a pas de niveau flex à concurrencer, donc la requête va directement au niveau standard. La valeur borne le temps de démarrage, pas le temps de génération total. Voir la page de routage pour la liste complète des valeurs.Une réponse
200 avec "service_tier": "flex" signifie que flex a démarré à temps et
a permis d’économiser de l’argent sur cet appel. "service_tier": "default" signifie que FlexInference a utilisé
standard parce que flex aurait dépassé votre limite de temps. Les en-têtes de réponse
x-flexinference-flex-applied et x-flexinference-flex-reason exposent le
même résultat pour le code. Dans tous les cas, la requête se termine à temps.Si votre première requête échoue, lisez le corps de l’erreur. Les erreurs FlexInference indiquent
ce qui n’a pas fonctionné, pourquoi cela s’est produit, comment le corriger, et incluent un
exemple fonctionnel. Si vous n’avez pas ajouté votre clé OpenAI dans le tableau de bord, l’erreur
le mentionne et pointe vers la page qui résout le problème. Les erreurs du fournisseur sont transmises
avec leur statut et leur corps d’origine. Voir la page des erreurs pour la liste complète.
Que faire ensuite
Définir votre limite de temps
Découvrez les valeurs de
start_within et la règle qui déplace les requêtes de flex
vers standard.Streaming, outils, vision
Utilisez le streaming, les outils et la vision avec OpenAI, Gemini et Anthropic.