Tarification et facturation

FlexInference est gratuit pour le routage. Vous ne payez FlexInference que lorsqu’une requête flex obtient un prix de fournisseur plus avantageux. Les frais représentent une part de cette économie, et non une majoration par jeton.

​

Ce que vous payez

FlexInference facture 20 % de l’argent économisé sur une requête flex. Une requête flex est un appel qui définit start_within à une durée et peut réellement exécuter la course flex. Seul un modèle tarifé et non-Anthropic peut exécuter flex, ce qui signifie les modèles OpenAI et Gemini compatibles flex. Les paramètres de Chat Completions natifs uniquement ne peuvent pas être combinés avec une durée start_within, ces requêtes sont donc rejetées avant la facturation. start_within est un budget de délai, par exemple 30 secondes. FlexInference peut utiliser ce temps pour tenter de démarrer la requête sur un niveau moins cher. Si aucun niveau moins cher ne peut démarrer avant l’expiration du budget, le routeur passe à votre modèle standard. start_within est un budget que vous définissez, pas une garantie de temps de démarrage. Le routage flex commence par le niveau le moins cher et passe au standard si nécessaire. Il ne route pas le standard en premier pour rétrograder ensuite. L’économie est la différence entre le prix standard du fournisseur pour l’appel et le prix flex moins cher utilisé pour cet appel. FlexInference prend 20 % de cette différence. Vous conservez les 80 % restants. Si une requête flex n’économise rien, vous ne devez rien.

​

Ce qui est gratuit

• Tous les routages default, priority et auto, sur n’importe quel modèle. Ces routes agissent comme un proxy direct vers le fournisseur. FlexInference n’essaie pas un niveau moins cher, il n’y a donc pas d’économie à partager et pas de frais.
• Toutes les requêtes de niveau Anthropic (Claude). Claude est uniquement en mode proxy. Il n’a pas de niveau flex, donc les requêtes default, priority et auto sur les modèles claude-* ne sont jamais des requêtes flex facturables. Voir les modèles.
• Les échecs de validation ne sont pas facturés. Une durée sur un modèle OpenAI ou Gemini non compatible flex, ou sur tout modèle Claude, renvoie 400 lors de la validation. Elle n’est ni facturée ni servie. Utilisez plutôt une valeur de niveau.
• Les routes cloud sont des transferts non tarifés. Les routes cloud vertex et bedrock ne servent qu’au niveau standard, elles n’entraînent donc jamais de frais flex. FlexInference transmet l’utilisation du cloud sans tarification, sans majoration ni commission ; seule une requête directe servie par flex génère la commission de 20 %. Voir le routage des fournisseurs.

Seule une requête flex tarifée sur un modèle OpenAI ou Gemini vous coûte des frais.

​

Apportez votre propre clé (BYOK)

FlexInference route avec vos clés de fournisseur. Ajoutez vos clés OpenAI, Gemini ou Anthropic dans le tableau de bord ; FlexInference les stocke de manière chiffrée et les utilise pour le routage. Vous n’envoyez pas de clés de fournisseur par requête. Votre fournisseur vous facture directement les jetons à ses tarifs. FlexInference n’ajoute aucune majoration sur les jetons et ne gère pas les dépenses de jetons. Les seuls frais FlexInference sont les frais flex de 20 % décrits ci-dessus.

​

Cache de prompts entre fournisseurs

La mise en cache des prompts réduit le coût des jetons d’entrée répétés, et chaque fournisseur gère son propre cache. Le cache de prompts n’est pas transféré entre les fournisseurs : lorsqu’un fournisseur de secours sert votre requête sur la route d’un fournisseur différent, le propre cache du fournisseur de secours s’applique indépendamment et se réchauffe au fur et à mesure des utilisations répétées. La première requête sur la nouvelle route paie le prix total des jetons d’entrée, et les requêtes ultérieures utilisent le cache de ce fournisseur à mesure qu’il se remplit. Une requête servie sur sa route native utilise le cache de ce fournisseur comme d’habitude.

​

Comment votre carte est débitée

Ajoutez ou mettez à jour une carte sur la page Facturation du tableau de bord. Votre solde impayé augmente lorsque les requêtes flex permettent d’économiser de l’argent :

• FlexInference débite votre carte automatiquement chaque mois une fois que votre solde impayé atteint 20 $.
• Un solde **inférieur à 20 $est reporté** au mois suivant. FlexInference le débite une fois qu'il dépasse 20$. Si un solde reporté reste pendant environ trois mois et vaut toujours au moins le minimum de **0,50 $** de Stripe, FlexInference le débite alors, même s'il n'a jamais atteint 20$.

​

Retard de paiement et l’erreur 402

Un seul échec de paiement ne met pas flex en pause. Lorsqu’un paiement échoue, l’organisation entre dans une période de grâce, et le flex facturable continue de fonctionner pendant que FlexInference retente le paiement. FlexInference ne met flex en pause qu’après la fin de la période de grâce. Cela se produit lorsque environ trois semaines s’écoulent sans paiement réussi, lorsque la facture est contestée ou radiée comme irrécouvrable, ou lorsqu’il n’y a pas de carte valide enregistrée. Une fois flex mis en pause :

• Les requêtes flex facturables renvoient un 402 payment_required.
• Le routage gratuit (default, priority, auto) et toutes les requêtes de niveau Anthropic continuent de fonctionner. Seul le flex tarifé est affecté.

Une requête flex en pause renvoie 402 payment_required avec un corps qui identifie l’état de facturation échoué et comment le résoudre. Voir l’erreur 402 pour le JSON exact. Pour lever la pause, ajoutez ou mettez à jour une carte sur la page Facturation du tableau de bord, puis réessayez.