Preise und Abrechnung

FlexInference ist kostenlos für das Routing. Sie zahlen FlexInference nur, wenn eine Flex-Anfrage einen günstigeren Anbieterpreis erzielt. Die Gebühr ist ein Anteil dieser Ersparnis, kein Token-Aufschlag.

​

Was Sie zahlen

FlexInference berechnet 20 % der eingesparten Kosten bei einer Flex-Anfrage. Eine Flex-Anfrage ist ein Aufruf, der start_within auf eine Dauer setzt und tatsächlich den Flex-Wettbewerb ausführen kann. Nur ein preislich festgelegtes, nicht-Anthropic-Modell kann Flex ausführen, was die Flex-fähigen OpenAI- und Gemini-Modelle bedeutet. Native-only Chat Completions-Parameter können nicht mit einer Dauer start_within kombiniert werden, daher werden diese Anfragen vor der Abrechnung abgelehnt. start_within ist ein Deadline-Budget, z. B. 30 Sekunden. FlexInference kann diese Zeit nutzen, um zu versuchen, die Anfrage auf einer günstigeren Stufe zu starten. Wenn keine günstigere Stufe vor Ablauf des Budgets starten kann, eskaliert der Router zu Ihrem Standardmodell. start_within ist ein von Ihnen festgelegtes Budget, keine Startzeitgarantie. Flex-Routing beginnt mit der günstigeren Stufe und steigt bei Bedarf auf die Standardstufe auf. Es leitet nicht zuerst Standard weiter und stuft später herab. Die Ersparnis ist die Differenz zwischen dem Standardpreis des Anbieters für den Aufruf und dem günstigeren Flex-Preis, der für diesen Aufruf verwendet wurde. FlexInference nimmt 20 % dieser Differenz. Die restlichen 80 % behalten Sie. Wenn eine Flex-Anfrage nichts spart, schulden Sie nichts.

​

Was kostenlos ist

• Alle default-, priority- und auto-Routings, bei jedem Modell. Diese Routen leiten direkt an den Anbieter weiter. FlexInference versucht keine günstigere Stufe, daher gibt es keine Ersparnis zu teilen und keine Gebühr.
• Alle Anthropic (Claude) Stufen-Anfragen. Claude ist nur als Proxy verfügbar. Es gibt keine Flex-Stufe, daher sind default-, priority- und auto-Anfragen bei claude-*-Modellen niemals kostenpflichtige Flex-Anfragen. Siehe Modelle.
• Validierungsfehler werden nicht berechnet. Eine Dauer bei einem nicht Flex-fähigen OpenAI- oder Gemini-Modell oder bei einem beliebigen Claude-Modell gibt bei der Validierung 400 zurück. Sie wird weder berechnet noch bedient. Verwenden Sie stattdessen einen Stufenwert.
• Cloud-Routen sind unbepreiste Weiterleitungen. Die vertex- und bedrock-Cloud-Routen werden nur auf der Standardstufe bedient, daher fallen niemals Flex-Gebühren an. FlexInference leitet die Cloud-Nutzung unbepreist weiter, ohne Aufschlag und ohne Provision; nur eine über Flex bediente direkte Anfrage generiert die 20 % Provision. Siehe Anbieter-Routing.

Nur eine kostenpflichtige Flex-Anfrage bei einem OpenAI- oder Gemini-Modell verursacht Ihnen eine Gebühr.

​

Bring your own key (BYOK)

FlexInference leitet mit Ihren Anbieter-Schlüsseln weiter. Fügen Sie Ihre OpenAI-, Gemini- oder Anthropic-Schlüssel im Dashboard hinzu; FlexInference speichert sie verschlüsselt und verwendet sie für das Routing. Sie senden keine Anbieter-Schlüssel pro Anfrage. Ihr Anbieter stellt Ihnen die Tokens direkt zu seinen Tarifen in Rechnung. FlexInference fügt keinen Aufschlag auf Tokens hinzu und verwaltet keine Token-Ausgaben. Die einzige FlexInference-Gebühr ist die oben beschriebene 20 % Flex-Gebühr.

​

Prompt-Cache über Anbieter hinweg

Prompt-Caching senkt die Kosten für wiederholte Eingabe-Tokens, und jeder Anbieter betreibt seinen eigenen Cache. Der Prompt-Cache wird nicht über Anbieter hinweg übertragen: Wenn ein Anbieter-Fallback Ihre Anfrage über die Route eines anderen Anbieters bedient, wird der Cache des Fallback-Anbieters unabhängig angewendet und bei wiederholter Nutzung aufgewärmt. Die erste Anfrage auf der neuen Route zahlt den vollen Eingabe-Token-Preis, und spätere Anfragen greifen auf den Cache dieses Anbieters zu, sobald er sich füllt. Eine Anfrage, die auf ihrer nativen Route bedient wird, verwendet den Cache dieses Anbieters wie gewohnt.

​

Wie Ihre Karte belastet wird

Fügen Sie eine Karte auf der Billing-Seite des Dashboards hinzu oder aktualisieren Sie sie. Ihr offener Saldo erhöht sich, wenn Flex-Anfragen Geld sparen:

• FlexInference belastet Ihre Karte automatisch jeden Monat, sobald Ihr offener Saldo 20 $ erreicht.
• Ein Saldo **unter 20 $wird auf den nächsten Monat übertragen**. FlexInference belastet ihn, sobald er 20$ überschreitet. Wenn ein übertragener Saldo etwa drei Monate lang besteht und immer noch mindestens den Stripe-Mindestbetrag von **0,50 $** wert ist, belastet FlexInference ihn dann, auch wenn er nie 20$ erreicht hat.

​

Überfällig und der 402

Eine einzelne fehlgeschlagene Abbuchung pausiert Flex nicht. Wenn eine Zahlung fehlschlägt, tritt die Organisation in einen Kulanzzeitraum ein, und kostenpflichtiges Flex funktioniert weiterhin, während FlexInference die Abbuchung wiederholt. FlexInference pausiert Flex erst nach Ablauf des Kulanzzeitraums. Dies geschieht, wenn etwa drei Wochen ohne erfolgreiche Zahlung vergehen, wenn die Rechnung angefochten oder als uneinbringlich abgeschrieben wird oder wenn keine gültige Karte hinterlegt ist. Sobald Flex pausiert ist:

• Kostenpflichtige Flex-Anfragen geben einen 402 payment_required zurück.
• Kostenloses Routing (default, priority, auto) und alle Anthropic-Stufen-Anfragen funktionieren weiterhin. Nur kostenpflichtiges Flex ist betroffen.

Eine pausierte Flex-Anfrage gibt 402 payment_required mit einem Body zurück, der den fehlgeschlagenen Abrechnungsstatus identifiziert und wie er behoben werden kann. Den genauen JSON-Inhalt finden Sie unter dem 402-Fehler. Um die Pause aufzuheben, fügen Sie eine Karte auf der Billing-Seite des Dashboards hinzu oder aktualisieren Sie sie und versuchen Sie es dann erneut.