Was ist FlexInference?
FlexInference ist ein deadline-bewusster LLM-Router. Er funktioniert mit OpenAI, Gemini und Anthropic und ist OpenAI-kompatibel, sodass Sie das OpenAI SDK weiterhin verwenden können. Sie bringen Ihren eigenen provider key mit. Richten Sie die Basis-URL auf FlexInference und fügen Sie jeder Anfrage eine start_within-Deadline hinzu. Innerhalb dieses Zeitfensters versuchen wir, einen günstigeren flex tier zu finden und liefern Ihnen das exakte Modell zurück, das Sie angefordert haben. Standardanfragen bleiben kostenlos. Wenn flex den Standardpreis unterbietet, behalten wir 20 % der von Ihnen erzielten Einsparungen, die abgerechnet werden, sobald Ihr Guthaben 20 $ übersteigt. Sie können die Route auch mit einem optionalen provider array festlegen, einschließlich Cloud-Routen, die dasselbe Modell über Amazon Bedrock (Claude) oder Google Vertex AI (Gemini) mit Ihrem eigenen cloud key bereitstellen.Was ist start_within?
Ein Pflichtfeld bei jeder Anfrage. Setzen Sie es aufdefault, priority, auto oder eine Dauer im Format HHh-MMm-SSs (5 Sekunden bis 10 Minuten). Bei flex-fähigen Modellen sucht eine Dauer nach einem günstigeren tier für das von Ihnen ausgewählte Modell. Wenn dieser flex race nicht rechtzeitig eine günstigere Inferenz finden kann, eskalieren wir Ihre Anfrage zu einer default-Anfrage. Auf diese Weise erhalten Sie eine Antwort, aber wann immer möglich, zu einem günstigeren Preis.
Wie viel spart FlexInference?
Über unseren gesamten Traffic hinweg senkt flex routing die Gesamtkosten um etwa 47 %, bei einer um etwa 16 % längeren Zeit bis zum ersten Token. Wir berechnen niemals Gebühren fürdefault-, auto- oder priority-Anfragen, sodass Sie sofort den Aufschlag von etwa 5,5 % umgehen, den andere Router für diese hinzufügen. Die tatsächlichen Einsparungen hängen von Ihren Modellen, Anbietern und der von Ihnen festgelegten Deadline ab. Anthropic ist nur ein Proxy und profitiert nicht von den flex-Einsparungen.
Was passiert, wenn FlexInference keine günstigere Inferenz finden kann?
Wenn der flex race innerhalb Ihrer start_within-Deadline keine günstigere Inferenz finden kann, eskalieren wir die Anfrage zu einer Standardanfrage imdefault-tier, sodass Sie Ihre Antwort trotzdem erhalten. Wir berechnen nur eine Provision, wenn eine flex-Anfrage Ihnen tatsächlich Geld spart; eine Anfrage, die nichts Günstigeres findet, ist daher gebührenfrei.
Wenn flex den race verliert, muss ich dafür bezahlen?
Nein. Wir eskalieren auf den Standard, bevor flex ein einziges Output-Token schreibt, sodass keine flex-Antwort zu bezahlen ist und keine Provision für eine Anfrage anfällt, die nichts gespart hat. Wenn ein flex-Versuch startet und dann fehlschlägt, bevor er committed wird, können einige Input-Tokens verbraucht werden; Ihr provider stellt diese direkt in Rechnung, und wir leiten sie ohne Aufschlag weiter.Welche Anbieter und Modelle unterstützen Sie?
Alle OpenAI-, Gemini- und Anthropic-Modelle. Nur diejenigen, die flex unterstützen, sind für die Suche nach günstigerer Inferenz verfügbar. Sie können die Route auch mit einem optionalen provider array festlegen:openai, google und anthropic sind direkte Routen, während Vertex (Gemini) und Bedrock (Claude) Cloud-Routen sind, die dasselbe Modell über Google Vertex AI und Amazon Bedrock mit Ihrem eigenen cloud key bereitstellen. Cloud-Routen laufen nur im Standard-tier, ohne flex.
Haben Sie einen MCP-Server?
Ja. Richten Sie jeden MCP-Client wie Claude oder Cursor auf https://mcp.flexinference.com/mcp. Zwei Dokumentationstools funktionieren ohne Anmeldung. Sie durchsuchen die Dokumentation und suchen nach error codes. Nach einer einmaligen OAuth-Anmeldung kann ein Agent auch Ihre Nutzung und Einsparungen einsehen, API keys auflisten, erstellen oder widerrufen und die Abrechnung überprüfen, jeweils hinter einem eigenen Scope. Wir akzeptieren niemals einen rohen provider key über MCP, fügen Sie diese daher im Dashboard hinzu. Die MCP-Dokumentation enthält weitere Informationen zur Einrichtung.Sind Ihre Fehler für Coding Agents konzipiert?
Ja. Fehler werden in der Form des von Ihnen aufgerufenen Endpunkts zurückgegeben, sei es OpenAI, Anthropic oder Google, sodass das von Ihnen bereits verwendete SDK sie unverändert parst. Die OpenAI-Form fügt einen maschinenlesbaren code, das fehlerhafte field und eine doc_url hinzu. Jede Nachricht gibt an, was kaputt ist, welche Regel Sie verletzt haben und die genaue Lösung mit einem Beispiel, sodass es in der Regel ausreicht, dies Ihrem Agenten zu zeigen, um den Fehler beim ersten Versuch zu beheben.Erhalten Anthropic-Modelle die Suche nach günstigerer Inferenz?
Nein. Anthropic ist nur ein Proxy: kein flex race und keine Kosteneinsparungen. Sie erhalten dieselbe einheitliche API, Ihren key verschlüsselt im Ruhezustand und die Kontrolle über den service-tier (default, priority, auto), und Sie verbrauchen Ihre eigenen Anthropic-Guthaben. Rufen Sie jedes claude-*-Modell unter /v1/responses auf oder verwenden Sie das Anthropic Messages-Format direkt unter /v1/messages.
Unterstützen Sie Caching?
Ja, lexikalisches Caching, semantisches Caching kommt bald.Unterstützen Sie Fallback-Anbieter?
Ja. Senden Sie ein optionales, geordnetes provider array, um Ihre Route festzulegen. Element 0 ist die primäre Route und das einzige flex gate; der Rest ist eine Fallback-Kette für dasselbe Modell, die in der angegebenen Reihenfolge versucht wird, wenn eine Route vorübergehend fehlschlägt. Ein Fallback ändert also die Route, niemals Ihr Modell oder tier. Die Routen sind die drei direkten (openai, google, anthropic) plus zwei Cloud-Routen,bedrock für claude-* und vertex für gemini-*, beide im Standard-tier ohne flex; gpt-* ist nur openai. Jede von Ihnen benannte Route benötigt ihren key: Ein fehlender key ist ein Konfigurationsfehler, der einen 400er für diese Route zurückgibt und niemals durchfällt. Fallback deckt nur vorübergehende Upstream-Fehler ab: einen 429er, einen 5xxer, einen Verbindungsfehler oder einen Timeout. Die models docs enthalten weitere Informationen zu den gültigen Ketten.
Unterstützen Sie Upstream-Wiederholungsversuche (an die LLM-Anbieter)?
Ja. Fügen Sie ein optionales retry object hinzu, z. B. einencount von 2, und wir versuchen es erneut mit dem tier, der Ihre Anfrage bedient, wenn diese mit einem vorübergehenden 429er oder 5xxer fehlschlägt. Der count reicht von 1 bis 5, mit exponentiellem oder linearem Backoff plus Jitter, und wir berücksichtigen einen provider Retry-After-Header. Wiederholungsversuche werden nur ausgeführt, bevor Ihre Antwort committed wird, niemals nach dem ersten Token, einem Auth-Fehler oder einem Client-Fehler. Sie stapeln sich mit den eigenen Wiederholungsversuchen Ihres SDKs, und wir melden, wie viele wir ausgeführt haben, im x-flexinference-retries-Header. Siehe die deadline routing docs.
Unterstützen Sie die automatische Modellauswahl?
Noch nicht, kommt bald. (Der start_within-Wertauto ist der service tier von OpenAI, nicht dies.)
Berechnen Sie eine Gebühr pro Anfrage?
Es gibt keine pauschale Gebühr pro Anfrage. Eine flex-Anfrage, die den Standardpreis unterbietet, beinhaltet eine Provision von 20 % der von Ihnen erzielten Einsparungen, sodass Sie nur zahlen, wenn Sie tatsächlich sparen; wenn eine Anfrage nichts spart, ist sie kostenlos. Standard-,priority- und auto-Routing sowie Anthropic tier/proxy-Anfragen sind völlig gebührenfrei.
Wie verdienen Sie Geld?
Wir berechnen eine Provision von 20 % des Geldes, das Ihnen eine flex-Anfrage im Vergleich zum Standardpreis tatsächlich spart. Wenn eine Anfrage Ihnen nichts spart, ist sie kostenlos, und Standard-,priority- und auto-Routing sowie Anthropic tier/proxy-Anfragen sind immer kostenlos. Die Provision wird pro Anfrage angesammelt und monatlich abgerechnet.
Wann und wie werde ich abgerechnet?
Wir stellen monatlich eine Rechnung, sobald Ihr Guthaben 20 $ übersteigt; ein kleineres Guthaben wird vorgetragen und wir begleichen es mindestens alle drei Monate, damit es sich nicht ansammelt. Fügen Sie eine Karte auf der Billing-Seite des Dashboards hinzu, und wir belasten diese automatisch, wenn eine Rechnung fällig ist. Wenn eine Zahlung überfällig ist, wird der kostenpflichtige flex-Dienst pausiert und gibt einen 402er zurück, während kostenloses Routing (default, priority, auto) und alle Anthropic tier/proxy-Anfragen weiterhin funktionieren; aktualisieren Sie Ihre Karte, um den Dienst fortzusetzen.