Zum Hauptinhalt springen
FlexInference ist ein OpenAI-kompatibler Deadline-Router für OpenAI, Gemini und Anthropic, mit optionalen Cloud-Routen über Amazon Bedrock und Google Vertex AI. Ein Surface Planner ordnet jede Anfrage der passenden Provider-API-Oberfläche und Service-Tier zu. Sie behalten die Anfrageformate bei, die Sie bereits für Chat Completions, Responses, Interactions und Anthropic Messages verwenden, und legen ein erforderliches Feld fest: start_within. Ein optionales provider-Array legt die Route fest, die Ihre Anfrage nimmt. Die direkten Routen erreichen OpenAI, Gemini und Anthropic; die Cloud-Routen bedienen dasselbe Modell auf Ihrem eigenen Cloud-Konto – bedrock führt claude-* über Amazon Bedrock aus und vertex führt gemini-* über Google Vertex AI aus, auf dem Standard-Tier ohne flex race. Siehe Provider-Routing. Sie hinterlegen Ihre Provider-Schlüssel einmalig. FlexInference speichert BYOK-Schlüssel verschlüsselt und benötigt sie niemals pro Anfrage. Anfragen authentifizieren sich mit einem FlexInference-Schlüssel; der Router löst Ihre Organisation aus diesem Schlüssel auf, prüft das stark konsistente Widerrufsregister und verwendet den gespeicherten Provider-Schlüssel für die ausgewählte Oberfläche. Bei über 60.000 realen Anfragen senkt flex routing die token-gewichteten Kosten um etwa 47 Prozent, bei einer um etwa 16 Prozent längeren Zeit bis zum ersten Token.
FlexInference verkauft keine Inferenz. Sie bringen Ihren eigenen Provider-Schlüssel (BYOK) mit – OpenAI, Gemini oder Anthropic, plus einen Google Vertex AI Express-Schlüssel oder einen Amazon Bedrock-Schlüssel für eine Cloud-Route – und der Provider stellt Ihrem Konto direkt den Betrag in Rechnung, der dem bedienten Tier entspricht. Wir fügen darüber hinaus ein Kosten-Routing hinzu, das berücksichtigt, wie lange Sie warten können.
Standard-Routing ist kostenlos. Für flex routing berechnet FlexInference 20 Prozent der eingesparten Kosten. Keine Einsparungen bedeuten keine Gebühr. Es gibt keine Gebühr pro Anfrage und keinen Token-Aufschlag. Jede erfolgreiche Antwort enthält x-flexinference-flex-applied und x-flexinference-flex-reason, zusammen mit dem service_tier der Antwort, sodass Sie überprüfen können, ob flex die Anfrage bedient hat oder warum es zu einem Fallback kam.

​
Warum es existiert

OpenAI bietet mehrere Service-Tiers für dieselben Modelle an. Der flex (Batch)-Tier kostet die Hälfte des Standardtarifs, aber die Kapazität ist nicht garantiert. Anwendungen, denen Latenz wichtig ist, benötigen eine Möglichkeit, pro Anfrage zu entscheiden, wann Wartezeiten akzeptabel sind. start_within ist die maximale Zeit, die Sie zulassen, bevor die Anfrage ausgeführt wird. Es ist keine feste Abschlussfrist. Verwenden Sie einen kurzen Wert, wenn ein Benutzer wartet; verwenden Sie einen längeren Wert für Hintergrundaufgaben, bei denen niedrigere Kosten wichtiger sind.

Sofort benötigt

start_within: "priority" leitet zum Priority-Tier von OpenAI.

Kann etwas warten

start_within: "00h-00m-30s" versucht zuerst den günstigeren flex tier. Wenn flex nicht innerhalb von 30 Sekunden starten kann, verschiebt FlexInference die Anfrage auf Ihren Standard-Tier, damit sie trotzdem ausgeführt wird.

Standard

start_within: "default" verwendet den Standard-Tier und die Standardpreise von OpenAI. ("auto" lässt OpenAI wählen.)
Die meisten Router senken Kosten, indem sie von einem leistungsstärkeren Modell zu einem günstigeren Modell wechseln. FlexInference hält das Modell fest. Es versucht zuerst den günstigeren flex tier und eskaliert dann zum Standard-Tier, wenn flex nicht innerhalb von start_within starten kann. Die Eskalation kostet nicht mehr, als den Provider direkt zu Standardpreisen aufzurufen.

​
Drop-in-kompatibel

Setzen Sie Ihre Basis-URL auf FlexInference und fügen Sie start_within hinzu. Der Router behält die Anfrage- und Antwortstruktur des Providers für Streaming, Tool Calling, Structured Outputs, Vision und Reasoning über OpenAI, Gemini und Anthropic hinweg intakt.

Schnellstart

Von Null zur ersten Anfrage.

Deadline-Routing

Wie start_within funktioniert und wann die Eskalation zum Standard einsetzt.

Authentifizierung

FlexInference API-Schlüssel, plus Ihr eigener OpenAI-, Gemini- oder Anthropic-Schlüssel.

Unterstützte Modelle

Die Modelle, die flex routing unterstützen.

Provider-Routing

Eine Route festlegen oder eine Cloud-Route über Amazon Bedrock oder Google Vertex AI hinzufügen.