> ## Documentation Index > Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt > Use this file to discover all available pages before exploring further. # Was FlexInference leistet > Ein OpenAI-kompatibler Router für OpenAI, Gemini und Anthropic, mit Cloud-Routing über Amazon Bedrock und Google Vertex AI. Bringen Sie Ihren eigenen Schlüssel mit und legen Sie ein Feld, start_within, fest, um anzugeben, wie lange Sie warten können. FlexInference findet einen günstigeren Weg, dieselbe Anfrage auszuführen, und Sie zahlen nur, wenn es Ihnen Geld spart. FlexInference ist ein OpenAI-kompatibler Deadline-Router für OpenAI, Gemini und Anthropic, mit optionalen Cloud-Routen über Amazon Bedrock und Google Vertex AI. Ein Surface Planner ordnet jede Anfrage der passenden Provider API-Oberfläche und Service-Tier zu. Sie behalten die Anfrageformen bei, die Sie bereits für Chat Completions, Responses, Interactions und Anthropic Messages verwenden, und legen ein erforderliches Feld fest: `start_within`. Ein optionales `provider`-Array legt die Route fest, die Ihre Anfrage nimmt. Die direkten Routen erreichen OpenAI, Gemini und Anthropic; die Cloud-Routen bedienen dasselbe Modell auf Ihrem eigenen Cloud-Konto – `bedrock` führt `claude-*` über Amazon Bedrock aus und `vertex` führt `gemini-*` über Google Vertex AI aus, auf der Standard-Tier ohne `flex race`. Siehe [provider routing](/de/models). Sie hinterlegen Ihre Provider-Schlüssel einmalig. FlexInference speichert BYOK-Schlüssel verschlüsselt und benötigt sie niemals pro Anfrage. Anfragen authentifizieren sich mit einem FlexInference-Schlüssel; der Router löst Ihre `org` aus diesem Schlüssel auf, prüft das stark konsistente Widerrufsregister und verwendet den gespeicherten Provider-Schlüssel für die ausgewählte `surface`. Bei über 60.000 realen Anfragen senkt `flex routing` die `token-weighted cost` um etwa 47 Prozent, bei einer um etwa 16 Prozent längeren `time to first token`. FlexInference verkauft keine Inferenz. Sie bringen Ihren eigenen Provider-Schlüssel (BYOK) mit – OpenAI, Gemini oder Anthropic, plus einen Google Vertex AI Express-Schlüssel oder einen Amazon Bedrock-Schlüssel für eine Cloud-Route – und der Provider stellt Ihrem Konto direkt die Kosten für die jeweilige Tier in Rechnung, die die Anfrage bedient hat. Wir fügen darüber ein Kosten-Routing hinzu, das berücksichtigt, wie lange Sie warten können. Standard-Routing ist kostenlos. Für `flex routing` berechnet FlexInference 20 Prozent der eingesparten Kosten. Keine Einsparungen bedeuten keine Gebühr. Es gibt keine Gebühr pro Anfrage und keinen `token markup`. Jede erfolgreiche Antwort enthält `x-flexinference-flex-applied` und `x-flexinference-flex-reason`, zusammen mit der Antwort `service_tier`, sodass Sie überprüfen können, ob `flex` die Anfrage bedient hat oder warum es zu einem Fallback kam. ## Warum es existiert OpenAI bietet mehrere Service-Tiers für dieselben Modelle an. Die `flex (batch) tier` kostet die Hälfte des `standard rate`, aber die Kapazität ist nicht garantiert. Anwendungen, denen `latency` wichtig ist, benötigen eine Möglichkeit pro Anfrage zu entscheiden, wann Wartezeiten akzeptabel sind. `start_within` ist die maximale Zeit, die Sie zulassen, bevor die Anfrage gestartet wird. Es ist keine feste `completion deadline`. Verwenden Sie einen kurzen Wert, wenn ein Benutzer wartet; verwenden Sie einen längeren Wert für `background work`, bei der niedrigere Kosten wichtiger sind. `start_within: "priority"` leitet zur Priority-Tier von OpenAI. `start_within: "00h-00m-30s"` versucht zuerst die günstigere `flex tier`. Wenn `flex` nicht innerhalb von 30 Sekunden starten kann, verschiebt FlexInference die Anfrage auf Ihre `standard tier`, damit sie trotzdem ausgeführt wird. `start_within: "default"` verwendet die Standard-Tier und -Preise von OpenAI. (`"auto"` lässt OpenAI wählen.) Die meisten Router senken Kosten, indem sie von einem stärkeren Modell zu einem günstigeren Modell wechseln. FlexInference hält das Modell fest. Es versucht zuerst die günstigere `flex tier` und eskaliert dann zur `standard tier`, wenn `flex` nicht innerhalb von `start_within` starten kann. Die Eskalation kostet nicht mehr, als den `provider` direkt zu Standardpreisen aufzurufen. ## Drop-in-kompatibel Setzen Sie Ihre Basis-URL auf FlexInference und fügen Sie `start_within` ein. Der Router behält die `provider request` und `response shape` für `streaming`, `tool calling`, `structured outputs`, `vision` und `reasoning` über OpenAI, Gemini und Anthropic hinweg intakt. ``` https://api.flexinference.com/v1 ``` Von Null zur ersten Anfrage. Wie `start_within` funktioniert und wann die Eskalation zum Standard einsetzt. FlexInference API-Schlüssel, plus Ihr eigener OpenAI-, Gemini- oder Anthropic-Schlüssel. Die Modelle, die `flex routing` unterstützen. Eine Route festlegen oder eine Cloud-Route über Amazon Bedrock oder Google Vertex AI hinzufügen. ## Demo-Transkripte Drei aufgezeichnete Demos vergleichen denselben Modelllauf zweimal parallel: Eine Seite setzt eine `start_within`-Deadline und die andere verwendet `default routing`. Jede Demo enthält ein vollständiges Transkript als Klartext, lesbar für Menschen und Agenten gleichermaßen: * [Gemini Bildklassifizierung](https://www.flexinference.com/transcripts/gemini-image-classification.txt) * [OpenAI Browser-Agent](https://www.flexinference.com/transcripts/openai-browser-agent.txt) * [OpenAI Tiefenrecherche](https://www.flexinference.com/transcripts/openai-deep-research.txt) Die Videos selbst finden Sie auf der [FlexInference Homepage](https://www.flexinference.com/#demos).