> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.

# FAQ

> Häufig gestellte Fragen zu FlexInference: start_within, Preise, Provider, Abrechnung und der MCP-Server.

{/* GENERATED FILE - do not edit by hand.
  Source of truth: website/src/app/faq-data.ts
  Regenerate: pnpm --dir apps/website gen:faq */}

## Was ist FlexInference?

FlexInference ist ein deadline-bewusster LLM-Router. Er funktioniert mit OpenAI, Gemini und Anthropic und ist OpenAI-kompatibel, sodass Sie das OpenAI SDK weiterhin verwenden können. Sie bringen Ihren eigenen Provider-Key mit. Richten Sie die Basis-URL auf FlexInference und fügen Sie jeder Anfrage eine `start_within`-Deadline hinzu. Innerhalb dieses Zeitfensters versuchen wir, einen günstigeren flex-Tier zu finden und liefern Ihnen das exakte Modell zurück, das Sie angefordert haben. Standardanfragen bleiben kostenlos. Wenn flex den Standardpreis unterbietet, behalten wir 20 % der von Ihnen erzielten Einsparungen, die abgerechnet werden, sobald Ihr Guthaben 20 \$ übersteigt. Sie können die Route auch mit einem optionalen Provider-Array festlegen, einschließlich Cloud-Routen, die dasselbe Modell über Amazon Bedrock (Claude) oder Google Vertex AI (Gemini) mit Ihrem eigenen Cloud-Key bereitstellen.

## Was ist `start_within`?

Ein Pflichtfeld bei jeder Anfrage. Setzen Sie es auf `default`, `priority`, `auto` oder eine Dauer HHh-MMm-SSs (5 Sekunden bis 10 Minuten). Bei flex-fähigen Modellen sucht eine Dauer nach einem günstigeren Tier für das von Ihnen ausgewählte Modell. Wenn dieser flex-Wettbewerb keine günstigere Inferenz rechtzeitig finden kann, eskalieren wir Ihre Anfrage zu einer `default`-Anfrage. Auf diese Weise erhalten Sie eine Antwort, aber wann immer möglich, zu einem günstigeren Preis.

## Wie viel spart FlexInference?

Über unseren gesamten Traffic hinweg senkt flex-Routing die Mischkosten um etwa 47 %, bei etwa 16 % mehr Zeit bis zum ersten Token. Wir berechnen niemals Gebühren für `default`-, `auto`- oder `priority`-Anfragen, sodass Sie sofort den etwa 5,5 %igen Aufschlag umgehen, den andere Router hinzufügen. Die tatsächlichen Einsparungen hängen von Ihren Modellen, Providern und der von Ihnen festgelegten Deadline ab. Anthropic ist nur Proxy und erhält keine flex-Einsparungen.

## Für welche Anwendungsfälle ist FlexInference hervorragend geeignet?

Können wir alles sagen? Als normaler Router ist er kostenlos für BYOK und entfernt keine Parameter, die Sie gesetzt haben, um einen Erfolg zu erzwingen. Wenn Sie also wissen möchten, dass das, was Sie angefordert haben, auch das ist, was Sie erhalten haben, ist er großartig. Was den flex-Wettbewerb betrifft, legen Sie `start_within` auf eine Deadline fest. Er ist hervorragend geeignet für Aufgaben, die nicht latenzempfindlich sind. Das können Datenverarbeitung, Evals, LLMs als Richter, Browser-Agenten oder Zusammenfassungen sein. Alles, was es sich leisten kann, ein paar Sekunden zu warten, um enorme Kostensenkungen zu erzielen.

## Was passiert, wenn FlexInference keine günstigere Inferenz finden kann?

Wenn der flex-Wettbewerb innerhalb Ihrer `start_within`-Deadline keine günstigere Inferenz finden kann, eskalieren wir die Anfrage zu einer Standardanfrage im `default`-Tier, sodass Sie Ihre Antwort trotzdem erhalten. Wir berechnen nur eine Provision, wenn eine flex-Anfrage tatsächlich Geld spart, sodass eine Anfrage, die nichts Günstigeres findet, keine Gebühr nach sich zieht.

## Wenn flex den Wettbewerb verliert, muss ich dafür bezahlen?

Nein. Wir eskalieren auf Standard, bevor flex ein einziges Output-Token schreibt, sodass es keine flex-Antwort gibt, für die bezahlt werden müsste, und keine Provision für eine Anfrage, die nichts gespart hat. Wenn ein flex-Versuch startet und dann fehlschlägt, bevor er sich festschreibt, kann er ein paar Input-Tokens verbrauchen; Ihr Provider berechnet diese direkt, und wir leiten sie ohne Aufschlag weiter.

## Welche Provider und Modelle unterstützen Sie?

Alle OpenAI-, Gemini- und Anthropic-Modelle. Nur diejenigen, die flex unterstützen, sind für die Suche nach günstigerer Inferenz verfügbar. Sie können die Route auch mit einem optionalen Provider-Array festlegen: `openai`, `google` und `anthropic` sind direkte Routen, während Vertex (Gemini) und Bedrock (Claude) Cloud-Routen sind, die dasselbe Modell über Google Vertex AI und Amazon Bedrock mit Ihrem eigenen Cloud-Key bereitstellen. Cloud-Routen laufen nur im Standard-Tier, ohne flex.

## Haben Sie einen MCP-Server?

Ja. Richten Sie jeden MCP-Client wie Claude oder Cursor auf `https://mcp.flexinference.com/mcp`. Zwei Dokumentationstools funktionieren ohne Anmeldung. Sie durchsuchen die Dokumente und suchen nach Fehlercodes. Nach einer einmaligen OAuth-Anmeldung kann ein Agent auch Ihre Nutzung und Einsparungen einsehen, API-Keys auflisten, erstellen oder widerrufen und die Abrechnung überprüfen, jeweils hinter einem eigenen Scope. Wir nehmen niemals einen rohen Provider-Key über MCP entgegen, fügen Sie diese also im Dashboard hinzu. Die MCP-Dokumentation enthält weitere Informationen zur Einrichtung.

## Sind Ihre Fehler für Coding-Agenten konzipiert?

Ja. Fehler werden in der Form des von Ihnen aufgerufenen Endpunkts zurückgegeben, OpenAI, Anthropic oder Google, sodass das von Ihnen bereits verwendete SDK sie unverändert parst. Die OpenAI-Form fügt einen maschinenlesbaren Code, das fehlerhafte Feld und eine `doc_url` hinzu. Jede Nachricht gibt an, was kaputt ist, welche Regel Sie verletzt haben und die genaue Korrektur mit einem Beispiel, sodass es in der Regel ausreicht, sie Ihrem Agenten zu zeigen, um den Fehler beim ersten Versuch zu beheben.

## Erhalten Anthropic-Modelle die Suche nach günstigerer Inferenz?

Noch nicht. Nur normales Routing, und wir arbeiten daran.

## Unterstützen Sie Caching?

Ja, lexikalisches Caching, semantisches Caching kommt bald.

## Unterstützen Sie Fallback-Provider?

Ja. Sie können eine geordnete Liste von Providern hinzufügen, auf die zurückgegriffen werden soll. Wir verwenden dies bei einem 429, einem 5xx, einem Verbindungsfehler oder einem Timeout. Der flex-Wettbewerb gilt weiterhin, wenn der erste Provider in der Liste flex-fähig ist. Wenn Sie es nicht einstellen, verwenden wir standardmäßig `openai`, `google` oder `anthropic`, basierend auf dem von Ihnen angeforderten Modell. Wir unterstützen Vertex und Bedrock, Foundry ist auf dem Weg.

## Unterstützen Sie Upstream-Retries (zu den LLM-Providern)?

Ja. Sie können eine Wiederholungsanzahl wie 2 festlegen und Jitter ein- oder ausschalten. Backoff ist linear oder exponentiell, und Sie legen das Timing fest. Retries werden bei transienten 429er- und 5xx-Fehlern ausgelöst. Wir berücksichtigen auch den `Retry-After`-Header des Providers, sodass Sie sich darüber keine Gedanken machen müssen.

## Unterstützen Sie die automatische Modellauswahl?

Noch nicht, kommt bald. (Der `start_within`-Wert `auto` ist der Service-Tier von OpenAI, nicht dieser.)

## Berechnen Sie eine Gebühr pro Anfrage?

Es gibt keine pauschale Gebühr pro Anfrage. Eine flex-Anfrage, die den Standardpreis unterbietet, zieht eine Provision von 20 % der von Ihnen erzielten Einsparungen nach sich, sodass Sie nur zahlen, wenn Sie tatsächlich sparen; wenn eine Anfrage nichts spart, ist sie kostenlos. Standard-, Priority- und Auto-Routing sowie Anthropic-Tier-/Proxy-Anfragen sind völlig kostenlos.

## Wie verdienen Sie Geld?

Wir berechnen eine Provision von 20 % des Geldes, das eine flex-Anfrage Ihnen tatsächlich gegenüber dem Standardpreis spart. Wenn eine Anfrage Ihnen nichts spart, ist sie kostenlos, und Standard-, Priority- und Auto-Routing sowie Anthropic-Tier-/Proxy-Anfragen sind immer kostenlos. Die Provision wird pro Anfrage angesammelt und monatlich abgerechnet.

## Wann und wie werde ich belastet?

Wir rechnen monatlich ab, sobald Ihr Guthaben 20 \$ übersteigt; ein kleineres Guthaben wird vorgetragen und wir begleichen es mindestens alle drei Monate, damit es sich nie ansammelt. Fügen Sie eine Karte auf der Billing-Seite des Dashboards hinzu, und wir belasten sie automatisch, wenn eine Rechnung fällig ist. Wenn eine Zahlung überfällig ist, wird der kostenpflichtige flex-Dienst pausiert und gibt einen 402 zurück, während das kostenlose Routing (default, priority, auto) und alle Anthropic-Tier-/Proxy-Anfragen weiterhin funktionieren; aktualisieren Sie Ihre Karte, um den Dienst fortzusetzen.

## Kann ich auch bei vorhandenen Provider-Guthaben noch bei der Inferenz sparen?

Ja. Bringen Sie Ihren eigenen API-Key mit, den wir im Ruhezustand verschlüsseln, und Ihre Anfragen verbrauchen Ihre bestehenden Guthaben.

## Sehen Sie meine Anfragen oder Antworten?

Nein, wir sehen Ihre Informationen nicht.

## Ändert FlexInference mein Modell, meinen Prompt oder meine Ausgabe?

Nein, wir ändern nichts, was Sie angefordert haben. Das Einzige, was wir variieren, ist der Tier, der Ihr Modell bedient, wenn dies dasselbe Modell günstiger macht. Andere Router haben uns genervt, indem sie Dinge geändert haben, und das ist ein Teil dessen, warum wir diesen hier gebaut haben. Vertrauen Sie uns also, wir ändern nichts. Sie können jede Anfrage prüfen und sich selbst davon überzeugen.

## In welchen Sprachen sind die Website und die Dokumentation verfügbar?

Die Website und die Dokumentation sind in sieben Sprachen verfügbar: Englisch, Französisch, Deutsch, Hindi, Mandarin-Chinesisch, Spanisch und Portugiesisch. Sie wählen die Sprache selbst, in der Fußzeile der Website oder auf der Registerkarte "User" des Dashboards. Diese Wahl gilt sowohl für die Website als auch für die Dokumentation. Wir erkennen sie niemals automatisch von Ihrem Browser, sodass eine Seite, die ohne gespeicherte Auswahl geöffnet wird, Englisch anzeigt. Englisch befindet sich unter der reinen URL, und jede andere Sprache befindet sich unter einem Präfix wie `/es`, sowohl auf der Website als auch in der Dokumentation. Die Übersetzungen sind semantisch und dialektbewusst, an jede Region angepasst und nicht Wort für Wort übersetzt.