Zum Hauptinhalt springen
Senden Sie eine Anfrage über FlexInference mit Ihrem bestehenden Provider-Schlüssel. Richten Sie Ihren OpenAI-kompatiblen Client auf FlexInference aus, fügen Sie start_within hinzu, und FlexInference versucht zuerst den günstigeren flex-Tier, bevor es auf den standard-Tier eskaliert. Es funktioniert mit OpenAI, Gemini und Anthropic, und Sie können eine Cloud-Route festlegen, um dasselbe Modell über Amazon Bedrock oder Google Vertex AI bereitzustellen. Bei einer flex-Anfrage berechnet FlexInference 20 % der Einsparungen und nichts, wenn keine Einsparungen erzielt werden.

Voraussetzungen

  • Ein OpenAI API-Schlüssel mit verfügbarem Guthaben. FlexInference verwendet Ihren Schlüssel als BYOK, und OpenAI stellt Ihnen die Kosten direkt in Rechnung.
  • Ein Terminal mit curl, oder Python 3.9+, oder Node.js 18+.

Erste Schritte

1

FlexInference-Konto erstellen

Gehen Sie zum Dashboard und melden Sie sich an. Ihr Konto ist eine eigene Organisation. Es verwaltet Ihre API-Schlüssel und verfolgt die Nutzung, wodurch Ihre Schlüssel und Rechnungen von anderen Organisationen getrennt bleiben.
2

API-Schlüssel erstellen

Erstellen Sie im Dashboard einen Schlüssel. Er beginnt mit flex_live_... und wird nur einmal angezeigt. Speichern Sie ihn jetzt. Senden Sie diesen Schlüssel an FlexInference anstelle Ihres OpenAI-Schlüssels.
3

OpenAI-Schlüssel hinzufügen (BYOK)

Fügen Sie Ihren OpenAI-Schlüssel in das Dashboard ein. FlexInference speichert ihn verschlüsselt und verwendet ihn nur für Anfragen, die in Ihrem Namen gestellt werden; Sie senden ihn nicht pro Anfrage. Details finden Sie unter Authentifizierung.
4

Ihre erste Anfrage stellen

Richten Sie Ihren Client auf https://api.flexinference.com/v1 aus und fügen Sie start_within hinzu. Hier bedeutet 00h-00m-30s, dass die Anfrage bis zu 30 Sekunden warten kann, bevor sie startet. FlexInference versucht zuerst den flex-Tier von OpenAI, da dieser weniger kostet, aber in einer Warteschlange landen kann. Wenn flex nicht innerhalb von 30 Sekunden startet, führt FlexInference stattdessen den normalen standard-Tier aus. Standard ist der Tier zum vollen Preis und startet sofort.Flex ist der günstigere Tier und kann vor dem Start in einer Warteschlange warten. Standard ist der normale Tier zum vollen Preis und startet sofort. FlexInference bewegt sich preislich nach oben, nicht qualitativ nach unten: Es beginnt mit flex und verwendet standard nur, wenn flex Ihr Zeitlimit überschreiten würde.start_within ist die maximale Wartezeit, bevor die Anfrage startet. Geben Sie es als Dauer an, z. B. 00h-00m-30s für 30 Sekunden. Ein größerer Wert gibt flex mehr Zeit zum Starten, was mehr Geld sparen kann. Ein kleinerer Wert verschiebt die Anfrage früher auf standard. Das Claude-Beispiel übergibt default anstelle einer Dauer, da Anthropic keinen flex-Tier hat, mit dem es konkurrieren könnte, sodass die Anfrage direkt an standard geht. Der Wert begrenzt die Startzeit, nicht die gesamte Generierungszeit. Eine vollständige Liste der Werte finden Sie auf der Routing-Seite.
Eine 200-Antwort mit "service_tier": "flex" bedeutet, dass flex rechtzeitig gestartet ist und bei diesem Aufruf Geld gespart wurde. "service_tier": "default" bedeutet, dass FlexInference standard verwendet hat, weil flex Ihr Zeitlimit überschritten hätte. Die Antwort-Header x-flexinference-flex-applied und x-flexinference-flex-reason zeigen das gleiche Ergebnis für den Code an. In jedem Fall wird die Anfrage pünktlich abgeschlossen.
Wenn Ihre erste Anfrage fehlschlägt, lesen Sie den Fehlertext. FlexInference-Fehler geben an, was schiefgelaufen ist, warum es passiert ist, wie es behoben werden kann, und enthalten ein funktionierendes Beispiel. Wenn Sie Ihren OpenAI-Schlüssel nicht im Dashboard hinzugefügt haben, besagt der Fehler dies und verweist auf die Seite, die das Problem behebt. Provider-Fehler werden mit ihrem ursprünglichen Status und Text weitergeleitet. Eine vollständige Liste finden Sie auf der Fehlerseite.

Was Sie als Nächstes ausprobieren können

Ihr Zeitlimit festlegen

Erfahren Sie mehr über die start_within-Werte und die Regel, die Anfragen von flex zu standard verschiebt.

Streaming, Tools, Vision

Nutzen Sie Streaming, Tools und Vision über OpenAI, Gemini und Anthropic hinweg.