start_within hinzu, und FlexInference versucht zuerst den günstigeren flex-Tier, bevor es auf den standard-Tier eskaliert. Es funktioniert mit OpenAI, Gemini und Anthropic, und Sie können eine Cloud-Route festlegen, um dasselbe Modell über Amazon Bedrock oder Google Vertex AI bereitzustellen. Bei einer flex-Anfrage berechnet FlexInference 20 % der Einsparungen und nichts, wenn keine Einsparungen erzielt werden.
Voraussetzungen
- Ein OpenAI API-Schlüssel mit verfügbarem Guthaben. FlexInference verwendet Ihren Schlüssel als BYOK, und OpenAI stellt Ihnen die Kosten direkt in Rechnung.
- Ein Terminal mit
curl, oder Python 3.9+, oder Node.js 18+.
Erste Schritte
1
FlexInference-Konto erstellen
Gehen Sie zum Dashboard und melden Sie sich an. Ihr Konto ist eine eigene Organisation. Es verwaltet Ihre API-Schlüssel und verfolgt die Nutzung, wodurch Ihre Schlüssel und Rechnungen von anderen Organisationen getrennt bleiben.
2
API-Schlüssel erstellen
Erstellen Sie im Dashboard einen Schlüssel. Er beginnt mit
flex_live_... und wird nur einmal angezeigt. Speichern Sie ihn jetzt. Senden Sie diesen Schlüssel an FlexInference anstelle Ihres OpenAI-Schlüssels.3
OpenAI-Schlüssel hinzufügen (BYOK)
Fügen Sie Ihren OpenAI-Schlüssel in das Dashboard ein. FlexInference speichert ihn verschlüsselt und verwendet ihn nur für Anfragen, die in Ihrem Namen gestellt werden; Sie senden ihn nicht pro Anfrage. Details finden Sie unter Authentifizierung.
4
Ihre erste Anfrage stellen
Richten Sie Ihren Client auf
https://api.flexinference.com/v1 aus und fügen Sie start_within hinzu. Hier bedeutet 00h-00m-30s, dass die Anfrage bis zu 30 Sekunden warten kann, bevor sie startet. FlexInference versucht zuerst den flex-Tier von OpenAI, da dieser weniger kostet, aber in einer Warteschlange landen kann. Wenn flex nicht innerhalb von 30 Sekunden startet, führt FlexInference stattdessen den normalen standard-Tier aus. Standard ist der Tier zum vollen Preis und startet sofort.Flex ist der günstigere Tier und kann vor dem Start in einer Warteschlange warten. Standard ist der normale Tier zum vollen Preis und startet sofort. FlexInference bewegt sich preislich nach oben, nicht qualitativ nach unten: Es beginnt mit flex und verwendet standard nur, wenn flex Ihr Zeitlimit überschreiten würde.start_within ist die maximale Wartezeit, bevor die Anfrage startet. Geben Sie es als Dauer an, z. B. 00h-00m-30s für 30 Sekunden. Ein größerer Wert gibt flex mehr Zeit zum Starten, was mehr Geld sparen kann. Ein kleinerer Wert verschiebt die Anfrage früher auf standard. Das Claude-Beispiel übergibt default anstelle einer Dauer, da Anthropic keinen flex-Tier hat, mit dem es konkurrieren könnte, sodass die Anfrage direkt an standard geht. Der Wert begrenzt die Startzeit, nicht die gesamte Generierungszeit. Eine vollständige Liste der Werte finden Sie auf der Routing-Seite.Eine
200-Antwort mit "service_tier": "flex" bedeutet, dass flex rechtzeitig gestartet ist und
bei diesem Aufruf Geld gespart wurde. "service_tier": "default" bedeutet, dass FlexInference
standard verwendet hat, weil flex Ihr Zeitlimit überschritten hätte. Die Antwort-Header
x-flexinference-flex-applied und x-flexinference-flex-reason zeigen das
gleiche Ergebnis für den Code an. In jedem Fall wird die Anfrage pünktlich abgeschlossen.Wenn Ihre erste Anfrage fehlschlägt, lesen Sie den Fehlertext. FlexInference-Fehler geben an,
was schiefgelaufen ist, warum es passiert ist, wie es behoben werden kann, und enthalten ein
funktionierendes Beispiel. Wenn Sie Ihren OpenAI-Schlüssel nicht im Dashboard hinzugefügt haben,
besagt der Fehler dies und verweist auf die Seite, die das Problem behebt. Provider-Fehler
werden mit ihrem ursprünglichen Status und Text weitergeleitet. Eine vollständige Liste finden
Sie auf der Fehlerseite.
Was Sie als Nächstes ausprobieren können
Ihr Zeitlimit festlegen
Erfahren Sie mehr über die
start_within-Werte und die Regel, die Anfragen von flex
zu standard verschiebt.Streaming, Tools, Vision
Nutzen Sie Streaming, Tools und Vision über OpenAI, Gemini und Anthropic hinweg.