Skip to main content
Ihre eigenen Provider-Keys haben keine finanzielle Obergrenze. Managed Keys verbrauchen ein vorausbezahltes Guthaben und können daher aufgebraucht sein. Zwei Response-Header melden, was Ihnen noch verbleibt. GET /v1/limits liefert das Gesamtbild in einem einzigen Aufruf.

​
Ihre eigenen Keys haben keine finanzielle Obergrenze

Wir legen keine Anforderungslimits und keine monatliche Obergrenze fest. Sie verfügen über kein Guthaben, das aufgebraucht werden könnte. Siehe Preise und Abrechnung. Eine Obergrenze gilt. Ihre Organisation führt eine feste Anzahl von flex races gleichzeitig aus. Nach Überschreiten dieser Anzahl führen wir die Anfrage auf der Standard-Stufe aus. Sie verlieren den Rabatt, nicht die Antwort. Der Bericht bezeichnet diese Zahl als own_keys.flex_race_slots.

​
Was Managed Keys ausgehen kann

Eine Risikoprüfung kann verwaltete Anfragen zusätzlich zu diesen vier pausieren. Sie gibt account_under_review zurück. Ihre eigenen Key-Routen funktionieren weiterhin. Vier weitere Limits gelten für jede Organisation. Drei zählen Anfragen pro Minute von einer Organisation, von einem Key und von einer IP-Adresse. Das vierte zählt fehlgeschlagene Authentifizierungsversuche von einer IP-Adresse. Wir lehnen auch einen Body über 50.000.000 Bytes als request_too_large ab. Der Bericht benennt jedes Pro-Minute-Limit mit seinem Zeitfenster und seinem Geltungsbereich. Die Zahl wird weggelassen, da Cloudflare jedes Limit an jedem Standort, an dem es läuft, zählt und eine einzelne Zahl kein Budget wäre, gegen das Sie planen könnten. Warten Sie stattdessen die Sekunden in Retry-After ab.

​
Zwei Response-Header melden Ihre Ausgaben

Eine Own-Keys-Antwort enthält sie, sobald ihre Routen aufgelöst sind, und eine Managed-Antwort enthält sie ab der Guthabenreservierung. Drei Antworten enthalten keinen dieser Header: eine, die wir zuvor abgelehnt haben, der Modellkatalog und eine verwaltete Anfrage, deren Guthaben wir nicht lesen konnten. Wir lassen die Header weg, anstatt zu raten. Wir haben beide gelesen, als wir diese Anfrage zugelassen haben. Die Zahl gibt an, was Ihnen noch verblieb, bevor diese Anfrage ihre eigenen Kosten beglichen hat. Eine negative Zahl bedeutet, dass wir jede verwaltete Anfrage ablehnen. Das Hinzufügen von Geld behebt ein negatives Guthaben. Ein negativer Tagesrest erholt sich um die nächste UTC-Mitternacht oder mit einer erhöhten Obergrenze, niemals durch eine Aufladung. Lesen Sie diese Header im bereits gesendeten Traffic. Das Abfragen des Endpunkts vor jeder Anfrage verursacht einen Roundtrip und liefert Ihnen nicht mehr Informationen als der Header.

​
Der Limits-Endpunkt

GET /v1/limits verwendet Ihren FlexInference Key. Es meldet die Obergrenzen, unter denen Ihre Organisation läuft. Es liest die Datensätze, die Ihre Anfragen zulassen, sodass es niemals Kapazitäten beansprucht, die wir ablehnen würden. Wir cachen die Antwort niemals.
Jedes Geldfeld ist eine Micro-USD-Ganzzahl. Ein USD entspricht 1.000.000 davon. Die letzten drei Felder erklären, warum Ihre Parallelitätszahl und Ihre tägliche Obergrenze so aussehen, wie sie es tun. Eine ausgenommene Organisation hat keine Obergrenze zu erklären, daher lesen alle drei null. Ein pausiertes Guthaben meldet die Pause anstelle einer Zahl. Keine positive Zahl kann dann als Sendeberechtigung gelesen werden. Diese Zahlen gelten zum Zeitpunkt as_of und versprechen nichts über Ihre nächste Anfrage. Eine weitere Anfrage verschiebt sie, ebenso wie eine Abrechnung, eine Aufladung oder eine Rückerstattung. Ein fehlender oder falscher Key gibt 401 mit invalid_api_key zurück. Wenn wir einen dieser Datensätze nicht lesen können, gibt der Endpunkt 503 mit limits_unavailable zurück. Er lehnt ab, anstatt Ihnen eine gecachte Zahl zu übergeben, die Kapazitäten beanspruchen könnte, die Ihre nächste Anfrage nicht erhalten würde. Anfragen funktionieren in jedem Fall weiterhin.

​
Kosten innerhalb eines Streams

Eine nicht gestreamte Antwort meldet ihre Kosten zweimal: im Header x-flexinference-cost und im Block usage.cost. Eine gestreamte Antwort kann den Header nicht verwenden, da wir Header senden, bevor die Antwort existiert, und wir die Kosten dann nicht kennen. Senden Sie include_cost: true, um die Kosten in den Stream zu verschieben.
Die Kosten werden dann in den Usage-Frame eingefügt, den der Endpunkt bereits sendet. Ein usage.routing-Block befindet sich daneben und benennt die Route, die die Anfrage ausgeführt hat.
Die Option ist standardmäßig deaktiviert. Ein Stream, für den Sie dies nicht angefordert haben, entspricht bytegenau dem, was der Provider gesendet hat. /v1/chat/completions macht den Usage-Frame selbst bei OpenAI opt-in. Senden Sie zusätzlich "stream_options": {"include_usage": true}. Ohne dies haben die Kosten keinen Frame, in den sie eingefügt werden können. Eine verwaltete Anfrage meldet, was der Provider uns berechnet hat. Eine Own-Keys-Anfrage meldet den Listenpreis des Providers auf der Stufe, auf der sie ausgeführt wurde. Eine Anfrage, die wir nicht bepreisen können, meldet überhaupt keine cost. Ein fehlender Block ist als ‘nichts zu melden’ zu verstehen, nicht als Null. Zwei Routing-Header sind in jeder Antwort enthalten. Dies sind x-flexinference-served-provider und x-flexinference-routing-reason. Ein Streaming-Aufrufer, der include_cost überspringt, sieht dennoch, welche Route die Anfrage ausgeführt hat und warum. Siehe Ergebnis lesen. include_cost erreicht niemals den Provider. Wir entfernen es aus dem Body, bevor wir die Anfrage weiterleiten.