start_within einzufügen, und jede Anfrage ohne diesen Parameter gibt 400 missing_start_within zurück.
Ein Agent-Schlüssel löst dieses Problem. Er enthält die Deadline selbst, sodass jede Anfrage, die das Tool stellt, über diese Deadline geroutet wird.
Erstellen Sie den Schlüssel
- Öffnen Sie das Dashboard und gehen Sie zu API, dann zu FlexInference keys.
- Klicken Sie auf Create agent key. Die Schaltfläche Create key erstellt einen Schlüssel ohne Deadline.
- Benennen Sie den Schlüssel. Der Name ist optional und dient nur dazu, ihn später leichter zu finden.
- Wählen Sie die Deadline aus. Flex race ist vorausgewählt und der Grund, warum Agent-Schlüssel existieren.
- Legen Sie die Dauer fest, wenn Sie Flex race gewählt haben. Geben Sie eine beliebige Länge von 5 Sekunden bis 10 Minuten ein oder wählen Sie eine schnelle Option.
- Klicken Sie auf Erstellen und kopieren Sie dann das Geheimnis. Das Dashboard zeigt es nur einmal an.
Was jede Deadline bewirkt
Flex race kostet weniger und startet später. Diese Verzögerung ist in einer interaktiven Schleife spürbar, daher eignet sich diese Stufe für ein Tool, das Sie beobachten.
Priority und Auto erfordern eine BYOK-Organisation. Managed
Keys bietet keine dieser Stufen an, daher wird eine
Organisation mit einem verwalteten Anbieter bei der Erstellung mit
400 invalid_key_defaults abgelehnt. Die Ablehnung umfasst auch die Fallback-Stufe
einer Dauer. Wählen Sie dort Standard oder Flex race.Was der Schlüssel enthält
Ein Schlüssel speichert bis zu drei Felder.start_within: eine Dauer oder ein Stufenname. Immer gesetzt.on_no_flex: die Stufe, auf die eine Dauer zurückfällt. Das Dashboard speichert immerdefaultund fragt nie danach. Nur die API erlaubt die Wahl vonpriority.retry: eincountvon 1 bis 5, mit optionalembackoffundjitter. Nicht gesetzt, es sei denn, Sie fordern es an.
retry in Ruhe, es sei denn, Sie haben einen Grund. Die meisten Agenten versuchen es von selbst erneut, und die beiden stapeln sich. Jeder Client-Versuch verbraucht dann ein volles serverseitiges Budget.
Die Anfrage gewinnt immer
Wir füllen ein gespeichertes Feld in jede Anfrage ein, die ohne es ankommt. Wir ersetzen niemals einen Wert, den die Anfrage gesendet hat. Diese Regel gilt auch dann, wenn der gesendete Wert falsch ist. Ein explizit falscherstart_within gibt immer noch 400 invalid_start_within zurück. Ein Schlüssel-Standardwert tritt an die Stelle eines Feldes, das Sie nicht gesendet haben, niemals an die Stelle eines falsch gesendeten Feldes.
Jede Antwort, die wir ausfüllen, enthält x-flexinference-defaults-applied, das die Felder auflistet. Eine Anfrage, die ihre eigene Deadline gesendet hat, erhält keinen solchen Header.
Eine Schlüssel-Dauer fällt zurück, wo eine Anfrage-Dauer fehlschlägt
Eine Dauer im Anfrage-Body einesclaude-*-Modells konkurriert mit Claudes günstigerer Stufe. Drei Regeln entscheiden darüber: Managed Keys, kein Streaming und drei Minuten oder mehr. Wird eine davon verletzt, schlägt die Anfrage fehl, mit 400 flex_unsupported_for_anthropic für die erste dieser Regeln. Siehe Claude-Dauern benötigen ein längeres Zeitfenster.
Eine Dauer auf dem Schlüssel fällt stattdessen zurück. Sie führt die on_no_flex-Stufe aus, sodass der Schlüssel immer eine Antwort hat. Dieser Fallback ist der Grund, warum ein Schlüssel niemals mit Claudes günstigerer Stufe konkurriert, weder bei Managed Keys noch anderweitig: Die Deadline wird auf Ihre Stufe aufgelöst, bevor der Wettbewerb berücksichtigt wird.
Dieser Fallback deckt nur das Modell ab. Ein Konflikt, den Ihre eigene Anfrage erzeugt, schlägt weiterhin fehl. Das Festlegen einer Cloud-Route bewirkt dies, da eine Cloud-Route nur die normale Stufe ausführt. Siehe key_default_not_applicable.
Bearbeiten oder widerrufen
Bearbeiten Sie die Deadline in der Schlüsselzeile. Der Live-Traffic übernimmt sie innerhalb von Sekunden, und Sie behalten denselben Schlüssel. Nichts wird neu gestartet und das Geheimnis bleibt dasselbe. Das Widerrufen eines Schlüssels löscht dessen Standardwerte mit ihm.Wo ein Agent-Schlüssel nicht anwendbar ist
Ein Tool benötigt eine Basis-URL und ein Schlüsselfeld, um uns zu erreichen. Ein Produkt, das nur gegen das eigene Abonnement seines Anbieters läuft, hat beides nicht, sodass kein Schlüssel es erreichen kann.Tool-spezifische Anleitungen
Fehlerbehebung & FAQ
Fehler enthält jede Ablehnung, die wir zurückgeben, mit ihrer Wire-Form, der Ursache und der Lösung. Jeder Tool-spezifische Leitfaden behandelt die für diesen Client spezifischen Fehler. Eine Ablehnung betrifft die Agent-Schlüssel selbst.400 missing_start_within bei jeder Anfrage. Der Schlüssel enthält keine Deadline, da er über Create key statt Create agent key erstellt wurde. Erstellen Sie einen neuen Schlüssel mit Create agent key und tauschen Sie ihn aus. Ein Schlüssel, der ohne Standardwerte erstellt wurde, kann diese später nicht erhalten, daher bietet die Zeile keine Steuerung zum Hinzufügen.
Muss das Tool wissen, dass es einen Agent-Schlüssel besitzt? Nein. Es authentifiziert sich auf die gleiche Weise wie jeder andere Schlüssel, und jeder Schlüssel beginnt mit flex_live_.
Kann ein Schlüssel ein Tool und meinen eigenen Code bedienen? Ja. Ihr Code sendet start_within und gewinnt. Das Tool sendet nichts und übernimmt die Deadline des Schlüssels.
Was kostet das? Wir führen jede Anfrage aus, die der Agent stellt. Mit Ihrem eigenen Anbieter-Schlüssel kostet Sie das hier nichts, und Ihr Anbieter berechnet die Tokens. Bei Managed Keys wird bei jeder Anfrage Ihr Guthaben belastet, daher stellen Sie einen Alarm für das Anfragevolumen ein.
Warum hat ein Laptop ein Rate Limit erreicht? Wir begrenzen erfolgreiche Anfragen pro Quell-IP, über jeden dahinter liegenden Schlüssel hinweg. Eine schnelle Schleife erreicht dies vor der Pro-Schlüssel-Begrenzung. Siehe rate_limit_exceeded.