Zum Hauptinhalt springen
FlexInference verwendet zwei Arten von Schlüsseln: einen FlexInference API-Schlüssel für diese API und BYOK Provider-Schlüssel für Modell-Provider.

​
FlexInference API key

Erstellen Sie einen Schlüssel im Dashboard. Das Dashboard zeigt ihn nur einmal an; speichern Sie ihn als Geheimnis. Senden Sie ihn als Bearer-Token im Authorization-Header:
Jede Anfrage muss start_within enthalten, das festlegt, wie lange die Anfrage auf den Start warten darf. default verwendet den Standard-Tier. Eine Dauer ermöglicht es dem Surface Planner, zuerst einen günstigeren flex-Tier zu versuchen und dann auf den Standard-Tier zu eskalieren, falls flex nicht vor Ablauf der Frist starten kann. Eine vollständige Liste der Werte finden Sie unter Deadline routing. Ein fehlerhafter, widerrufener oder unbekannter Schlüssel führt zu 401 invalid_api_key. Jeder FlexInference-Schlüssel enthält eine Prüfsumme, sodass offensichtliche Tippfehler vor jedem Provider-Aufruf abgelehnt werden. Der Widerruf wird vor dem Routing überprüft. Wenn dieser Fehler auftritt, überprüfen Sie, ob Sie den gesamten Schlüssel kopiert haben, ob er mit flex_live_ beginnt und ob Sie ihn nicht im Dashboard widerrufen haben. Erstellen Sie einen neuen Schlüssel, wenn Sie sich nicht sicher sind, ob er noch gültig ist.
Behandeln Sie flex_live_-Schlüssel als Geheimnisse. Committen Sie sie nicht und liefern Sie sie nicht in clientseitigem Code aus. Wenn ein Schlüssel kompromittiert wird, widerrufen Sie ihn im Dashboard und erstellen Sie einen neuen.

​
Ihre Provider-Schlüssel (BYOK)

FlexInference verkauft keine Inferenz weiter. Fügen Sie Ihre Provider-Schlüssel einmal im Dashboard hinzu: OpenAI (sk-...) für GPT-Modelle, Gemini (AIza...) für Gemini-Modelle, Anthropic (sk-ant-...) für Claude-Modelle oder eine beliebige Mischung aus diesen dreien. Für Cloud-Routen fügen Sie einen Vertex Express-Schlüssel (Präfix AQ.) oder einen Bedrock Bearer-Schlüssel (Präfix ABSK) mit seiner Region hinzu. Der Provider stellt Ihrem Konto die Kosten direkt in Rechnung. Das Modell und das optionale provider-Array wählen den Provider-Schlüssel aus. Standardmäßig wählt der Modellname ihn aus: Ein gemini-*-Modell verwendet Ihren Gemini-Schlüssel, ein claude-*-Modell verwendet Ihren Anthropic-Schlüssel und alles andere verwendet Ihren OpenAI-Schlüssel. Wenn Sie eine Route mit provider festlegen, verwendet jede Route in der Kette den Schlüssel dieser Route: Eine google-Route verwendet Ihren Gemini-Schlüssel, eine anthropic-Route Ihren Anthropic-Schlüssel und eine openai-Route Ihren OpenAI-Schlüssel. Die Cloud-Routen vertex und bedrock verwenden ihre eigenen Schlüssel: Eine vertex-Route verwendet Ihren Vertex Express-Schlüssel (Präfix AQ.) und eine bedrock-Route verwendet Ihren Bedrock Bearer-Schlüssel (Präfix ABSK) und die Region. Siehe provider routing. Jeder Provider-Schlüssel wird verschlüsselt im Ruhezustand mit einer organisationsspezifischen Bindung gespeichert. FlexInference protokolliert ihn niemals, gibt ihn nicht zurück und fordert Sie auch nicht auf, ihn pro Anfrage zu senden. Wenn die Anfrage einen Schlüssel benötigt, der nicht konfiguriert ist, erhalten Sie 400 no_byok_key (OpenAI), 400 no_gemini_key (Gemini), 400 no_anthropic_key (Anthropic), 400 no_vertex_key (Vertex) oder 400 no_bedrock_key (Bedrock). Fügen Sie den Schlüssel im Dashboard hinzu und versuchen Sie es erneut. Wenn ein gespeicherter Schlüssel existiert, aber nicht entschlüsselt werden kann, schlägt die Anfrage als 500 internal_error fehl, nicht als Fehler wegen fehlendem Schlüssel. Jede Route, die Sie in einer provider-Kette benennen, benötigt ihren Schlüssel, nicht nur die primäre Route. Ein fehlender Schlüssel ist ein Konfigurationsfehler und keine vorübergehende Störung, daher wird er vor jedem Upstream-Aufruf abgelehnt und fällt niemals auf die nächste Route in der Kette zurück: ["bedrock","anthropic"] ohne einen Bedrock-Schlüssel gibt 400 no_bedrock_key zurück, selbst wenn Ihr Anthropic-Schlüssel vorhanden ist. Siehe provider routing.
Der Bedrock-Schlüssel, den Sie hier hinzufügen, ist Ihr Inferenz-Schlüssel (Präfix ABSK). Er ist nicht identisch mit der AWS-Kontoeinrichtung, die die vier neuesten Claude-Modelle auf der bedrock-Route erfordern: ein einmaliges provider_data_share Opt-in zur Datenaufbewahrung und eine Modellvereinbarung, die einmal mit den AWS-Anmeldeinformationen eines Administrators ausgeführt wird, nicht mit diesem Inferenzschlüssel. Bis dies geschehen ist, geben diese Modelle 403 bedrock_model_access_denied zurück. Siehe die Einrichtung der neuesten Modelle.
Da die Abrechnung über Ihr eigenes Provider-Konto läuft, gelten weiterhin Ihre bestehenden Ratenbegrenzungen, Kontingente und Ausgabenkontrollen. Dies gilt unabhängig davon, ob die Anfrage an OpenAI, Gemini oder Anthropic geht.