FlexInference API key
Cree una clave en el panel de control. El panel de control la muestra una sola vez; guárdela como un secreto. Envíela como un token de portador enAuthorization:
start_within, que establece cuánto tiempo puede esperar la solicitud para comenzar. default utiliza el nivel estándar. Una duración permite que el planificador de superficie intente primero un nivel flex más económico, y luego escale al nivel estándar si flex no puede comenzar antes de la fecha límite. Consulte Deadline routing para ver la lista completa de valores.
Una clave mal formada, revocada o desconocida devuelve 401 invalid_api_key. Cada clave de FlexInference lleva una suma de verificación, por lo que los errores tipográficos obvios se rechazan antes de cualquier llamada al proveedor. La revocación se verifica antes del enrutamiento. Si encuentra este error, verifique que copió la clave completa, que comienza con flex_live_ y que no la ha revocado en el panel de control. Cree una clave nueva si no está seguro de que siga siendo válida.
Sus claves de proveedor (BYOK)
FlexInference no revende inferencia. Agregue sus claves de proveedor una vez en el panel de control: OpenAI (sk-...) para modelos GPT, Gemini (AIza...) para modelos Gemini, Anthropic (sk-ant-...) para modelos Claude, o cualquier combinación de las tres. Para rutas en la nube, agregue una clave express de Vertex (prefijo AQ.) o una clave de portador de Bedrock (prefijo ABSK) con su región. El proveedor factura su cuenta directamente.
El modelo y el array provider opcional seleccionan la clave del proveedor. Por defecto, el nombre del modelo la selecciona: un modelo gemini-* utiliza su clave de Gemini, un modelo claude-* utiliza su clave de Anthropic, y todo lo demás utiliza su clave de OpenAI. Cuando fija una ruta con provider, cada ruta en la cadena utiliza la clave de esa ruta: una ruta google utiliza su clave de Gemini, una ruta anthropic su clave de Anthropic, y una ruta openai su clave de OpenAI. Las rutas en la nube vertex y bedrock utilizan sus propias claves: una ruta vertex utiliza su clave express de Vertex (prefijo AQ.) y una ruta bedrock utiliza su clave de portador de Bedrock (prefijo ABSK) y región. Consulte provider routing.
Cada clave de proveedor se almacena cifrada en reposo con una vinculación por organización. FlexInference nunca la registra, la devuelve ni le pide que la envíe por solicitud.
Si la solicitud necesita una clave que no está configurada, recibirá 400 no_byok_key (OpenAI), 400 no_gemini_key (Gemini), 400 no_anthropic_key (Anthropic), 400 no_vertex_key (Vertex) o 400 no_bedrock_key (Bedrock). Agregue la clave en el panel de control e inténtelo de nuevo. Si existe una clave almacenada pero no se puede descifrar, la solicitud falla como 500 internal_error, no como un error de clave faltante.
Cada ruta que nombre en una cadena provider necesita su clave, no solo la ruta principal. Una clave faltante es un error de configuración en lugar de una falla transitoria, por lo que se rechaza antes de cualquier llamada ascendente y nunca pasa a la siguiente ruta en la cadena: ["bedrock","anthropic"] sin una clave de Bedrock devuelve 400 no_bedrock_key incluso cuando su clave de Anthropic está presente. Consulte provider routing.
La clave de Bedrock que agrega aquí es su clave de inferencia (prefijo
ABSK). No es lo mismo que la configuración de la cuenta de AWS que
requieren los cuatro modelos Claude más nuevos en la ruta bedrock: una
opción de provider_data_share de retención de datos única y un acuerdo de
modelo, ejecutado una vez con las credenciales de AWS de un administrador, no
esta clave de inferencia. Hasta que eso se haga, esos modelos devuelven
403 bedrock_model_access_denied. Consulte the newest-model
setup.Dado que la facturación se realiza en su propia cuenta de proveedor, sus
límites de tasa, cuotas y controles de gasto existentes siguen aplicándose.
Esto es válido ya sea que la solicitud vaya a OpenAI, Gemini o Anthropic.