Claves de agente

La mayoría de las herramientas construyen su propio cuerpo de solicitud. No ofrecen un lugar para incluir start_within, y cada solicitud sin él devuelve 400 missing_start_within. Una clave de agente resuelve esto. Contiene el plazo en sí, por lo que cada solicitud que la herramienta realiza se enruta según este.

​

Crear la clave

1. Abra el panel de control y vaya a API, luego a FlexInference keys.
2. Presione Create agent key. El botón simple Create key crea una clave sin plazo.
3. Asigne un nombre a la clave. El nombre es opcional y solo le ayuda a encontrarla más tarde.
4. Elija el plazo. Flex race viene preseleccionado y es la razón de ser de las claves de agente.
5. Establezca la duración si eligió Flex race. Escriba cualquier duración desde 5 segundos hasta 10 minutos, o elija una opción rápida.
6. Presione crear, luego copie el secreto. El panel de control lo muestra una vez.

Encuentre la clave de nuevo con el filtro Agent keys only en la lista de claves. Un chip de política en la fila muestra lo que contiene.

​

Qué hace cada plazo

Flex race cuesta menos y comienza más tarde. Sentirá ese retraso en un bucle interactivo, por lo que un nivel se adapta a una herramienta que usted observa.

​

Qué contiene la clave

Una clave almacena hasta tres campos.

• start_within: una duración o un nombre de nivel. Siempre establecido.
• on_no_flex: el nivel al que recurre una duración. El panel de control siempre almacena default y nunca pregunta. Solo la API le permite elegir priority.
• retry: un count de 1 a 5, con backoff y jitter opcionales. No establecido a menos que lo solicite.

Deje retry sin modificar a menos que tenga una razón. La mayoría de los agentes reintentan por su cuenta, y los dos se acumulan. Cada intento del cliente consume entonces un presupuesto completo del lado del servidor.

​

La solicitud siempre prevalece

Rellenamos un campo almacenado en cualquier solicitud que llegue sin él. Nunca reemplazamos un valor enviado por la solicitud. Esa regla se mantiene incluso cuando el valor enviado es incorrecto. Un start_within explícitamente erróneo aún devuelve 400 invalid_start_within. Un valor predeterminado de la clave sustituye un campo que no envió, nunca uno que envió incorrectamente. Cada respuesta que rellenamos viene con x-flexinference-defaults-applied, listando los campos. Una solicitud que envió su propio plazo no recibe dicho encabezado.

​

Una duración de clave recurre cuando una duración de solicitud falla

Una duración en el cuerpo de la solicitud en un modelo claude-* compite con el nivel más económico de Claude. Tres reglas lo deciden: claves gestionadas, sin streaming y tres minutos o más. Si se incumple una, la solicitud falla, con 400 flex_unsupported_for_anthropic para la primera de ellas. Consulte Las duraciones de Claude necesitan una ventana más larga. Una duración en la clave recurre en su lugar. Ejecuta el nivel on_no_flex, por lo que la clave siempre tiene una respuesta. Ese recurso es la razón por la que una clave nunca compite con el nivel más económico de Claude, ya sea con claves gestionadas o de otra manera: el plazo se resuelve a su nivel antes de que se considere la competencia. Ese recurso solo cubre el modelo. Un conflicto que su propia solicitud crea aún falla. Fijar una ruta en la nube hace eso, porque una ruta en la nube solo ejecuta el nivel normal. Consulte key_default_not_applicable.

​

Editar o revocar

Edite el plazo en la fila de la clave. El tráfico en vivo lo recoge en segundos, y usted mantiene la misma clave. Nada se reinicia y el secreto permanece igual. Revocar una clave elimina sus valores predeterminados con ella.

​

Dónde no se aplica una clave de agente

Una herramienta necesita una URL base y un campo de clave para comunicarse con nosotros. Un producto que solo funciona con la suscripción de su propio proveedor no tiene ninguno de los dos, por lo que ninguna clave puede alcanzarlo.

​

Guías por herramienta

​

Solución de problemas y preguntas frecuentes

Errores contiene cada rechazo que devolvemos, con su formato de trama, lo que lo causó y la solución. Cada guía por herramienta cubre los específicos de ese cliente. Un rechazo pertenece a las propias claves de agente. 400 missing_start_within en cada solicitud. La clave no contiene un plazo, por lo que se creó desde Create key en lugar de Create agent key. Cree una nueva clave con Create agent key y reemplácela. Una clave creada sin valores predeterminados no puede adquirirlos más tarde, por lo que la fila no ofrece ningún control para añadir uno. ¿La herramienta necesita saber que contiene una clave de agente? No. Se autentica de la misma manera que cualquier clave, y cada clave comienza con flex_live_. ¿Puede una clave servir a una herramienta y a mi propio código? Sí. Su código envía start_within y prevalece. La herramienta no envía nada y toma el plazo de la clave. ¿Qué costo tiene esto? Ejecutamos cada solicitud que realiza el agente. Con su propia clave de proveedor, esto no le cuesta nada aquí, y su proveedor factura los tokens. Con Managed Keys, cada solicitud consume su saldo, así que configure una alarma de volumen de solicitudes. ¿Por qué una laptop alcanzó un límite de tasa? Limitamos las solicitudes exitosas por IP de origen, a través de cada clave detrás de ella. Un bucle rápido alcanza ese límite antes del límite por clave. Consulte rate_limit_exceeded.