start_within, y FlexInference intentará el nivel flex más económico antes de escalar al estándar. Funciona con OpenAI, Gemini y Anthropic, y puedes fijar una ruta en la nube para servir el mismo modelo a través de Amazon Bedrock o Google Vertex AI. En una solicitud flex, FlexInference cobra el 20% de los ahorros, y no cobra nada cuando no hay ahorros.
Requisitos previos
- Una clave de API de OpenAI con crédito disponible. FlexInference usa tu clave como BYOK, y OpenAI te factura directamente.
- Una terminal con
curl, o Python 3.9+, o Node.js 18+.
Primeros pasos
1
Crear una cuenta de FlexInference
Ve al panel de control e inicia sesión. Tu cuenta es su propia organización. Es propietaria de tus claves de API y rastrea el uso, manteniendo tus claves y facturas separadas de otras organizaciones.
2
Crear una clave de API
En el panel de control, crea una clave. Comienza con
flex_live_... y aparece solo una vez. Guárdala ahora. Envía esta clave a FlexInference en lugar de tu clave de OpenAI.3
Añadir tu clave de OpenAI (BYOK)
Pega tu clave de OpenAI en el panel de control. FlexInference la almacena cifrada y la usa solo para las solicitudes realizadas en tu nombre; no la envías por cada solicitud. Consulta Autenticación para más detalles.
4
Realizar tu primera solicitud
Dirige tu cliente a
https://api.flexinference.com/v1 y añade start_within. Aquí 00h-00m-30s significa que la solicitud puede esperar hasta 30 segundos para comenzar. FlexInference intenta primero el nivel flex de OpenAI porque cuesta menos pero puede ponerse en cola. Si flex no comienza en 30 segundos, FlexInference ejecuta el nivel estándar normal en su lugar. Estándar es el nivel de precio completo y comienza de inmediato.Flex es el nivel más económico y puede esperar en una cola antes de comenzar. Estándar es el nivel normal de precio completo y comienza de inmediato. FlexInference sube de precio, no baja de calidad: comienza con flex y usa estándar solo cuando flex no cumpliría tu límite de tiempo.start_within es el tiempo máximo de espera antes de que comience la solicitud. Escríbelo como una duración, por ejemplo 00h-00m-30s para 30 segundos. Un valor mayor le da a flex más tiempo para comenzar, lo que puede ahorrar más dinero. Un valor menor mueve la solicitud a estándar antes. El ejemplo de Claude pasa default en lugar de una duración porque Anthropic no tiene un nivel flex para competir, por lo que la solicitud va directamente a estándar. El valor limita el tiempo de inicio, no el tiempo total de generación. Consulta la página de enrutamiento para ver la lista completa de valores.Una respuesta
200 con "service_tier": "flex" significa que flex comenzó a tiempo y
ahorró dinero en esta llamada. "service_tier": "default" significa que FlexInference usó
estándar porque flex no cumpliría tu límite de tiempo. Los encabezados de respuesta
x-flexinference-flex-applied y x-flexinference-flex-reason exponen el
mismo resultado para el código. De cualquier manera, la solicitud se completa a tiempo.Si tu primera solicitud falla, lee el cuerpo del error. Los errores de FlexInference indican
qué salió mal, por qué sucedió, cómo solucionarlo e incluyen un ejemplo funcional.
Si no has añadido tu clave de OpenAI en el panel de control, el error lo indicará
y te dirigirá a la página que lo soluciona. Los errores del proveedor se transmiten
con su estado y cuerpo originales. Consulta la página de errores para ver la lista completa.
Qué probar a continuación
Establece tu límite de tiempo
Aprende los valores de
start_within y la regla que mueve las solicitudes de flex
a estándar.Streaming, herramientas, visión
Usa streaming, herramientas y visión en OpenAI, Gemini y Anthropic.