start_within.
Una matriz provider opcional fija la ruta que toma su solicitud. Las rutas directas llegan a OpenAI, Gemini y Anthropic; las rutas en la nube sirven el mismo modelo en su propia cuenta de la nube - bedrock ejecuta claude-* a través de Amazon Bedrock y vertex ejecuta gemini-* a través de Google Vertex AI, en el nivel estándar sin flex race. Consulte enrutamiento de proveedores.
Usted trae sus claves de proveedor una sola vez. FlexInference almacena las claves BYOK cifradas y nunca las requiere por solicitud. Las solicitudes se autentican con una clave de FlexInference; el enrutador resuelve su organización a partir de esa clave, verifica el registro de revocación fuertemente consistente y utiliza la clave de proveedor almacenada para la superficie seleccionada.
En más de 60,000 solicitudes reales, el enrutamiento flex reduce el costo ponderado por token en aproximadamente un 47 por ciento, por aproximadamente un 16 por ciento más de tiempo hasta el primer token.
FlexInference no vende inferencia. Usted trae su propia clave de proveedor (BYOK)
- OpenAI, Gemini o Anthropic, además de una clave express de Google Vertex AI o una clave de Amazon Bedrock para una ruta en la nube - y el proveedor factura su cuenta directamente en el nivel que atendió la solicitud. Nosotros añadimos enrutamiento de costos que respeta cuánto tiempo puede esperar.
x-flexinference-flex-applied y x-flexinference-flex-reason, junto con el service_tier de la respuesta, para que pueda auditar si flex atendió la solicitud o por qué se recurrió a otra opción.
Por qué existe
OpenAI expone múltiples niveles de servicio para los mismos modelos. El nivel flex (por lotes) cuesta la mitad de la tarifa estándar, pero la capacidad no está garantizada. Las aplicaciones que se preocupan por la latencia necesitan una forma por solicitud para decidir cuándo es aceptable esperar.start_within es el tiempo máximo que permite antes de que la solicitud comience a ejecutarse. No es un plazo de finalización estricto. Utilice un valor corto cuando un usuario esté esperando; utilice un valor más largo para trabajos en segundo plano donde un costo menor es más importante.
Lo necesito ahora
start_within: "priority" enruta al nivel de prioridad de OpenAI.Puedo esperar un poco
start_within: "00h-00m-30s" intenta primero el nivel flex más económico. Si flex
no puede comenzar en 30 segundos, FlexInference eleva la solicitud a su
nivel estándar para que aún se ejecute.Predeterminado
start_within: "default" utiliza el nivel y los precios predeterminados de OpenAI. ("auto"
permite que OpenAI elija.)start_within. La escalada no cuesta más que llamar al proveedor directamente con precios estándar.
Compatible sin modificaciones
Configure su URL base a FlexInference e incluyastart_within. El enrutador mantiene intacta la forma de solicitud y respuesta del proveedor para streaming, tool calling, structured outputs, visión y razonamiento en OpenAI, Gemini y Anthropic.
Inicio rápido
Pase de cero a su primera solicitud.
Enrutamiento por plazos
Cómo funciona
start_within y cuándo se activa la escalada al estándar.Autenticación
Claves de API de FlexInference, además de su propia clave de OpenAI, Gemini o Anthropic.
Modelos compatibles
Los modelos que admiten el enrutamiento flex.
Enrutamiento de proveedores
Fije una ruta o añada una ruta en la nube a través de Amazon Bedrock o Google Vertex
AI.