¿Qué es FlexInference?
FlexInference es un enrutador de LLM con conciencia de plazos. Funciona con OpenAI, Gemini y Anthropic, y es compatible con OpenAI, por lo que puede seguir usando el SDK de OpenAI. Usted trae su propia clave de proveedor (BYOK). Apunte la URL base a FlexInference y añada un plazostart_within a cualquier solicitud. Dentro de ese plazo, competimos con un nivel flex más económico y le devolvemos el modelo exacto que solicitó. Las solicitudes estándar siguen siendo gratuitas. Cuando flex supera el precio estándar, nos quedamos con el 20% de lo que le ahorra, facturado una vez que su saldo supera los $20. También puede fijar la ruta con un array de proveedores opcional, incluyendo rutas en la nube que sirven el mismo modelo a través de Amazon Bedrock (Claude) o Google Vertex AI (Gemini) con su propia clave de nube.
¿Qué es start_within?
Un campo requerido en cada solicitud. Establézcalo endefault, priority, auto, o una duración HHh-MMm-SSs (de 5 segundos a 10 minutos). En los modelos compatibles con flex, una duración busca un nivel más económico para el modelo que seleccionó. Si esa carrera flex no puede encontrar una inferencia más económica a tiempo, escalamos su solicitud a una solicitud default. De esta manera, obtiene una respuesta, pero siempre que sea posible, de forma más económica.
¿Cuánto ahorra FlexInference?
En todo nuestro tráfico, el enrutamientoflex reduce el costo combinado en aproximadamente un 47%, a cambio de un 16% más de tiempo hasta el primer token. Nunca cobramos por solicitudes default, auto o priority, por lo que se ahorra instantáneamente el recargo de aproximadamente el 5.5% que otros enrutadores añaden a estas. Los ahorros reales dependen de sus modelos, proveedores y el plazo que establezca. Anthropic es solo proxy y no obtiene los ahorros de flex.
¿Qué sucede si FlexInference no puede encontrar una inferencia más económica?
Si la carreraflex no puede encontrar una inferencia más económica dentro de su plazo start_within, escalamos la solicitud a una solicitud estándar de nivel default, para que siga obteniendo su respuesta. Solo cobramos una comisión cuando una solicitud flex realmente le ahorra dinero; por lo tanto, una solicitud que no encuentra nada más económico no conlleva ninguna tarifa.
Si flex pierde la carrera, ¿lo pago?
No. Escalamos a estándar antes de queflex escriba un solo token de salida, por lo que no hay respuesta flex que pagar ni comisión por una solicitud que no ahorró nada. Si un intento flex comienza y luego falla antes de que se complete, puede consumir algunos tokens de entrada; su proveedor los factura directamente y nosotros los pasamos sin recargo.
¿Qué proveedores y modelos son compatibles?
Todos los modelos de OpenAI, Gemini y Anthropic. Solo aquellos que admitenflex están disponibles para la búsqueda de inferencia más económica. También puede fijar la ruta con un array de proveedores opcional: openai, google y anthropic son rutas directas, mientras que Vertex (Gemini) y Bedrock (Claude) son rutas en la nube que sirven el mismo modelo a través de Google Vertex AI y Amazon Bedrock utilizando su propia clave de nube. Las rutas en la nube solo se ejecutan en el nivel estándar, sin flex.
¿Tienen un servidor MCP?
Sí. Apunte cualquier cliente MCP como Claude o Cursor a https://mcp.flexinference.com/mcp. Dos herramientas de documentación funcionan sin necesidad de iniciar sesión. Buscan en la documentación y consultan cualquiererror code. Después de un inicio de sesión OAuth único, un agente también puede leer su uso y ahorros, listar, crear o revocar API keys, y verificar la facturación, cada uno detrás de su propio alcance. Nunca tomamos una clave de proveedor sin procesar a través de MCP, así que añádalas en el panel de control. Consulte la documentación de MCP para la configuración.
¿Sus errores están diseñados para agentes de codificación?
Sí. Los errores se devuelven con la forma del endpoint que llamó, OpenAI, Anthropic o Google, por lo que el SDK que ya utiliza los analiza sin cambios. El formato de OpenAI añade uncode legible por máquina, el campo infractor y una doc_url. Cada mensaje indica qué falló, la regla que se infringió y la solución exacta con un ejemplo, por lo que mostrarlo a su agente suele ser suficiente para solucionarlo al primer intento.
¿Los modelos de Anthropic obtienen la búsqueda de inferencia más económica?
No. Anthropic es solo proxy: no hay carreraflex ni ahorros de costos. Obtiene la misma API unificada, su clave cifrada en reposo y control del nivel de servicio (default, priority, auto), y consume sus propios créditos de Anthropic. Llame a cualquier modelo claude-* en /v1/responses, o use el formato de mensajes de Anthropic directamente en /v1/messages.
¿Admiten el almacenamiento en caché?
Sí, almacenamiento en caché léxico; el almacenamiento en caché semántico estará disponible pronto.¿Admiten proveedores de respaldo (fallback)?
Sí. Envíe un array de proveedores ordenado opcional para fijar su ruta. El elemento 0 es la ruta principal y la única puertaflex; el resto son una cadena de fallback del mismo modelo, probadas en orden cuando una ruta falla transitoriamente, por lo que un fallback cambia la ruta, nunca su modelo o nivel. Las rutas son las tres directas (openai, google, anthropic) más dos rutas en la nube, bedrock para claude-* y vertex para gemini-*, ambas de nivel estándar sin flex; gpt-* es solo openai. Cada ruta que nombre necesita su clave: una clave faltante es un error de configuración que devuelve un 400 para esa ruta y nunca se pasa por alto. El fallback cubre solo fallos transitorios ascendentes: un 429, un 5xx, un error de conexión o un timeout. Consulte la documentación de modelos para las cadenas válidas.
¿Admiten reintentos (retries) ascendentes (a los proveedores de LLM)?
Sí. Añada un objetoretry opcional, como un count de 2, y volveremos a intentar el nivel que atiende su solicitud cuando falle al iniciar con un 429 o 5xx transitorio. El count va de 1 a 5, con retroceso exponencial o lineal más jitter, y respetamos un encabezado Retry-After del proveedor. Los reintentos se ejecutan solo antes de que su respuesta se confirme, nunca después del primer token, un fallo de autenticación o un error del cliente. Se acumulan con los propios reintentos de su SDK, y reportamos cuántos ejecutamos en el encabezado x-flexinference-retries. Consulte la documentación de enrutamiento por plazos.
¿Admiten la selección automática de modelos?
Todavía no, estará disponible pronto. (El valorauto de start_within es el nivel de servicio de OpenAI, no esto).
¿Cobran una tarifa por solicitud?
No hay una tarifa fija por solicitud. Una solicitudflex que supera el precio estándar conlleva una comisión del 20% de lo que le ahorra, por lo que solo paga cuando realmente ahorra; si una solicitud no ahorra nada, es gratuita. El enrutamiento standard, priority y auto, y las solicitudes de nivel/proxy de Anthropic no tienen ninguna tarifa.
¿Cómo generan ingresos?
Cobramos una comisión del 20% del dinero que una solicitudflex realmente le ahorra en comparación con el precio estándar. Si una solicitud no le ahorra nada, es gratuita, y el enrutamiento standard, priority y auto, así como las solicitudes de nivel/proxy de Anthropic, son siempre gratuitas. La comisión se acumula por solicitud y se factura mensualmente.
¿Cuándo y cómo se me cobra?
Facturamos mensualmente una vez que su saldo supera los $20; un saldo menor se acumula y lo liquidamos al menos cada tres meses para que nunca se prolongue. Añada una tarjeta en la página de Facturación del panel de control y la cargaremos automáticamente cuando venza una factura. Si un pago está vencido,flex con precio se pausa y devuelve un 402, mientras que el enrutamiento gratuito (default, priority, auto) y todas las solicitudes de nivel/proxy de Anthropic siguen funcionando; actualice su tarjeta para reanudar.
¿Puedo seguir ahorrando en inferencia si ya tengo créditos de proveedor?
Sí. Traiga su propiaAPI key, que ciframos en reposo, y sus solicitudes consumirán sus créditos existentes.
¿Ven mis solicitudes o respuestas?
No, no vemos su información.¿FlexInference cambia mi modelo, prompt o salida?
No. Llamamos al modelo exacto que solicitó con suprompt exacto y devolvemos la respuesta sin cambios. Lo único que cambiamos es el nivel utilizado para servir ese mismo modelo, cuando esto puede hacerlo más económico. Nunca intercambiamos modelos, reescribimos prompts ni alteramos respuestas, y nunca eliminamos silenciosamente un parámetro que usted haya configurado para forzar una solicitud.