Saltar al contenido principal
Envía una solicitud a través de FlexInference con tu clave de proveedor existente. Dirige tu cliente compatible con OpenAI a FlexInference, añade start_within, y FlexInference intentará el nivel flex más económico antes de escalar al estándar. Funciona con OpenAI, Gemini y Anthropic, y puedes fijar una ruta en la nube para servir el mismo modelo a través de Amazon Bedrock o Google Vertex AI. En una solicitud flex, FlexInference cobra el 20% de los ahorros, y no cobra nada cuando no hay ahorros.

Requisitos previos

  • Una clave de API de OpenAI con crédito disponible. FlexInference usa tu clave como BYOK, y OpenAI te factura directamente.
  • Una terminal con curl, o Python 3.9+, o Node.js 18+.

Primeros pasos

1

Crear una cuenta de FlexInference

Ve al panel de control e inicia sesión. Tu cuenta es su propia organización. Es propietaria de tus claves de API y rastrea el uso, manteniendo tus claves y facturas separadas de otras organizaciones.
2

Crear una clave de API

En el panel de control, crea una clave. Comienza con flex_live_... y aparece solo una vez. Guárdala ahora. Envía esta clave a FlexInference en lugar de tu clave de OpenAI.
3

Añadir tu clave de OpenAI (BYOK)

Pega tu clave de OpenAI en el panel de control. FlexInference la almacena cifrada y la usa solo para las solicitudes realizadas en tu nombre; no la envías por cada solicitud. Consulta Autenticación para más detalles.
4

Realizar tu primera solicitud

Dirige tu cliente a https://api.flexinference.com/v1 y añade start_within. Aquí 00h-00m-30s significa que la solicitud puede esperar hasta 30 segundos para comenzar. FlexInference intenta primero el nivel flex de OpenAI porque cuesta menos pero puede ponerse en cola. Si flex no comienza en 30 segundos, FlexInference ejecuta el nivel estándar normal en su lugar. Estándar es el nivel de precio completo y comienza de inmediato.Flex es el nivel más económico y puede esperar en una cola antes de comenzar. Estándar es el nivel normal de precio completo y comienza de inmediato. FlexInference sube de precio, no baja de calidad: comienza con flex y usa estándar solo cuando flex no cumpliría tu límite de tiempo.start_within es el tiempo máximo de espera antes de que comience la solicitud. Escríbelo como una duración, por ejemplo 00h-00m-30s para 30 segundos. Un valor mayor le da a flex más tiempo para comenzar, lo que puede ahorrar más dinero. Un valor menor mueve la solicitud a estándar antes. El ejemplo de Claude pasa default en lugar de una duración porque Anthropic no tiene un nivel flex para competir, por lo que la solicitud va directamente a estándar. El valor limita el tiempo de inicio, no el tiempo total de generación. Consulta la página de enrutamiento para ver la lista completa de valores.
Una respuesta 200 con "service_tier": "flex" significa que flex comenzó a tiempo y ahorró dinero en esta llamada. "service_tier": "default" significa que FlexInference usó estándar porque flex no cumpliría tu límite de tiempo. Los encabezados de respuesta x-flexinference-flex-applied y x-flexinference-flex-reason exponen el mismo resultado para el código. De cualquier manera, la solicitud se completa a tiempo.
Si tu primera solicitud falla, lee el cuerpo del error. Los errores de FlexInference indican qué salió mal, por qué sucedió, cómo solucionarlo e incluyen un ejemplo funcional. Si no has añadido tu clave de OpenAI en el panel de control, el error lo indicará y te dirigirá a la página que lo soluciona. Los errores del proveedor se transmiten con su estado y cuerpo originales. Consulta la página de errores para ver la lista completa.

Qué probar a continuación

Establece tu límite de tiempo

Aprende los valores de start_within y la regla que mueve las solicitudes de flex a estándar.

Streaming, herramientas, visión

Usa streaming, herramientas y visión en OpenAI, Gemini y Anthropic.