Saltar al contenido principal
FlexInference enruta alias de modelos de OpenAI, Google Gemini y Anthropic. Pase el modelo por su alias (por ejemplo, gpt-5.5 o gemini-3.5-flash), no por una instantánea con fecha. Establezca start_within al tiempo máximo que esperará para que la solicitud comience. El planificador de superficie ejecuta la flex race solo en los modelos OpenAI y Gemini compatibles con flex que se enumeran a continuación: prueba el nivel flex del proveedor más económico con ese presupuesto, luego escala al nivel estándar si flex no comienza a tiempo. Consulte cómo funciona la flex race para conocer todos los mecanismos. Para solicitudes sin duración, FlexInference actúa como proxy para cualquier modelo en los niveles de proveedor que admite. Gemini no tiene un nivel auto, por lo que auto en un modelo Gemini devuelve 400 auto_unsupported_for_gemini.

​
Modelos compatibles con flex

​
OpenAI

GPT-5.6

gpt-5.6, gpt-5.6-sol, gpt-5.6-terra, gpt-5.6-luna

GPT-5.5

gpt-5.5, gpt-5.5-pro

GPT-5.4

gpt-5.4, gpt-5.4-mini, gpt-5.4-nano, gpt-5.4-pro

GPT-5.2

gpt-5.2

GPT-5 y 5.1

gpt-5, gpt-5-mini, gpt-5-nano, gpt-5.1

Razonamiento

o3, o4-mini

​
Gemini

Gemini 3.5 / 3.1

gemini-3.5-flash, gemini-3.1-pro-preview, gemini-3.1-flash-lite

Vista previa de Gemini 3

gemini-3-flash-preview

Gemini 2.5

gemini-2.5-pro, gemini-2.5-flash, gemini-2.5-flash-lite
Una duración start_within en un modelo OpenAI o Gemini fuera de esta lista de permitidos no ejecuta la flex race. FlexInference devuelve 400 flex_model_not_capable. Elija un modelo de la lista para usar flex. Para omitir la flex race, envíe un valor de nivel en lugar de una duración: default, priority o, donde sea compatible, auto. FlexInference actúa como proxy para las solicitudes de nivel compatibles con el proveedor. Para Gemini, default se asigna al nivel estándar de Gemini, y auto devuelve 400 auto_unsupported_for_gemini.

​
Anthropic (Claude)

Los modelos Claude se enrutan a Anthropic y son solo proxy. Admiten default, priority y auto, pero no la flex race. Una duración start_within en un modelo claude-* devuelve 400 flex_unsupported_for_anthropic, porque Anthropic no tiene un nivel flex. default se asigna al nivel de servicio standard_only de Anthropic. auto permite que Anthropic elija. priority es un esfuerzo de buena fe y se asigna a auto, ya que Anthropic rechaza un nivel de prioridad literal. Anthropic requiere max_tokens en el origen. FlexInference reenvía su campo de token de salida cuando lo establece y no sintetiza un valor predeterminado cuando lo omite, por lo que Anthropic devuelve su propio error de solicitud por límites faltantes.

Opus

claude-opus-4-8, claude-opus-4-7, claude-opus-4-6, claude-opus-4-5, claude-opus-4-1

Sonnet

claude-sonnet-5, claude-sonnet-4-6, claude-sonnet-4-5

Haiku

claude-haiku-4-5

Fable

claude-fable-5
Claude funciona a través de todos los formatos de llamada compatibles: /v1/responses, /v1/chat/completions, /v1/interactions y la API nativa de Anthropic /v1/messages. FlexInference traduce cada uno a la API de Messages de Anthropic. Anthropic decide el nivel de servicio. Una solicitud standard_only se informa como "service_tier": "standard" en la respuesta.

​
Enrutamiento de proveedores

Una matriz provider opcional y ordenada fija la ruta que toma su solicitud. El elemento 0 es la ruta principal y la única puerta flex; los elementos 1 a n son la cadena de respaldo del mismo modelo, que se intenta en orden cuando una ruta falla transitoriamente. Omita provider y FlexInference utiliza la ruta directa nativa del modelo, exactamente como antes. Establecer la matriz en la ruta nativa de su modelo es una operación nula de enrutamiento que fija el mismo comportamiento explícitamente. google, openai y anthropic son rutas directas. vertex (Gemini) y bedrock (Claude) son rutas en la nube que sirven el mismo modelo en un proveedor diferente: bedrock sirve claude-* a través de Amazon Bedrock (Bedrock Converse), y vertex sirve gemini-* a través de Google Vertex AI (Vertex generateContent). Un respaldo de proveedor solo cambia la ruta: nunca cambia el modelo o el nivel, y una entrada de respaldo es siempre una llamada estándar simple, nunca una flex race.

​
Cada ruta que nombre necesita su clave

Una cadena es una declaración de que ha configurado cada ruta en ella. Cada ruta utiliza su propia clave BYOK: openai usa su clave de OpenAI, google su clave de Gemini, anthropic su clave de Anthropic, vertex su clave express de Vertex y bedrock su clave y región de Bedrock. Agréguelas en el panel de control en Configuración -> Claves de API antes de nombrar la ruta. Una clave faltante es un error de configuración, no una falla transitoria, por lo que no pasa a la siguiente ruta. FlexInference rechaza la solicitud con el código 400 no_..._key para la ruta cuya clave falta, antes de cualquier llamada ascendente y antes de cualquier trabajo facturable. ["bedrock","anthropic"] sin una clave de Bedrock devuelve 400 no_bedrock_key incluso cuando su clave de Anthropic está presente y podría haber servido el modelo. Retroceder aquí ocultaría la ruta no configurada y le serviría silenciosamente en un proveedor que no tenía la intención de usar, por lo que FlexInference se lo informa. Agregue la clave faltante o elimine esa ruta de la cadena. El respaldo cubre fallas transitorias ascendentes y nada más: un 429, un 5xx, un error de conexión o un tiempo de espera, cada uno detectado antes de que la respuesta se confirme. Todo lo que una ruta puede ser rechazada de antemano, incluida una clave faltante, un modelo que la ruta no puede servir y una cadena mal formada, es su solicitud para corregir y devuelve un 400. Cada ruta sirve una familia de modelos, por lo que una cadena que fija una ruta que no puede servir su modelo devuelve 400 provider_model_mismatch. openai sirve modelos GPT y de la serie o, google y vertex sirven Gemini, y anthropic y bedrock sirven Claude. Una cadena de un solo elemento que prioriza la nube, como ["vertex"] o ["bedrock"], es una ruta directa válida sin flex a ese proveedor de la nube. Una duración start_within con una ruta en la nube como elemento 0 devuelve 400 flex_unsupported_on_cloud, porque las rutas en la nube no tienen un nivel flex para competir; envíe un valor de nivel (default, priority o auto) en su lugar. Una matriz mal formada (un nombre desconocido, un duplicado, una matriz vacía o más de tres entradas) devuelve 400 invalid_provider_chain.

​
Claude en Bedrock: enrutamiento global, opus-4-1 y concesiones de acceso

La ruta bedrock sirve a Claude a través de los perfiles de inferencia entre regiones de Amazon. FlexInference la enruta global-first: cada modelo claude-* que sirve en Bedrock se aborda a través de un perfil de inferencia global, por lo que sirve desde cualquier región de AWS, independientemente de dónde esté configurada la clave de Bedrock de su organización. Una consecuencia es una compensación de residencia de datos que vale la pena conocer: un perfil global enruta cada solicitud a través de todas las regiones de AWS compatibles, por lo que no se garantiza que una solicitud se ejecute en su propia región. Bajo el enfoque global-first, ninguna ruta garantiza el procesamiento en una región específica de AWS, y la ruta directa anthropic no es una alternativa en la región: llega a la propia infraestructura de Anthropic, no a su cuenta de AWS. Si el procesamiento en la región es un requisito, un perfil de Bedrock anclado a la región (us. o eu., que coincida con la región de su clave de Bedrock) está disponible a pedido a través de una política de residencia de datos por organización. claude-opus-4-1 es la única excepción que no está en la ruta bedrock en absoluto. Amazon lo publica solo en EE. UU., y ni siquiera en todas las regiones de EE. UU., por lo que, en lugar de llevar una excepción de región parcial, FlexInference lo sirve solo en la ruta directa anthropic; una cadena ["bedrock"] para él devuelve 400 bedrock_model_unavailable en todas las regiones. Siempre está disponible en la ruta directa anthropic, así que omita provider o envíe ["anthropic"] para acceder a él desde cualquier región. Por separado, un modelo puede servirse globalmente y aún estar cerrado a su cuenta de AWS hasta que solicite acceso a él en la consola de Amazon Bedrock. Cuando Bedrock tiene el modelo pero a su cuenta de AWS no se le ha concedido, obtiene 403 bedrock_model_access_denied, que nombra el modelo y cita lo que dijo Bedrock. (El otro caso, 400 bedrock_model_unavailable para un modelo para el que Bedrock no publica ningún perfil, ahora se aplica efectivamente solo a claude-opus-4-1, ya que todos los demás modelos servidos tienen un perfil global). Ninguno de los dos es un problema con su clave de Bedrock, y una clave que funciona sigue funcionando: ambos errores significan el modelo, no la credencial. Tampoco pasan a la siguiente ruta en la cadena, porque se espera que una ruta que usted nombró haya sido configurada. Envíe el modelo a la ruta anthropic en su lugar, o concédalo a la cuenta de AWS.

​
Los modelos Claude más recientes en Bedrock necesitan una configuración de cuenta única

Cinco modelos Claude se sirven en la ruta bedrock una vez que la cuenta de AWS tiene la concesión ordinaria de acceso al modelo: claude-haiku-4-5, claude-sonnet-4-6, claude-sonnet-4-5, claude-opus-4-6 y claude-opus-4-5. Los cuatro modelos más recientes —claude-sonnet-5, claude-fable-5, claude-opus-4-8 y claude-opus-4-7— necesitan dos pasos adicionales únicos en la cuenta de AWS antes de que Bedrock los sirva. La concesión de acceso al modelo de la consola de Amazon Bedrock por sí sola no los habilita. Ejecute ambos una vez por cuenta de AWS, utilizando las credenciales de AWS de un administrador (no su clave de inferencia de Bedrock). Paso 1 - Opte por compartir datos del proveedor en la cuenta. Este paso no tiene interfaz de usuario en la consola, por lo que debe ejecutarse desde la CLI de AWS:
Paso 2 - Acepte el acuerdo del modelo para cada uno de estos modelos que planea llamar (ejecútelo una vez por modelo):
Hasta que ambos se realicen, una solicitud bedrock para uno de estos cuatro modelos devuelve 403 bedrock_model_access_denied. Este es un requisito de la cuenta de Amazon Bedrock, no de FlexInference, por lo que es lo mismo si accede a Bedrock a través de FlexInference o directamente. claude-opus-4-1 no se ve afectado porque no se sirve en la ruta bedrock en absoluto; acceda a él en la ruta anthropic.
Las rutas en la nube vertex y bedrock están en servicio hoy. bedrock sirve claude-* a través de Amazon Bedrock y vertex sirve gemini-* a través de Google Vertex AI, siempre el mismo modelo que solicitó. Cada ruta en la nube necesita la clave propia de esa nube agregada en el panel de control: una clave express de Vertex (prefijo AQ.) para vertex, una clave bearer de Bedrock (prefijo ABSK) y la región para bedrock. Las rutas en la nube se ejecutan solo en el nivel estándar, sin flex race. Ambas rutas en la nube admiten texto, imágenes y archivos: una URL remota https de imagen o archivo se obtiene del lado del servidor y se inserta para ellas (consulte Entradas a continuación).

​
Capacidades por ruta

La tabla es el rápido sí/no por ruta. Cada ruta sirve texto, streaming, llamadas a funciones, imágenes, archivos (incluidos PDF) y pensamiento/razonamiento; las filas debajo de la línea base son donde las rutas difieren. openai, anthropic y google son las rutas directas; vertex y bedrock son las rutas en la nube. *Bedrock ejecuta el pensamiento, pero incluye los tokens de razonamiento en el recuento de salida y no informa un total separado de tokens de razonamiento; Vertex informa los tokens de razonamiento. Un No es un 400 unsupported_parameter ruidoso, no una omisión silenciosa. Envíe web_search, una salida estructurada json_schema o text.format.strict: true a una ruta que no lo admita y FlexInference rechazará la solicitud y nombrará el campo. Enrute la búsqueda web o las salidas estructuradas a cualquier ruta directa o vertex, y enrute la conformidad estricta del esquema a openai.

​
Resultados y errores de Flex

Los encabezados x-flexinference-flex-* informan los resultados de flex en respuestas exitosas. Los errores de validación aún utilizan el cuerpo de error normal. Consulte la página de errores para conocer la forma completa del error y los encabezados de resultados de Flex.
  • flex_model_not_capable significa que envió una duración start_within a un modelo OpenAI o Gemini fuera de la lista de permitidos de flex. Use un valor de nivel o elija un modelo compatible con flex.
  • auto_unsupported_for_gemini significa que solicitó auto en un modelo Gemini, que no tiene un nivel auto. Use default para el nivel estándar de Gemini.
  • flex_unsupported_for_anthropic significa que envió una duración start_within a un modelo claude-*. Use default, priority o auto para Claude.

​
Entradas

Estas rutas aceptan entradas compatibles con OpenAI:
  • Texto: mensajes del sistema, desarrollador, usuario y asistente.
  • Imágenes: pase URL de imágenes o URL de datos base64. Las URL de datos base64 son las más confiables. Para las rutas de Bedrock y Vertex, que necesitan bytes en línea, una URL remota https de imagen se descarga del lado del servidor y se inserta para usted, detrás de verificaciones de seguridad SSRF (solo https, sin hosts privados o de metadatos, un límite de tamaño y una verificación de tipo de byte mágico para png/jpeg/gif/webp); una URL que falla una verificación devuelve 400 unsupported_parameter en lugar de ser omitida silenciosamente.
  • Archivos: PDF y otras entradas de archivo que acepta la API de Responses. Las URL remotas https de PDF se descargan y se insertan para Bedrock y Vertex bajo las mismas verificaciones.
Las salidas son texto, incluidas llamadas a herramientas, salidas estructuradas y razonamiento. El streaming funciona en todos los modelos. En Gemini, reasoning.effort se asigna a un thinking_level por modelo y puede estar limitado al rango que ese modelo admite. Los parámetros nativos del proveedor solo se pasan cuando el modelo pertenece a ese proveedor. Consulte SDKs para conocer las reglas de paso específicas del endpoint.
La matriz de capacidades anterior es el sí/no por ruta; esta nota es cómo las capacidades compartidas se asignan a cada proveedor. Para la búsqueda web, envíe una herramienta web_search de Responses; Gemini la asigna a google_search y Anthropic a su herramienta web_search_20250305. Cualquiera que sea el proveedor que sirva la solicitud, web_search (y url_context de Gemini) devuelve sus fuentes como anotaciones canónicas url_citation en la salida del mensaje, por lo que usted lee las citas de la misma manera, independientemente de la ruta. Las salidas estructuradas (text.format con un json_schema) se asignan al response_format de Gemini y al output_config de Anthropic; json_object se asigna en Gemini pero no en Anthropic. El indicador strict solo se respeta en OpenAI. Gemini, Vertex y Anthropic respetan la forma del esquema de respuesta, pero no pueden garantizar una conformidad estricta, por lo que text.format.strict: true devuelve 400 unsupported_parameter allí en lugar de ser ignorado silenciosamente; elimine strict o enrute a OpenAI para aplicarlo. Gemini también acepta las herramientas code_execution y url_context y top_k. Pase los archivos como URL de datos base64; los PDF son los más confiables en Gemini.
FlexInference agrega nuevos modelos compatibles con flex de OpenAI y Gemini a medida que los proveedores los lanzan. Si falta un modelo que espera, verifique que esté usando su alias y que el proveedor ofrezca un nivel flex para él.