Skip to main content
A maioria das ferramentas constrói seu próprio corpo de requisição. Elas não oferecem um lugar para inserir start_within, e toda requisição sem ele retorna 400 missing_start_within. Uma chave de agente resolve isso. Ela contém o próprio prazo, de modo que toda requisição feita pela ferramenta é roteada por ele.

​
Crie a chave

  1. Abra o painel e vá para API, depois FlexInference keys.
  2. Pressione Create agent key. O botão simples Create key cria uma chave sem prazo.
  3. Dê um nome à chave. O nome é opcional e serve apenas para ajudá-lo a encontrá-la mais tarde.
  4. Escolha o prazo. Flex race vem pré-selecionado, e é a razão pela qual as chaves de agente existem.
  5. Defina a duração se você escolheu Flex race. Digite qualquer duração de 5 segundos a 10 minutos, ou escolha uma opção rápida.
  6. Pressione criar, depois copie o segredo. O painel o mostra apenas uma vez.
Encontre a chave novamente com o filtro Agent keys only na lista de chaves. Um chip de política na linha mostra o que ela contém.

​
O que cada prazo faz

Flex race custa menos e começa mais tarde. Você sente esse atraso em um loop interativo, então um nível se adequa a uma ferramenta que você observa.
Priority e Auto exigem uma organização BYOK. Managed Keys não oferece nenhum dos níveis, então uma organização com qualquer provider gerenciado é recusada na criação com 400 invalid_key_defaults. A recusa também cobre o nível de fallback de uma duração. Escolha Standard ou Flex race lá.

​
O que a chave carrega

Uma chave armazena até três campos.
  • start_within: uma duração ou um nome de nível. Sempre definido.
  • on_no_flex: o nível para o qual uma duração retorna. O painel sempre armazena default e nunca pergunta. Apenas a API permite que você escolha priority.
  • retry: uma count de 1 a 5, com backoff e jitter opcionais. Não definido, a menos que você solicite.
Deixe retry como está, a menos que você tenha um motivo. A maioria dos agentes tenta novamente por conta própria, e os dois se acumulam. Cada tentativa do cliente então gasta um orçamento completo do lado do servidor.

​
A requisição sempre vence

Preenchemos um campo armazenado em qualquer requisição que chegue sem ele. Nunca substituímos um valor enviado pela requisição. Essa regra se mantém mesmo quando o valor enviado está errado. Um start_within explicitamente incorreto ainda retorna 400 invalid_start_within. Um padrão de chave substitui um campo que você não enviou, nunca um que você enviou incorretamente. Toda resposta que preenchemos vem com x-flexinference-defaults-applied, listando os campos. Uma requisição que enviou seu próprio prazo não recebe tal cabeçalho.

​
Uma duração de chave retorna onde uma duração de requisição falha

Uma duração no corpo da requisição em um modelo claude-* compete com o nível mais barato de Claude. Três regras decidem isso: chaves gerenciadas, sem streaming e três minutos ou mais. Quebre uma delas e a requisição falha, com 400 flex_unsupported_for_anthropic para a primeira. Veja Claude durations need a longer window. Uma duração na chave retorna em vez disso. Ela executa o nível on_no_flex, então a chave sempre tem uma resposta. Esse fallback é o motivo pelo qual uma chave nunca compete com o nível mais barato de Claude, em chaves gerenciadas ou não: o prazo se resolve para o seu nível antes que a competição seja considerada. Esse fallback cobre apenas o modelo. Um conflito criado pela sua própria requisição ainda falha. Fixar uma rota de nuvem faz isso, porque uma rota de nuvem executa apenas o nível normal. Veja key_default_not_applicable.

​
Editar ou revogar

Edite o prazo na linha da chave. O tráfego em tempo real o capta em segundos, e você mantém a mesma chave. Nada é reiniciado e o segredo permanece o mesmo. Revogar uma chave apaga seus padrões junto com ela.

​
Onde uma chave de agente não se aplica

Uma ferramenta precisa de uma URL base e um campo de chave para nos alcançar. Um produto que funciona apenas contra a própria assinatura de seu fornecedor não tem nenhum dos dois, então nenhuma chave pode alcançá-lo.

​
Guias por ferramenta

​
Solução de problemas e FAQ

Errors contém cada recusa que retornamos, com sua forma de wire, o que a causou e a correção. Cada guia por ferramenta cobre as específicas para aquele cliente. Uma recusa pertence às próprias chaves de agente. 400 missing_start_within em cada requisição. A chave não contém prazo, então ela veio de Create key em vez de Create agent key. Crie uma nova chave com Create agent key e a substitua. Uma chave criada sem padrões não pode adquiri-los mais tarde, então a linha não oferece controle para adicionar um. A ferramenta precisa saber que possui uma chave de agente? Não. Ela se autentica da mesma forma que qualquer chave, e toda chave começa com flex_live_. Uma chave pode servir a uma ferramenta e ao meu próprio código? Sim. Seu código envia start_within e vence. A ferramenta não envia nada e usa o prazo da chave. Quanto isso custa? Executamos cada requisição que o agente faz. Em sua própria chave de provider, isso não custa nada aqui, e seu provider fatura os tokens. Em Managed Keys, cada requisição debita seu saldo, então defina um alarme de Request volume. Por que um laptop atingiu um limite de taxa? Limitamos as requisições bem-sucedidas por IP de origem, em todas as chaves por trás dele. Um loop rápido atinge isso antes do limite por chave. Veja rate_limit_exceeded.