Chave de API FlexInference
Crie uma chave no painel. O painel a exibe apenas uma vez; armazene-a como um segredo. Envie-a como um token de portador emAuthorization:
start_within, que define o tempo máximo que a requisição pode esperar para iniciar. default usa o nível padrão. Uma duração permite que o planejador de superfície tente primeiro um nível flex mais barato e, em seguida, escale para o nível padrão se o flex não puder iniciar antes do prazo. Consulte Roteamento por Prazo para a lista completa de valores.
Uma chave malformada, revogada ou desconhecida retorna 401 invalid_api_key. Toda chave FlexInference possui um checksum, então erros de digitação óbvios são rejeitados antes de qualquer chamada ao provedor. A revogação é verificada antes do roteamento. Se você encontrar este erro, verifique se copiou a chave inteira, se ela começa com flex_live_ e se você não a revogou no painel. Crie uma nova chave se não tiver certeza de que ela ainda é válida.
Suas chaves de provedor (BYOK)
A FlexInference não revende inferência. Adicione suas chaves de provedor uma vez no painel: OpenAI (sk-...) para modelos GPT, Gemini (AIza...) para modelos Gemini, Anthropic (sk-ant-...) para modelos Claude, ou qualquer combinação dos três. Para rotas de nuvem, adicione uma chave Vertex express (AQ. prefixo) ou uma chave Bedrock bearer (ABSK prefixo) com sua região. O provedor fatura sua conta diretamente.
O modelo e o array opcional provider selecionam a chave do provedor. Por padrão, o nome do modelo a seleciona: um modelo gemini-* usa sua chave Gemini, um modelo claude-* usa sua chave Anthropic, e todo o resto usa sua chave OpenAI. Quando você fixa uma rota com provider, cada rota na cadeia usa a chave dessa rota: uma rota google usa sua chave Gemini, uma rota anthropic usa sua chave Anthropic, e uma rota openai usa sua chave OpenAI. As rotas de nuvem vertex e bedrock usam suas próprias chaves: uma rota vertex usa sua chave Vertex express (prefixo AQ.) e uma rota bedrock usa sua chave Bedrock bearer (prefixo ABSK) e região. Consulte roteamento de provedor.
Cada chave de provedor é armazenada criptografada em repouso com uma vinculação por organização. A FlexInference nunca a registra, a retorna ou pede para você enviá-la por requisição.
Se a requisição precisar de uma chave que não está configurada, você receberá 400 no_byok_key (OpenAI), 400 no_gemini_key (Gemini), 400 no_anthropic_key (Anthropic), 400 no_vertex_key (Vertex) ou 400 no_bedrock_key (Bedrock). Adicione a chave no painel e tente novamente. Se uma chave armazenada existir, mas não puder ser descriptografada, a requisição falhará como 500 internal_error, e não como um erro de chave ausente.
Cada rota que você nomeia em uma cadeia provider precisa de sua chave, não apenas a rota primária. Uma chave ausente é um erro de configuração, e não uma falha transitória, portanto, é rejeitada antes de qualquer chamada upstream e nunca passa para a próxima rota na cadeia: ["bedrock","anthropic"] sem uma chave Bedrock retorna 400 no_bedrock_key mesmo quando sua chave Anthropic está presente. Consulte roteamento de provedor.
A chave Bedrock que você adiciona aqui é sua chave de inferência (prefixo
ABSK). Ela não é a mesma que a configuração de conta AWS que os quatro
modelos Claude mais recentes na rota bedrock exigem: um opt-in único de
retenção de dados provider_data_share e um acordo de modelo, executado uma
vez com as credenciais AWS de um administrador, e não esta chave de
inferência. Até que isso seja feito, esses modelos retornam
403 bedrock_model_access_denied. Consulte a configuração dos modelos mais
recentes.Como a cobrança é feita em sua própria conta de provedor, seus limites de
taxa, cotas e controles de gastos existentes ainda se aplicam. Isso vale
independentemente de a requisição ir para OpenAI, Gemini ou Anthropic.