FlexInference API key
डैशबोर्ड में एक key बनाएँ। डैशबोर्ड इसे एक बार दिखाता है; इसे एक secret के रूप में संग्रहीत करें। इसेAuthorization में एक bearer token के रूप में भेजें:
start_within शामिल होना चाहिए, जो यह निर्धारित करता है कि अनुरोध शुरू होने के लिए कितनी देर तक प्रतीक्षा कर सकता है। default मानक tier का उपयोग करता है। एक अवधि surface planner को पहले एक सस्ता flex tier आज़माने देती है, फिर यदि flex समय सीमा से पहले शुरू नहीं हो पाता है तो मानक tier पर escalate करती है। मानों की पूरी सूची के लिए Deadline routing देखें।
एक गलत, रद्द की गई, या अज्ञात key 401 invalid_api_key लौटाती है। प्रत्येक FlexInference key में एक checksum होता है, इसलिए किसी भी provider call से पहले स्पष्ट गलतियाँ अस्वीकार कर दी जाती हैं। routing से पहले revocation की जाँच की जाती है। यदि आपको यह त्रुटि मिलती है, तो जाँच करें कि आपने पूरी key कॉपी की है, कि यह flex_live_ से शुरू होती है, और आपने इसे डैशबोर्ड में रद्द नहीं किया है। यदि आप सुनिश्चित नहीं हैं कि यह अभी भी वैध है, तो एक नई key बनाएँ।
आपकी provider keys (BYOK)
FlexInference inference को दोबारा नहीं बेचता है। अपने provider keys को डैशबोर्ड में एक बार जोड़ें: GPT models के लिए OpenAI (sk-...), Gemini models के लिए Gemini (AIza...), Claude models के लिए Anthropic (sk-ant-...), या तीनों का कोई भी मिश्रण। cloud routes के लिए, एक Vertex express key (AQ. prefix) या एक Bedrock bearer key (ABSK prefix) को उसके क्षेत्र के साथ जोड़ें। provider सीधे आपके खाते का बिल बनाता है।
model और वैकल्पिक provider array provider key का चयन करते हैं। डिफ़ॉल्ट रूप से model का नाम इसे चुनता है: एक gemini-* model आपकी Gemini key का उपयोग करता है, एक claude-* model आपकी Anthropic key का उपयोग करता है, और बाकी सब आपकी OpenAI key का उपयोग करता है। जब आप provider के साथ एक route को पिन करते हैं, तो श्रृंखला में प्रत्येक route उस route की key का उपयोग करता है: एक google route आपकी Gemini key का उपयोग करता है, एक anthropic route आपकी Anthropic key का उपयोग करता है, और एक openai route आपकी OpenAI key का उपयोग करता है। vertex और bedrock cloud routes अपनी स्वयं की keys का उपयोग करते हैं: एक vertex route आपकी Vertex express key (AQ. prefix) का उपयोग करता है और एक bedrock route आपकी Bedrock bearer key (ABSK prefix) और क्षेत्र का उपयोग करता है। provider routing देखें।
प्रत्येक provider key को प्रति-संगठन बाइंडिंग के साथ आराम से एन्क्रिप्टेड रूप से संग्रहीत किया जाता है। FlexInference इसे कभी लॉग नहीं करता, वापस नहीं करता, या आपसे प्रति अनुरोध भेजने के लिए नहीं कहता।
यदि अनुरोध को ऐसी key की आवश्यकता है जो कॉन्फ़िगर नहीं की गई है, तो आपको 400 no_byok_key (OpenAI), 400 no_gemini_key (Gemini), 400 no_anthropic_key (Anthropic), 400 no_vertex_key (Vertex), या 400 no_bedrock_key (Bedrock) मिलता है। डैशबोर्ड में key जोड़ें और पुनः प्रयास करें। यदि एक संग्रहीत key मौजूद है लेकिन decrypt नहीं हो सकती है, तो अनुरोध 500 internal_error के रूप में विफल हो जाता है, न कि missing-key error के रूप में।
provider श्रृंखला में आपके द्वारा नामित प्रत्येक route को उसकी key की आवश्यकता होती है, न कि केवल प्राथमिक route को। एक गुम key एक configuration error के बजाय एक transient failure है, इसलिए इसे किसी भी upstream call से पहले अस्वीकार कर दिया जाता है और यह श्रृंखला में अगले route पर कभी नहीं जाता है: Bedrock key के बिना ["bedrock","anthropic"] 400 no_bedrock_key लौटाता है, भले ही आपकी Anthropic key मौजूद हो। provider routing देखें।
यहां आप जो Bedrock key जोड़ते हैं वह आपकी inference key (
ABSK prefix)
है। यह AWS account setup के समान नहीं है जिसकी bedrock route पर चार सबसे
नए Claude models को आवश्यकता होती है: एक बार का provider_data_share
data-retention opt-in और एक model agreement, जिसे एक प्रशासक के AWS
credentials के साथ एक बार चलाया जाता है, न कि इस inference key के साथ। जब तक
यह नहीं हो जाता, तब तक वे models 403 bedrock_model_access_denied लौटाते
हैं। सबसे नए-model setup
देखें।क्योंकि बिलिंग आपके अपने provider account पर चलती है, आपकी मौजूदा rate
limits, quotas, और spend controls सभी अभी भी लागू होते हैं। यह तब भी लागू
होता है जब अनुरोध OpenAI, Gemini, या Anthropic पर जाता है।