मुख्य सामग्री पर जाएं
अपनी मौजूदा प्रोवाइडर key के साथ FlexInference के माध्यम से एक रिक्वेस्ट भेजें। अपने OpenAI-संगत क्लाइंट को FlexInference पर पॉइंट करें, start_within जोड़ें, और FlexInference स्टैंडर्ड पर जाने से पहले सस्ते flex टियर को आज़माता है। यह OpenAI, Gemini, और Anthropic के साथ काम करता है, और आप Amazon Bedrock या Google Vertex AI के माध्यम से उसी मॉडल को सर्व करने के लिए एक क्लाउड रूट पिन कर सकते हैं। एक flex रिक्वेस्ट पर, FlexInference बचत का 20% चार्ज करता है, और जब कोई बचत नहीं होती है तो कुछ भी चार्ज नहीं करता है।

पूर्वापेक्षाएँ

  • उपलब्ध क्रेडिट के साथ एक OpenAI API key। FlexInference आपकी key को BYOK के रूप में उपयोग करता है, और OpenAI आपको सीधे बिल करता है।
  • curl के साथ एक टर्मिनल, या Python 3.9+, या Node.js 18+।

शुरू करें

1

एक FlexInference अकाउंट बनाएँ

डैशबोर्ड पर जाएँ और साइन इन करें। आपका अकाउंट अपनी खुद की ऑर्गनाइजेशन है। यह आपकी API keys का मालिक है और उपयोग को ट्रैक करता है, आपकी keys और बिल को अन्य ऑर्गनाइजेशन से अलग रखता है।
2

एक API key बनाएँ

डैशबोर्ड में, एक key बनाएँ। यह flex_live_... से शुरू होती है और केवल एक बार दिखाई देती है। इसे अभी स्टोर करें। अपनी OpenAI key के बजाय इस key को FlexInference पर भेजें।
3

अपनी OpenAI key (BYOK) जोड़ें

अपनी OpenAI key को डैशबोर्ड में पेस्ट करें। FlexInference इसे एन्क्रिप्टेड स्टोर करता है और इसका उपयोग केवल आपकी ओर से की गई रिक्वेस्ट के लिए करता है; आप इसे प्रति रिक्वेस्ट नहीं भेजते हैं। विवरण के लिए Authentication देखें।
4

अपनी पहली रिक्वेस्ट करें

अपने क्लाइंट को https://api.flexinference.com/v1 पर पॉइंट करें और start_within जोड़ें। यहाँ 00h-00m-30s का मतलब है कि रिक्वेस्ट शुरू होने के लिए 30 सेकंड तक इंतजार कर सकती है। FlexInference पहले OpenAI के flex टियर को आज़माता है क्योंकि इसकी लागत कम होती है लेकिन यह कतार में लग सकता है। यदि flex 30 सेकंड के भीतर शुरू नहीं होगा, तो FlexInference इसके बजाय सामान्य स्टैंडर्ड टियर चलाता है। स्टैंडर्ड पूर्ण-मूल्य वाला टियर है और तुरंत शुरू होता है।Flex सस्ता टियर है, और यह शुरू होने से पहले एक कतार में इंतजार कर सकता है। स्टैंडर्ड सामान्य पूर्ण-मूल्य वाला टियर है, और यह तुरंत शुरू होता है। FlexInference कीमत-ऊपर, गुणवत्ता-नीचे नहीं चलता है: यह flex पर शुरू होता है और स्टैंडर्ड का उपयोग तभी करता है जब flex आपकी समय सीमा को पूरा नहीं कर पाएगा।start_within रिक्वेस्ट शुरू होने से पहले अधिकतम प्रतीक्षा है। इसे 30 सेकंड के लिए 00h-00m-30s जैसी अवधि के रूप में लिखें। एक बड़ा मान flex को शुरू होने के लिए अधिक समय देता है, जिससे अधिक पैसे बच सकते हैं। एक छोटा मान रिक्वेस्ट को जल्द ही स्टैंडर्ड में ले जाता है। Claude उदाहरण एक अवधि के बजाय default पास करता है क्योंकि Anthropic के पास दौड़ने के लिए कोई flex टियर नहीं है, इसलिए रिक्वेस्ट सीधे स्टैंडर्ड पर जाती है। मान कुल जनरेशन समय को नहीं, बल्कि शुरू होने के समय को बांधता है। मानों की पूरी सूची के लिए रूटिंग पेज देखें।
"service_tier": "flex" के साथ 200 रिस्पॉन्स का मतलब है कि flex समय पर शुरू हुआ और इस कॉल पर पैसे बचाए। "service_tier": "default" का मतलब है कि FlexInference ने स्टैंडर्ड का उपयोग किया क्योंकि flex आपकी समय सीमा को पूरा नहीं कर पाएगा। रिस्पॉन्स हेडर x-flexinference-flex-applied और x-flexinference-flex-reason कोड के लिए समान परिणाम उजागर करते हैं। किसी भी तरह, रिक्वेस्ट समय पर पूरी हो जाती है।
यदि आपकी पहली रिक्वेस्ट विफल हो जाती है, तो एरर बॉडी पढ़ें। FlexInference एरर बताते हैं कि क्या गलत हुआ, ऐसा क्यों हुआ, इसे कैसे ठीक करें, और एक काम करने वाला उदाहरण शामिल करें। यदि आपने डैशबोर्ड में अपनी OpenAI key नहीं जोड़ी है, तो एरर यह कहता है और उस पेज की ओर इशारा करता है जो इसे ठीक करता है। प्रोवाइडर एरर अपनी मूल स्थिति और बॉडी के साथ पास होते हैं। पूरी सूची के लिए एरर पेज देखें।

आगे क्या आज़माएँ

अपनी समय सीमा निर्धारित करें

start_within मानों और उस नियम को जानें जो रिक्वेस्ट को flex से स्टैंडर्ड में ले जाता है।

स्ट्रीम, टूल्स, विजन

OpenAI, Gemini, और Anthropic में स्ट्रीमिंग, टूल्स और विजन का उपयोग करें।