मुख्य सामग्री पर जाएं
FlexInference OpenAI, Gemini, और Anthropic के लिए एक OpenAI-संगत डेडलाइन राउटर है, जिसमें Amazon Bedrock और Google Vertex AI के माध्यम से वैकल्पिक क्लाउड रूट भी शामिल हैं। एक सरफेस प्लानर प्रत्येक अनुरोध को सही provider API सरफेस और सर्विस टियर पर मैप करता है। आप Chat Completions, Responses, Interactions, और Anthropic Messages के लिए पहले से उपयोग किए जा रहे अनुरोध के स्वरूपों को बनाए रखते हैं, और एक आवश्यक फ़ील्ड सेट करते हैं: start_within। एक वैकल्पिक provider array आपके अनुरोध के मार्ग को निर्धारित करता है। सीधे रूट OpenAI, Gemini, और Anthropic तक पहुँचते हैं; क्लाउड रूट आपके अपने क्लाउड खाते पर उसी model को सेवा प्रदान करते हैं - bedrock Amazon Bedrock के माध्यम से claude-* चलाता है और vertex Google Vertex AI के माध्यम से gemini-* चलाता है, मानक टियर पर बिना किसी flex race के। provider routing देखें। आप अपनी provider keys एक बार लाते हैं। FlexInference BYOK keys को एन्क्रिप्टेड रूप से संग्रहीत करता है और उन्हें प्रति अनुरोध कभी भी आवश्यक नहीं करता है। अनुरोध एक FlexInference key के साथ प्रमाणित होते हैं; राउटर उस key से आपके org को हल करता है, दृढ़ता से सुसंगत निरस्तीकरण रजिस्ट्री की जाँच करता है, और चयनित सरफेस के लिए संग्रहीत provider key का उपयोग करता है। 60,000 से अधिक वास्तविक अनुरोधों में, flex routing ने token-weighted लागत को लगभग 47 प्रतिशत कम कर दिया, जिसमें पहले token तक पहुँचने में लगभग 16 प्रतिशत अधिक समय लगा।
FlexInference inference नहीं बेचता है। आप अपनी खुद की provider key (BYOK) लाते हैं
  • OpenAI, Gemini, या Anthropic, साथ ही क्लाउड रूट के लिए एक Google Vertex AI express key या एक Amazon Bedrock key - और provider आपके खाते को सीधे उस टियर पर बिल करता है जिसने अनुरोध को सेवा प्रदान की। हम इसके ऊपर लागत रूटिंग जोड़ते हैं जो इस बात का सम्मान करती है कि आप कितनी देर प्रतीक्षा कर सकते हैं।
मानक रूटिंग निःशुल्क है। flex routing के लिए, FlexInference बचाए गए पैसे का 20 प्रतिशत शुल्क लेता है। कोई बचत नहीं मतलब कोई शुल्क नहीं। कोई प्रति-अनुरोध शुल्क और कोई token markup नहीं है। प्रत्येक सफल प्रतिक्रिया में x-flexinference-flex-applied और x-flexinference-flex-reason, प्रतिक्रिया service_tier के साथ शामिल होते हैं, ताकि आप यह ऑडिट कर सकें कि flex ने अनुरोध को सेवा प्रदान की या यह क्यों वापस आया।

​
यह क्यों मौजूद है

OpenAI एक ही models के लिए कई सर्विस टियर प्रदान करता है। flex (बैच) टियर की लागत मानक दर से आधी होती है, लेकिन क्षमता की गारंटी नहीं होती है। जिन ऐप्स को latency की परवाह है, उन्हें यह तय करने के लिए प्रति-अनुरोध तरीका चाहिए कि प्रतीक्षा कब स्वीकार्य है। start_within वह अधिकतम समय है जिसकी आप अनुरोध के चलने से पहले अनुमति देते हैं। यह एक कठोर पूर्णता डेडलाइन नहीं है। जब कोई उपयोगकर्ता प्रतीक्षा कर रहा हो तो एक छोटा मान उपयोग करें; पृष्ठभूमि के काम के लिए एक लंबा मान उपयोग करें जहाँ कम लागत अधिक मायने रखती है।

अभी चाहिए

start_within: "priority" OpenAI के priority टियर पर रूट करता है।

थोड़ा इंतज़ार कर सकते हैं

start_within: "00h-00m-30s" पहले सस्ते flex टियर को आज़माता है। यदि flex 30 सेकंड के भीतर शुरू नहीं हो पाता है, तो FlexInference अनुरोध को आपके मानक टियर पर ले जाता है ताकि वह अभी भी चले।

डिफ़ॉल्ट

start_within: "default" OpenAI के डिफ़ॉल्ट टियर और मूल्य निर्धारण का उपयोग करता है। ("auto" OpenAI को चुनने देता है।)
अधिकांश राउटर एक मजबूत model से एक सस्ते model पर जाकर लागत कम करते हैं। FlexInference model को स्थिर रखता है। यह पहले सस्ते flex टियर को आज़माता है, फिर यदि flex start_within के भीतर शुरू नहीं हो पाता है तो मानक टियर पर चला जाता है। एस्केलेशन की लागत सीधे provider को मानक मूल्य निर्धारण पर कॉल करने से अधिक नहीं होती है।

​
ड्रॉप-इन संगत

अपना बेस URL FlexInference पर सेट करें और start_within शामिल करें। राउटर OpenAI, Gemini, और Anthropic में streaming, tool calling, structured outputs, vision, और reasoning के लिए provider अनुरोध और प्रतिक्रिया के स्वरूप को बरकरार रखता है।

त्वरित शुरुआत

शून्य से अपने पहले अनुरोध तक जाएँ।

डेडलाइन रूटिंग

start_within कैसे काम करता है, और मानक तक एस्केलेशन कब शुरू होता है।

प्रमाणीकरण

FlexInference API keys, साथ ही आपकी अपनी OpenAI, Gemini, या Anthropic key।

समर्थित मॉडल

वे models जो flex routing का समर्थन करते हैं।

प्रदाता रूटिंग

एक रूट पिन करें, या Amazon Bedrock या Google Vertex AI के माध्यम से एक क्लाउड रूट जोड़ें।