FlexInference क्या है?
FlexInference एक डेडलाइन-जागरूक LLM राउटर है। यह OpenAI, Gemini और Anthropic के साथ काम करता है, और यह OpenAI-संगत है, इसलिए आप OpenAI SDK का उपयोग कर सकते हैं। आप अपनी खुद की प्रदाता key लाते हैं। base URL को FlexInference पर इंगित करें और किसी भी अनुरोध में एकstart_within डेडलाइन जोड़ें। उस अवधि के भीतर हम एक सस्ते flex टियर के लिए प्रतिस्पर्धा करते हैं और आपको वही मॉडल वापस देते हैं जिसकी आपने मांग की थी। मानक अनुरोध निःशुल्क रहते हैं। जब flex मानक मूल्य से बेहतर प्रदर्शन करता है, तो हम आपकी बचत का 20% रखते हैं, जिसका बिल आपके $20 से अधिक होने पर आता है। आप एक वैकल्पिक provider array के साथ रूट को भी पिन कर सकते हैं, जिसमें क्लाउड रूट शामिल हैं जो Amazon Bedrock (Claude) या Google Vertex AI (Gemini) के माध्यम से आपकी अपनी क्लाउड key पर समान मॉडल प्रदान करते हैं।
start_within क्या है?
प्रत्येक अनुरोध पर एक आवश्यक फ़ील्ड। इसे default, priority, auto, या एक अवधि HHh-MMm-SSs (5 सेकंड से 10 मिनट) पर सेट करें। flex-सक्षम मॉडलों पर, एक अवधि आपके द्वारा चुने गए मॉडल के लिए एक सस्ते टियर की खोज करती है। यदि वह flex प्रतिस्पर्धा समय पर सस्ता inference नहीं ढूंढ पाती है, तो हम आपके अनुरोध को एक default अनुरोध में बदल देते हैं। इस तरह आपको एक प्रतिक्रिया मिलती है, लेकिन जब भी संभव हो, सस्ते में।
FlexInference कितनी बचत करता है?
हमारे सभी ट्रैफिक में,flex राउटिंग मिश्रित लागत को लगभग 47% तक कम कर देती है, जिससे पहले token तक पहुंचने में लगभग 16% अधिक समय लगता है। हम default, auto, या priority अनुरोधों पर कभी शुल्क नहीं लेते हैं, इसलिए आप तुरंत लगभग 5.5% अतिरिक्त शुल्क से बच जाते हैं जो अन्य राउटर उन पर जोड़ते हैं। वास्तविक बचत आपके मॉडलों, प्रदाताओं और आपके द्वारा निर्धारित डेडलाइन पर निर्भर करती है। Anthropic केवल प्रॉक्सी है और flex बचत प्राप्त नहीं करता है।
यदि FlexInference सस्ता inference नहीं ढूंढ पाता है तो क्या होता है?
यदिflex प्रतिस्पर्धा आपकी start_within डेडलाइन के भीतर सस्ता inference नहीं ढूंढ पाती है, तो हम अनुरोध को एक मानक, default-टियर अनुरोध में बदल देते हैं, ताकि आपको अपनी प्रतिक्रिया मिल सके। हम केवल तभी कमीशन लेते हैं जब एक flex अनुरोध वास्तव में आपके पैसे बचाता है, इसलिए एक अनुरोध जिसमें कुछ भी सस्ता नहीं मिलता है, उस पर कोई शुल्क नहीं लगता है।
यदि flex प्रतिस्पर्धा हार जाता है, तो क्या मुझे इसके लिए भुगतान करना होगा?
नहीं। हम flex द्वारा एक भी आउटपुट token लिखने से पहले मानक पर बदल देते हैं, इसलिए भुगतान करने के लिए कोई flex प्रतिक्रिया नहीं होती है और जिस अनुरोध ने कुछ भी नहीं बचाया उस पर कोई कमीशन नहीं होता है। यदि एक flex प्रयास शुरू होता है और फिर प्रतिबद्ध होने से पहले विफल हो जाता है, तो यह कुछ इनपुट tokens खर्च कर सकता है; आपका प्रदाता उन पर सीधे बिल करता है और हम उन्हें बिना किसी मार्कअप के पास करते हैं।
आप किन प्रदाताओं और मॉडलों का समर्थन करते हैं?
सभी OpenAI, Gemini और Anthropic मॉडल। केवल वे जोflex का समर्थन करते हैं, सस्ते inference खोज के लिए उपलब्ध हैं। आप एक वैकल्पिक provider array के साथ रूट को भी पिन कर सकते हैं: openai, google, और anthropic सीधे रूट हैं, जबकि Vertex (Gemini) और Bedrock (Claude) क्लाउड रूट हैं जो Google Vertex AI और Amazon Bedrock के माध्यम से आपकी अपनी क्लाउड key का उपयोग करके समान मॉडल प्रदान करते हैं। क्लाउड रूट केवल मानक टियर पर चलते हैं, बिना flex के।
क्या आपके पास MCP सर्वर है?
हाँ। किसी भी MCP क्लाइंट जैसे Claude या Cursor कोhttps://mcp.flexinference.com/mcp पर इंगित करें। दो डॉक्स टूल बिना लॉगिन के काम करते हैं। वे डॉक्स खोजते हैं और किसी भी error code को देखते हैं। एक बार के OAuth साइन-इन के बाद, एक एजेंट आपके उपयोग और बचत को भी पढ़ सकता है, API keys को सूचीबद्ध, बना या रद्द कर सकता है, और बिलिंग की जांच कर सकता है, प्रत्येक अपने स्वयं के scope के पीछे। हम MCP पर कभी भी कच्ची प्रदाता key नहीं लेते हैं, इसलिए उन्हें डैशबोर्ड पर जोड़ें। सेटअप के लिए MCP डॉक्स देखें।
क्या आपकी त्रुटियाँ कोडिंग एजेंटों के लिए बनाई गई हैं?
हाँ। त्रुटियाँ आपके द्वारा बुलाए गए endpoint, OpenAI, Anthropic, या Google के आकार में वापस आती हैं, इसलिए आपके द्वारा पहले से उपयोग किया जाने वाला SDK उन्हें अपरिवर्तित रूप से पार्स करता है। OpenAI आकार एक मशीन-पठनीय code, आपत्तिजनक फ़ील्ड, और एकdoc_url जोड़ता है। प्रत्येक संदेश बताता है कि क्या टूटा, आपने कौन सा नियम मारा, और एक उदाहरण के साथ सटीक समाधान, इसलिए इसे अपने एजेंट को दिखाना आमतौर पर पहली कोशिश में ठीक करने के लिए पर्याप्त होता है।
क्या Anthropic मॉडल को सस्ता inference खोज मिलता है?
नहीं। Anthropic केवल प्रॉक्सी है: कोईflex प्रतिस्पर्धा नहीं और कोई लागत बचत नहीं। आपको वही एकीकृत API मिलता है, आपकी key आराम पर एन्क्रिप्टेड होती है, और सेवा-टियर नियंत्रण (default, priority, auto), और आप अपने स्वयं के Anthropic क्रेडिट का उपयोग करते हैं। किसी भी claude-* मॉडल को /v1/responses पर कॉल करें, या Anthropic Messages प्रारूप का सीधे /v1/messages पर उपयोग करें।
क्या आप कैशिंग का समर्थन करते हैं?
हाँ, लेक्सिकल कैशिंग, सिमेंटिक कैशिंग जल्द ही आ रहा है।क्या आप फॉलबैक प्रदाताओं का समर्थन करते हैं?
हाँ। अपने रूट को पिन करने के लिए एक वैकल्पिक क्रमबद्धprovider array भेजें। तत्व 0 प्राथमिक रूट और एकमात्र flex गेट है; बाकी एक ही मॉडल की फॉलबैक श्रृंखला हैं, जब कोई रूट अस्थायी रूप से विफल हो जाता है तो क्रम में कोशिश की जाती है, इसलिए एक फॉलबैक रूट को बदलता है, कभी भी आपके मॉडल या टियर को नहीं। रूट तीन सीधे वाले (openai, google, anthropic) और दो क्लाउड रूट हैं, claude-* के लिए bedrock और gemini-* के लिए vertex, दोनों flex के बिना मानक-टियर हैं; gpt-* केवल openai है। आपके द्वारा नामित प्रत्येक रूट को अपनी key की आवश्यकता होती है: एक गुम key एक कॉन्फ़िगरेशन error है जो उस रूट के लिए 400 लौटाता है और कभी भी आगे नहीं बढ़ता है। Fallback केवल अस्थायी अपस्ट्रीम विफलताओं को कवर करता है: एक 429, एक 5xx, एक कनेक्शन error, या एक timeout। वैध श्रृंखलाओं के लिए मॉडल डॉक्स देखें।
क्या आप अपस्ट्रीम रिट्राई (LLM प्रदाताओं को) का समर्थन करते हैं?
हाँ। एक वैकल्पिकretry ऑब्जेक्ट जोड़ें, जैसे कि 2 की संख्या, और जब आपका अनुरोध एक अस्थायी 429 या 5xx के साथ शुरू होने में विफल रहता है, तो हम आपके अनुरोध को सेवा देने वाले टियर को फिर से हिट करते हैं। गिनती 1 से 5 तक चलती है, घातीय या रैखिक बैकऑफ़ के साथ-साथ जिटर के साथ, और हम एक प्रदाता Retry-After हेडर का सम्मान करते हैं। पुनः प्रयास केवल आपकी प्रतिक्रिया प्रतिबद्ध होने से पहले चलते हैं, कभी भी पहले token, एक auth विफलता, या एक क्लाइंट error के बाद नहीं। वे आपके SDK के अपने पुनः प्रयासों के साथ स्टैक करते हैं, और हम x-flexinference-retries हेडर में बताते हैं कि हमने कितने चलाए। डेडलाइन राउटिंग डॉक्स देखें।
क्या आप स्वचालित मॉडल चयन का समर्थन करते हैं?
अभी नहीं, जल्द ही आ रहा है। (start_within मान auto OpenAI का सेवा टियर है, यह नहीं।)
क्या आप प्रति अनुरोध शुल्क लेते हैं?
कोई फ्लैट प्रति-अनुरोध शुल्क नहीं है। एकflex अनुरोध जो मानक मूल्य से बेहतर प्रदर्शन करता है, आपकी बचत का 20% कमीशन लेता है, इसलिए आप केवल तभी भुगतान करते हैं जब आप वास्तव में बचत करते हैं; यदि कोई अनुरोध कुछ भी नहीं बचाता है, तो वह निःशुल्क है। मानक, priority, और auto राउटिंग और Anthropic टियर/प्रॉक्सी अनुरोधों पर कोई शुल्क नहीं लगता है।
आप पैसे कैसे कमाते हैं?
हम एकflex अनुरोध द्वारा मानक मूल्य की तुलना में वास्तव में आपके द्वारा बचाए गए पैसे का 20% कमीशन लेते हैं। यदि कोई अनुरोध आपको कुछ भी नहीं बचाता है, तो वह निःशुल्क है, और मानक, priority, और auto राउटिंग और Anthropic टियर/प्रॉक्सी अनुरोध हमेशा निःशुल्क होते हैं। कमीशन प्रति अनुरोध जमा होता है और मासिक बिल किया जाता है।
मुझे कब और कैसे चार्ज किया जाता है?
हम मासिक बिल करते हैं जब आपका बैलेंस $20 से अधिक हो जाता है; एक छोटा बैलेंस आगे बढ़ता है और हम इसे कम से कम हर तीन महीने में निपटाते हैं ताकि यह कभी लंबित न रहे। डैशबोर्ड के बिलिंग पेज में एक कार्ड जोड़ें और बिल देय होने पर हम इसे स्वचालित रूप से चार्ज करते हैं। यदि कोई भुगतान देय तिथि से अधिक हो जाता है, तो मूल्यवानflex रोक दिया जाता है और 402 लौटाता है, जबकि निःशुल्क राउटिंग (default, priority, auto) और सभी Anthropic टियर/प्रॉक्सी अनुरोध काम करते रहते हैं; फिर से शुरू करने के लिए अपना कार्ड अपडेट करें।