> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.

# अक्सर पूछे जाने वाले प्रश्न

> FlexInference के बारे में सामान्य प्रश्न: start_within, मूल्य निर्धारण, प्रोवाइडर, बिलिंग और MCP सर्वर।

{/* GENERATED FILE - do not edit by hand.
  Source of truth: website/src/app/faq-data.ts
  Regenerate: pnpm --dir apps/website gen:faq */}

## FlexInference क्या है?

FlexInference एक डेडलाइन-अवेयर LLM राउटर है। यह OpenAI, Gemini और Anthropic पर काम करता है, और यह OpenAI-संगत है, इसलिए आप OpenAI SDK का उपयोग कर सकते हैं। आप अपनी खुद की प्रोवाइडर key लाते हैं। FlexInference पर base URL को पॉइंट करें और किसी भी रिक्वेस्ट में `start_within` डेडलाइन जोड़ें। उस विंडो के भीतर हम एक सस्ते flex टियर को रेस करते हैं और आपको वही मॉडल वापस देते हैं जो आपने मांगा था। स्टैंडर्ड रिक्वेस्ट मुफ्त रहती हैं। जब flex, स्टैंडर्ड कीमत को हरा देता है, तो हम आपकी बचत का 20% रखते हैं, जिसका बिल आपके \$20 के बैलेंस से अधिक होने पर आता है। आप एक वैकल्पिक प्रोवाइडर array के साथ रूट को पिन भी कर सकते हैं, जिसमें क्लाउड रूट भी शामिल हैं जो Amazon Bedrock (Claude) या Google Vertex AI (Gemini) के माध्यम से आपके अपने क्लाउड key पर उसी मॉडल को सर्व करते हैं।

## `start_within` क्या है?

हर रिक्वेस्ट पर एक आवश्यक फ़ील्ड। इसे `default`, `priority`, `auto`, या एक अवधि HHh-MMm-SSs (5 सेकंड से 10 मिनट) पर सेट करें। flex-सक्षम मॉडल पर, एक अवधि आपके द्वारा चुने गए मॉडल के लिए एक सस्ते टियर की खोज करती है। यदि वह flex रेस समय पर सस्ता इन्फेरेंस नहीं ढूंढ पाती है, तो हम आपकी रिक्वेस्ट को एक डिफ़ॉल्ट रिक्वेस्ट में बढ़ा देते हैं। इस तरह आपको एक रिस्पॉन्स मिलता है, लेकिन जब भी संभव हो, सस्ता।

## FlexInference कितनी बचत करता है?

हमारे सभी ट्रैफ़िक में, flex रूटिंग से मिश्रित लागत में लगभग 47% की कमी आती है, जिससे पहले token तक पहुंचने में लगभग 16% अधिक समय लगता है। हम डिफ़ॉल्ट, `auto`, या `priority` रिक्वेस्ट पर कभी शुल्क नहीं लेते हैं, इसलिए आप तुरंत लगभग 5.5% अधिभार से बच जाते हैं जो अन्य राउटर उन पर जोड़ते हैं। वास्तविक बचत आपके मॉडल, प्रोवाइडर और आपके द्वारा निर्धारित डेडलाइन पर निर्भर करती है। Anthropic केवल प्रॉक्सी है और flex बचत प्राप्त नहीं करता है।

## FlexInference किन उपयोग के मामलों के लिए बेहतरीन है?

क्या हम सब कुछ कह सकते हैं? एक सामान्य राउटर के रूप में यह BYOK के लिए मुफ्त है और आपके द्वारा सफलता के लिए सेट किए गए पैरामीटर को नहीं हटाता है। तो जब आप जानना चाहते हैं कि आपने जो मांगा वह आपको मिला, तो यह बहुत अच्छा है। flex रेस के लिए, आप `start_within` को एक डेडलाइन पर सेट करते हैं। यह उन कार्यों के लिए बहुत अच्छा है जो लेटेंसी-संवेदनशील नहीं हैं। यह डेटा प्रोसेसिंग, इवैल्यूएशन, LLM को जज के रूप में, ब्राउज़र एजेंट, या समराइज़ेशन हो सकता है। कुछ भी जो भारी लागत कटौती के लिए कुछ सेकंड इंतजार कर सकता है।

## क्या होता है यदि FlexInference सस्ता इन्फेरेंस नहीं ढूंढ पाता है?

यदि flex रेस आपकी `start_within` डेडलाइन के भीतर सस्ता इन्फेरेंस नहीं ढूंढ पाती है, तो हम रिक्वेस्ट को एक स्टैंडर्ड, डिफ़ॉल्ट-टियर रिक्वेस्ट में बढ़ा देते हैं, ताकि आपको अपना रिस्पॉन्स मिल सके। हम केवल तभी कमीशन लेते हैं जब एक flex रिक्वेस्ट वास्तव में आपके पैसे बचाती है, इसलिए एक रिक्वेस्ट जो कुछ भी सस्ता नहीं ढूंढती है, उस पर कोई शुल्क नहीं लगता है।

## यदि flex रेस हार जाता है, तो क्या मुझे इसके लिए भुगतान करना होगा?

नहीं। हम flex द्वारा एक भी आउटपुट token लिखने से पहले स्टैंडर्ड पर बढ़ा देते हैं, इसलिए भुगतान करने के लिए कोई flex रिस्पॉन्स नहीं होता है और ऐसी रिक्वेस्ट पर कोई कमीशन नहीं होता है जिसने कुछ भी नहीं बचाया। यदि एक flex प्रयास शुरू होता है और फिर कमिट करने से पहले विफल हो जाता है, तो यह कुछ इनपुट token जला सकता है; आपका प्रोवाइडर सीधे उनका बिल देता है और हम उन्हें बिना किसी मार्कअप के पास करते हैं।

## आप किन प्रोवाइडर और मॉडल का समर्थन करते हैं?

सभी OpenAI, Gemini और Anthropic मॉडल। केवल वे जो flex का समर्थन करते हैं, सस्ते इन्फेरेंस खोज के लिए उपलब्ध हैं। आप एक वैकल्पिक प्रोवाइडर array के साथ रूट को पिन भी कर सकते हैं: `openai`, `google`, और `anthropic` सीधे रूट हैं, जबकि Vertex (Gemini) और Bedrock (Claude) क्लाउड रूट हैं जो Google Vertex AI और Amazon Bedrock के माध्यम से आपके अपने क्लाउड key का उपयोग करके उसी मॉडल को सर्व करते हैं। क्लाउड रूट केवल स्टैंडर्ड टियर पर चलते हैं, बिना flex के।

## क्या आपके पास MCP सर्वर है?

हाँ। किसी भी MCP क्लाइंट जैसे Claude या Cursor को [https://mcp.flexinference.com/mcp](https://mcp.flexinference.com/mcp) पर पॉइंट करें। दो डॉक्स टूल बिना लॉगिन के काम करते हैं। वे डॉक्स खोजते हैं और किसी भी error code को देखते हैं। एक बार के OAuth साइन-इन के बाद, एक एजेंट आपके उपयोग और बचत को भी पढ़ सकता है, API key को सूचीबद्ध, बना या रद्द कर सकता है, और बिलिंग की जांच कर सकता है, प्रत्येक अपने स्वयं के स्कोप के पीछे। हम MCP पर कभी भी raw प्रोवाइडर key नहीं लेते हैं, इसलिए उन्हें डैशबोर्ड पर जोड़ें। सेटअप के लिए MCP डॉक्स देखें।

## क्या आपकी त्रुटियां कोडिंग एजेंटों के लिए बनाई गई हैं?

हाँ। त्रुटियां आपके द्वारा बुलाए गए endpoint, OpenAI, Anthropic, या Google के आकार में वापस आती हैं, इसलिए आपके द्वारा पहले से उपयोग किया जाने वाला SDK उन्हें अपरिवर्तित रूप से पार्स करता है। OpenAI आकार एक मशीन-पठनीय कोड, आपत्तिजनक फ़ील्ड, और एक `doc_url` जोड़ता है। प्रत्येक संदेश बताता है कि क्या टूटा, आपने कौन सा नियम मारा, और एक उदाहरण के साथ सटीक फिक्स, इसलिए इसे अपने एजेंट को दिखाना आमतौर पर पहली कोशिश में ठीक करने के लिए पर्याप्त होता है।

## क्या Anthropic मॉडल को सस्ता इन्फेरेंस खोज मिलता है?

अभी नहीं। केवल सामान्य रूटिंग, और हम इस पर काम कर रहे हैं।

## क्या आप कैशिंग का समर्थन करते हैं?

हाँ, लेक्सिकल कैशिंग, सिमेंटिक कैशिंग जल्द ही आ रही है।

## क्या आप फ़ॉलबैक प्रोवाइडर का समर्थन करते हैं?

हाँ। आप फ़ॉलबैक करने के लिए प्रोवाइडर की एक क्रमबद्ध सूची जोड़ सकते हैं। हम इसका उपयोग 429, 5xx, कनेक्शन त्रुटि, या टाइमआउट पर करते हैं। flex रेस तब भी लागू होती है जब सूची में पहला प्रोवाइडर flex-सक्षम होता है। यदि आप इसे सेट नहीं करते हैं, तो हम आपके द्वारा मांगे गए मॉडल के आधार पर डिफ़ॉल्ट रूप से `openai`, `google`, या `anthropic` पर सेट करते हैं। हम Vertex और Bedrock का समर्थन करते हैं, Foundry रास्ते में है।

## क्या आप अपस्ट्रीम रिट्राई (LLM प्रोवाइडर को) का समर्थन करते हैं?

हाँ। आप 2 जैसी रिट्राई संख्या सेट कर सकते हैं और जिटर को चालू या बंद कर सकते हैं। बैकऑफ़ लीनियर या एक्सपोनेंशियल होता है, और आप समय निर्धारित करते हैं। रिट्राई क्षणिक 429s और 5xx त्रुटियों पर फायर होते हैं। हम प्रोवाइडर के `Retry-After` हेडर का भी सम्मान करते हैं, इसलिए आपको इसके बारे में चिंता करने की आवश्यकता नहीं है।

## क्या आप स्वचालित मॉडल चयन का समर्थन करते हैं?

अभी नहीं, जल्द ही आ रहा है। (`start_within` मान `auto` OpenAI की सेवा टियर है, यह नहीं।)

## क्या आप प्रति रिक्वेस्ट शुल्क लेते हैं?

कोई फ्लैट प्रति-रिक्वेस्ट शुल्क नहीं है। एक flex रिक्वेस्ट जो स्टैंडर्ड कीमत को हरा देती है, आपकी बचत का 20% कमीशन लेती है, इसलिए आप केवल तभी भुगतान करते हैं जब आप वास्तव में बचत करते हैं; यदि एक रिक्वेस्ट कुछ भी नहीं बचाती है, तो यह मुफ्त है। स्टैंडर्ड, `priority`, और `auto` रूटिंग और Anthropic टियर/प्रॉक्सी रिक्वेस्ट पर कोई शुल्क नहीं लगता है।

## आप पैसे कैसे कमाते हैं?

हम एक flex रिक्वेस्ट द्वारा स्टैंडर्ड कीमत की तुलना में वास्तव में बचाए गए पैसे का 20% कमीशन लेते हैं। यदि एक रिक्वेस्ट आपको कुछ भी नहीं बचाती है, तो यह मुफ्त है, और स्टैंडर्ड, `priority`, और `auto` रूटिंग और Anthropic टियर/प्रॉक्सी रिक्वेस्ट हमेशा मुफ्त होती हैं। कमीशन प्रति रिक्वेस्ट जमा होता है और मासिक बिल किया जाता है।

## मुझे कब और कैसे चार्ज किया जाता है?

हम मासिक बिल करते हैं जब आपका बैलेंस \$20 से अधिक हो जाता है; एक छोटा बैलेंस आगे बढ़ता है और हम इसे कम से कम हर तीन महीने में निपटाते हैं ताकि यह कभी न अटके। डैशबोर्ड बिलिंग पेज में एक कार्ड जोड़ें और जब बिल देय हो तो हम इसे स्वचालित रूप से चार्ज करते हैं। यदि भुगतान देय तिथि से अधिक हो गया है, तो मूल्यवान flex रोक दिया जाता है और 402 लौटाता है, जबकि मुफ्त रूटिंग (`default`, `priority`, `auto`) और सभी Anthropic टियर/प्रॉक्सी रिक्वेस्ट काम करते रहते हैं; फिर से शुरू करने के लिए अपना कार्ड अपडेट करें।

## क्या मैं प्रोवाइडर क्रेडिट होने पर भी इन्फेरेंस पर बचत कर सकता हूँ?

हाँ। अपनी खुद की API key लाएँ, जिसे हम रेस्ट पर एन्क्रिप्ट करते हैं, और आपकी रिक्वेस्ट आपके मौजूदा क्रेडिट को कम करती हैं।

## क्या आप मेरी रिक्वेस्ट या रिस्पॉन्स देखते हैं?

नहीं, हम आपकी जानकारी नहीं देखते हैं।

## क्या FlexInference मेरे मॉडल, प्रॉम्प्ट या आउटपुट को बदलता है?

नहीं, हम आपके द्वारा मांगी गई किसी भी चीज़ को नहीं बदलते हैं। एक चीज़ जो हम बदलते हैं वह है वह टियर जो आपके मॉडल को सर्व करता है, जब वह उसी मॉडल को सस्ता बनाता है। अन्य राउटर हमें चीजों को बदलकर परेशान करते थे, और यही कारण है कि हमने इसे बनाया। तो हम पर भरोसा करें, हम कुछ भी नहीं बदलते हैं। आप किसी भी रिक्वेस्ट का ऑडिट कर सकते हैं और खुद देख सकते हैं।

## साइट और डॉक्स किन भाषाओं में उपलब्ध हैं?

वेबसाइट और डॉक्स सात भाषाओं में उपलब्ध हैं: अंग्रेजी, फ्रेंच, जर्मन, हिंदी, मंदारिन चीनी, स्पेनिश और पुर्तगाली। आप वेबसाइट फुटर या डैशबोर्ड यूजर टैब में खुद भाषा चुनते हैं। वह चुनाव साइट और डॉक्स दोनों पर आपके साथ रहता है। हम इसे आपके ब्राउज़र से कभी भी स्वतः-पता नहीं लगाते हैं, इसलिए बिना सहेजे गए विकल्प के खोला गया पेज अंग्रेजी में सर्व होता है। अंग्रेजी bare URL पर रहती है और हर दूसरी भाषा /es जैसे उपसर्ग के तहत रहती है, वेबसाइट और डॉक्स दोनों पर। अनुवाद सिमेंटिक और बोली-जागरूक होते हैं, जो प्रत्येक क्षेत्र से मेल खाते हैं न कि शब्द-दर-शब्द चलाए जाते हैं।