> ## Documentation Index
> Fetch the complete documentation index at: https://docs.flexinference.com/llms.txt
> Use this file to discover all available pages before exploring further.

# FlexInference क्या करता है

> OpenAI, Gemini, और Anthropic के लिए एक OpenAI-संगत राउटर, जिसमें Amazon Bedrock और Google Vertex AI के माध्यम से क्लाउड राउटिंग भी शामिल है। अपनी खुद की key लाएँ और एक फ़ील्ड, start_within, सेट करें ताकि यह बताया जा सके कि आप कितनी देर प्रतीक्षा कर सकते हैं। FlexInference उसी अनुरोध को चलाने का एक सस्ता तरीका ढूँढता है, और आप तभी भुगतान करते हैं जब यह आपके पैसे बचाता है।

FlexInference OpenAI, Gemini, और Anthropic के लिए एक OpenAI-संगत डेडलाइन राउटर है, जिसमें Amazon Bedrock और Google Vertex AI के माध्यम से वैकल्पिक क्लाउड रूट भी उपलब्ध हैं। एक सरफेस प्लानर प्रत्येक अनुरोध को सही provider API सरफेस और service tier पर मैप करता है। आप Chat Completions, Responses, Interactions, और Anthropic Messages के लिए पहले से उपयोग किए जा रहे अनुरोध के स्वरूपों को बनाए रखते हैं, और एक आवश्यक फ़ील्ड: `start_within` सेट करते हैं।

एक वैकल्पिक `provider` array आपके अनुरोध के मार्ग को निर्धारित करता है। सीधे रूट OpenAI, Gemini, और Anthropic तक पहुँचते हैं; क्लाउड रूट आपके अपने क्लाउड अकाउंट पर उसी model को सेवा प्रदान करते हैं - `bedrock` Amazon Bedrock के माध्यम से `claude-*` चलाता है और `vertex` Google Vertex AI के माध्यम से `gemini-*` चलाता है, standard tier पर बिना किसी flex race के। देखें [provider routing](/hi/models)।

आप अपनी provider keys एक बार लाते हैं। FlexInference BYOK keys को एन्क्रिप्टेड रूप से संग्रहीत करता है और उन्हें प्रति अनुरोध कभी भी आवश्यक नहीं करता है। अनुरोध एक FlexInference key के साथ प्रमाणित होते हैं; राउटर उस key से आपके org को हल करता है, दृढ़ता से सुसंगत निरस्तीकरण रजिस्ट्री की जाँच करता है, और चयनित सरफेस के लिए संग्रहीत provider key का उपयोग करता है।

60,000 से अधिक वास्तविक अनुरोधों में, flex routing ने token-weighted लागत को लगभग 47 प्रतिशत कम कर दिया, जिसमें पहले token तक पहुँचने में लगभग 16 प्रतिशत अधिक समय लगा।

<Info>
  FlexInference inference नहीं बेचता है। आप अपनी खुद की provider key (BYOK) लाते हैं

  * OpenAI, Gemini, या Anthropic, साथ ही क्लाउड रूट के लिए एक Google Vertex AI express key या एक
    Amazon Bedrock key - और provider आपके खाते को सीधे उस tier पर बिल करता है
    जिसने अनुरोध को सेवा दी। हम इसके ऊपर लागत राउटिंग जोड़ते हैं जो आपकी प्रतीक्षा अवधि का सम्मान करता है।
</Info>

Standard routing मुफ़्त है। flex routing के लिए, FlexInference बचाए गए पैसे का 20 प्रतिशत शुल्क लेता है। कोई बचत नहीं मतलब कोई शुल्क नहीं। कोई प्रति-अनुरोध शुल्क और कोई token markup नहीं है।

प्रत्येक सफल प्रतिक्रिया में `x-flexinference-flex-applied` और `x-flexinference-flex-reason`, साथ ही प्रतिक्रिया `service_tier` शामिल होता है, ताकि आप यह ऑडिट कर सकें कि flex ने अनुरोध को सेवा दी या यह क्यों वापस आया।

## यह क्यों मौजूद है

OpenAI एक ही models के लिए कई service tiers प्रदान करता है। flex (batch) tier की लागत standard दर से आधी होती है, लेकिन क्षमता की गारंटी नहीं होती है। जो ऐप्स latency की परवाह करते हैं, उन्हें प्रति-अनुरोध के आधार पर यह तय करने का एक तरीका चाहिए कि प्रतीक्षा कब स्वीकार्य है।

`start_within` वह अधिकतम समय है जिसकी आप अनुरोध के चलने से पहले अनुमति देते हैं। यह एक कठोर पूर्णता डेडलाइन नहीं है। जब कोई उपयोगकर्ता प्रतीक्षा कर रहा हो तो एक छोटा मान उपयोग करें; पृष्ठभूमि के काम के लिए एक लंबा मान उपयोग करें जहाँ कम लागत अधिक मायने रखती है।

<CardGroup cols={3}>
  <Card title="अभी चाहिए" icon="bolt">
    `start_within: "priority"` OpenAI के priority tier पर रूट करता है।
  </Card>

  <Card title="थोड़ा इंतज़ार कर सकते हैं" icon="hourglass-half">
    `start_within: "00h-00m-30s"` पहले सस्ते flex tier को आज़माता है। यदि flex
    30 सेकंड के भीतर शुरू नहीं हो पाता है, तो FlexInference अनुरोध को आपके
    standard tier पर ले जाता है ताकि वह फिर भी चले।
  </Card>

  <Card title="डिफ़ॉल्ट" icon="equals">
    `start_within: "default"` OpenAI के डिफ़ॉल्ट tier और मूल्य निर्धारण का उपयोग करता है। (`"auto"`
    OpenAI को चुनने देता है।)
  </Card>
</CardGroup>

अधिकांश राउटर एक मजबूत model से एक सस्ते model पर जाकर लागत कम करते हैं। FlexInference model को स्थिर रखता है। यह पहले सस्ते flex tier को आज़माता है, फिर यदि flex `start_within` के भीतर शुरू नहीं हो पाता है तो standard tier पर चला जाता है। एस्केलेशन की लागत provider को सीधे standard pricing पर कॉल करने से अधिक नहीं होती है।

## ड्रॉप-इन संगत

अपने base URL को FlexInference पर सेट करें और `start_within` शामिल करें। राउटर OpenAI, Gemini, और Anthropic में streaming, tool calling, structured outputs, vision, और reasoning के लिए provider अनुरोध और प्रतिक्रिया के स्वरूप को बरकरार रखता है।

```
https://api.flexinference.com/v1
```

<CardGroup cols={2}>
  <Card title="त्वरित शुरुआत" icon="rocket" href="/hi/quickstart">
    शून्य से अपने पहले अनुरोध तक जाएँ।
  </Card>

  <Card title="डेडलाइन राउटिंग" icon="hourglass-half" href="/hi/deadline-routing">
    `start_within` कैसे काम करता है, और standard में एस्केलेशन कब शुरू होता है।
  </Card>

  <Card title="प्रमाणीकरण" icon="key" href="/hi/authentication">
    FlexInference API keys, साथ ही आपकी अपनी OpenAI, Gemini, या Anthropic key।
  </Card>

  <Card title="समर्थित मॉडल" icon="layer-group" href="/hi/models">
    वे models जो flex routing का समर्थन करते हैं।
  </Card>

  <Card title="प्रदाता राउटिंग" icon="route" href="/hi/models">
    एक रूट पिन करें, या Amazon Bedrock या Google Vertex AI के माध्यम से एक क्लाउड रूट जोड़ें।
  </Card>
</CardGroup>

## डेमो ट्रांसक्रिप्ट

तीन रिकॉर्ड किए गए डेमो एक ही model को समानांतर में दो बार चलाने की तुलना करते हैं: एक तरफ `start_within` डेडलाइन सेट की जाती है और दूसरी तरफ डिफ़ॉल्ट राउटिंग का उपयोग किया जाता है। प्रत्येक डेमो में सादे पाठ के रूप में एक पूर्ण ट्रांसक्रिप्ट है, जिसे लोग और एजेंट समान रूप से पढ़ सकते हैं:

* [Gemini इमेज वर्गीकरण](https://www.flexinference.com/transcripts/gemini-image-classification.txt)
* [OpenAI ब्राउज़र एजेंट](https://www.flexinference.com/transcripts/openai-browser-agent.txt)
* [OpenAI गहन शोध](https://www.flexinference.com/transcripts/openai-deep-research.txt)

वीडियो स्वयं [FlexInference होमपेज](https://www.flexinference.com/#demos) पर उपलब्ध हैं।