आप क्या भुगतान करते हैं
FlexInference एक flex अनुरोध पर बचाए गए पैसे का 20% शुल्क लेता है। एक flex अनुरोध वह कॉल है जोstart_within को एक अवधि पर सेट करता है और वास्तव में flex रेस चला सकता है। केवल एक मूल्यवान, गैर-Anthropic मॉडल ही flex चला सकता है, जिसका अर्थ है flex-सक्षम OpenAI और Gemini मॉडल। Native-only Chat Completions पैरामीटर को start_within अवधि के साथ नहीं जोड़ा जा सकता है, इसलिए उन अनुरोधों को बिलिंग से पहले अस्वीकार कर दिया जाता है।
start_within एक समय-सीमा बजट है, जैसे 30 सेकंड। FlexInference उस समय का उपयोग अनुरोध को एक सस्ते tier पर शुरू करने की कोशिश में कर सकता है। यदि बजट समाप्त होने से पहले कोई सस्ता tier शुरू नहीं हो पाता है, तो राउटर आपके मानक मॉडल पर चला जाता है। start_within एक बजट है जिसे आप सेट करते हैं, न कि शुरू होने के समय की गारंटी।
Flex राउटिंग सस्ते tier से शुरू होती है और आवश्यकता पड़ने पर मानक tier पर जाती है। यह पहले मानक को रूट नहीं करती और बाद में डाउनग्रेड नहीं करती।
बचत, कॉल के लिए प्रोवाइडर के मानक मूल्य और उस कॉल के लिए उपयोग किए गए सस्ते flex मूल्य के बीच का अंतर है। FlexInference उस अंतर का 20% लेता है। आप बाकी 80% रखते हैं। यदि एक flex अनुरोध कुछ भी नहीं बचाता है, तो आप पर कुछ भी बकाया नहीं है।
FlexInference बचत पर शुल्क लेता है, न कि tokens पर। जब flex पैसे बचाता है,
तो कुल लागत प्रोवाइडर के मानक मूल्य से कम रहती है। यदि बचत शून्य है, तो शुल्क
शून्य है।
क्या निःशुल्क है
- सभी
default,priority, औरautoराउटिंग, किसी भी मॉडल पर। ये रूट सीधे प्रोवाइडर को प्रॉक्सी करते हैं। FlexInference एक सस्ते tier को आज़माता नहीं है, इसलिए साझा करने के लिए कोई बचत नहीं होती और कोई शुल्क नहीं होता। - सभी Anthropic (Claude) tier अनुरोध। Claude केवल प्रॉक्सी है। इसमें कोई flex tier नहीं है, इसलिए
claude-*मॉडल परdefault,priority, औरautoअनुरोध कभी भी बिल योग्य flex अनुरोध नहीं होते हैं। मॉडल देखें। - वैलिडेशन विफलताएं बिल नहीं की जाती हैं। एक गैर-flex-सक्षम OpenAI या Gemini मॉडल पर, या किसी भी Claude मॉडल पर एक अवधि, वैलिडेशन पर
400लौटाती है। इसे न तो बिल किया जाता है और न ही सेवा दी जाती है। इसके बजाय एक tier मान का उपयोग करें। - Cloud रूट अप्राइज्ड पासथ्रू हैं।
vertexऔरbedrockcloud रूट केवल मानक tier पर सेवा देते हैं, इसलिए उन पर कभी भी flex शुल्क नहीं लगता है। FlexInference cloud उपयोग को अप्राइज्ड पास करता है, बिना किसी मार्कअप या कमीशन के; केवल एक flex-सेवा वाला सीधा अनुरोध ही 20% कमीशन कमाता है। प्रोवाइडर राउटिंग देखें।
अपनी स्वयं की key लाएं (BYOK)
FlexInference आपकी प्रोवाइडर keys के साथ रूट करता है। अपने OpenAI, Gemini, या Anthropic keys को डैशबोर्ड में जोड़ें; FlexInference उन्हें एन्क्रिप्टेड स्टोर करता है और राउटिंग के लिए उनका उपयोग करता है। आप प्रति अनुरोध प्रोवाइडर keys नहीं भेजते हैं। आपका प्रोवाइडर आपको उनके दरों पर tokens के लिए सीधे बिल करता है। FlexInference tokens पर कोई मार्कअप नहीं जोड़ता है और token खर्च को नहीं संभालता है। एकमात्र FlexInference शुल्क ऊपर वर्णित 20% flex शुल्क है।प्रोवाइडरों में प्रॉम्प्ट कैश
प्रॉम्प्ट कैश दोहराए गए इनपुट tokens की लागत को कम करता है, और प्रत्येक प्रोवाइडर अपना स्वयं का कैश चलाता है। प्रॉम्प्ट कैश प्रोवाइडरों में नहीं ले जाया जाता है: जब एक प्रोवाइडर फॉलबैक आपके अनुरोध को एक अलग प्रोवाइडर के रूट पर सेवा देता है, तो फॉलबैक प्रोवाइडर का अपना कैश स्वतंत्र रूप से लागू होता है और दोहराए गए उपयोग पर गर्म होता है। नए रूट पर पहला अनुरोध पूर्ण इनपुट-token मूल्य का भुगतान करता है, और बाद के अनुरोध उस प्रोवाइडर के कैश से आकर्षित होते हैं जैसे-जैसे वह भरता है। अपने native रूट पर सेवा दिया गया अनुरोध उस प्रोवाइडर के कैश का सामान्य रूप से उपयोग करता है।आपके कार्ड से कैसे शुल्क लिया जाता है
डैशबोर्ड के बिलिंग पेज पर एक कार्ड जोड़ें या अपडेट करें। जब flex अनुरोध पैसे बचाते हैं तो आपका बकाया शेष बढ़ता है:- FlexInference आपके कार्ड से हर महीने स्वचालित रूप से शुल्क लेता है जब आपका बकाया शेष $20 तक पहुंच जाता है।
- **20 को पार कर जाता है। यदि एक रोल-ओवर शेष लगभग तीन महीने तक रहता है और अभी भी Stripe के **20 तक न पहुंचा हो।
अतिदेय और 402
एक एकल विफल शुल्क flex को नहीं रोकता है। जब एक भुगतान विफल हो जाता है, तो संगठन एक ग्रेस पीरियड में प्रवेश करता है, और बिल योग्य flex काम करता रहता है जबकि FlexInference शुल्क को फिर से प्रयास करता है। FlexInference flex को तभी रोकता है जब ग्रेस पीरियड समाप्त हो जाता है। ऐसा तब होता है जब लगभग तीन सप्ताह बिना किसी सफल भुगतान के बीत जाते हैं, जब चालान विवादित होता है या अप्राप्य के रूप में लिखा जाता है, या जब फाइल पर कोई वैध कार्ड नहीं होता है। एक बार flex रुक जाने के बाद:- बिल योग्य flex अनुरोध
402 payment_requiredलौटाते हैं। - निःशुल्क राउटिंग (
default,priority,auto) और सभी Anthropic tier अनुरोध काम करते रहते हैं। केवल मूल्यवान flex प्रभावित होता है।
402 payment_required लौटाता है जिसमें एक बॉडी होती है जो विफल बिलिंग स्थिति और उसे कैसे ठीक करना है, इसकी पहचान करती है। सटीक JSON के लिए 402 त्रुटि देखें।
रोक को हटाने के लिए, डैशबोर्ड के बिलिंग पेज पर एक कार्ड जोड़ें या अपडेट करें, फिर पुनः प्रयास करें।
मूल्य निर्धारण विवरण
FlexInference मार्केटिंग साइट पर पूर्ण मूल्य निर्धारण।
402 त्रुटि
payment_required वायर पर कैसा दिखता है और इसे कैसे संभालें।