Hermes स्थानीय मॉडल बेंचमार्क: मैं GPU और मॉडल के कौन से संयोजन चुनूँगा

Table of Contents
लंबे संदर्भ वाले Hermes काम के लिए मैं दो 16GB RTX 5060 Ti कार्ड पर Qwen3.5 35B से शुरुआत करूँगा। परीक्षण किए गए रूट ने LiteLLM के माध्यम से 239,153 इनपुट टोकन बनाए रखे और टूल, स्ट्रीमिंग, विज़न, कतार में लगे अनुरोधों तथा रद्दीकरण की अलग-अलग जाँचें पास कीं। एक कार्ड के विकल्प के रूप में Qwen3.6 मेरी पसंद है। RTX 3060 Ti और RTX 3070 सिस्टम पर मैं Qwen3.5 2B या 4B से शुरुआत करूँगा।
ये विकल्प एजेंट द्वारा इस्तेमाल किए जाने वाले इन्फ़रेंस पथों पर मॉडल चलाने से मिले। मैंने लंबे इनपुट को बनाए रखना, टूल के साथ राउंड ट्रिप, स्ट्रीम किए गए जवाब, छवियों पर सवाल और मॉडल को मुक्त करना जाँचा। मैंने रूट के पीछे के मोड और मेमरी सेटिंग्स भी जाँचीं, क्योंकि मॉडल का सफलतापूर्वक लोड होना लंबे एजेंट अनुरोध के दौरान उसकी उपयोगिता के बारे में कम बताता है।
टूल वाले एजेंट उपयोग के लिए Hermes को कम से कम 64,000 टोकन संदर्भ चाहिए। लंबे संदर्भ की योग्यता के लिए मैंने 65,536 वास्तविक इनपुट टोकन की सीमा रखी। सर्वर द्वारा घोषित संदर्भ आकार से इनपुट टोकन की संख्या अधिक मायने रखती है। ( Hermes Agent प्रदाता दस्तावेज़ )
हर सिस्टम में कौन से GPU थे
परिणामों में सिस्टम के अक्षर इन हार्डवेयर संयोजनों की पहचान करते हैं।
| सिस्टम | इस बेंचमार्क में इस्तेमाल GPU | मेरी शुरुआती मॉडल पसंद |
|---|---|---|
| A | 2 × GeForce RTX 5060 Ti, हर एक 16GB | दोनों कार्ड पर Qwen3.5 35B, या एक कार्ड पर Qwen3.6 |
| B | 1 × RTX 2000E Ada, 16GB | जब लंबे इनपुट को कई मिनट तक संसाधित करना काम के अनुकूल हो, तब Qwen3.5 9B |
| C | 1 × RTX 2000E Ada, 16GB | जाँचे गए लंबे-इनपुट पथ के लिए Gemma 3 4B; सीमित स्मरण कार्य के लिए बिना सोचने वाले मोड में Qwen3.5 0.8B |
| D | 1 × RTX 2000E Ada, 16GB | जाँचे गए बड़े-मॉडल कार्यों के लिए Qwen3.5 9B, Gemma 4 12B-IT या GPT-OSS 20B |
| E | 9 × GeForce RTX 3060 Ti, हर एक 8GB | Qwen3.5 2B या 4B |
| F | 8 × GeForce RTX 3060 Ti, हर एक 8GB | Qwen3.5 2B या 4B |
| G | 3 × GeForce RTX 3070 | Qwen3.5 2B या 4B |
कार्डों की संख्या का मतलब यह नहीं कि हर अनुरोध में हर GPU इस्तेमाल हुआ। सिस्टम A में Qwen3.5 35B और Flash Next परीक्षणों ने दोनों कार्ड इस्तेमाल किए। Qwen3.6 ने एक कार्ड इस्तेमाल किया। सिस्टम E में सफल Qwen3.5 4B विज़न का दोबारा परीक्षण आठ कार्डों के पूल से चुने एक कार्ड पर हुआ, जबकि नौवाँ कार्ड AI कार्य से बाहर रहा।
नीचे की अवधि को परीक्षण किए गए मॉडल, रनटाइम और सिस्टम के संयुक्त परिणाम मानें। ये रन उपयोगी कॉन्फ़िगरेशन की तुलना करते हैं। वे गति के अंतर का कारण GPU आर्किटेक्चर को अलग करके नहीं दिखाते।
दो RTX 5060 Ti लंबे संदर्भ के लिए Qwen3.5 35B को मेरी पसंद बनाते हैं
इन परीक्षणों में Qwen3.5 35B ने सबसे बड़ा इनपुट-रिटेंशन परिणाम दिया। सीधे Ollama की प्रगति ने 262,144-टोकन रनटाइम संदर्भ में 248,279 इनपुट टोकन बनाए रखे। अलग स्ट्रीम किए गए गेटवे अनुरोध ने 239,153 इनपुट टोकन बनाए रखे, शुरुआती मार्कर लौटाया और 31 आउटपुट टोकन के बाद 148.12 सेकंड में सामान्य रूप से पूरा हुआ।
गेटवे परिणाम Hermes के लिए मायने रखता है, क्योंकि अनुरोध ब्रोकर और LiteLLM से होकर गया। अलग अनुरोधों ने टूल राउंड ट्रिप पूरा किया, लाल छवि पहचानी और एक साथ भेजे जाने पर दो सही जवाब लौटाए। ब्रोकर ने इन दोनों अनुरोधों को कतार में रखा। स्ट्रीम किया अनुरोध बंद करने पर ब्रोकर मुक्त हुआ और 60.31 सेकंड के भीतर मॉडल अनलोड हो गया।
| Qwen3.5 35B अनुरोध | इनपुट टोकन | आउटपुट टोकन | अवधि | परिणाम |
|---|---|---|---|---|
| सीधा Ollama, पहला क्रमिक चरण | 69,429 | 31 | 38.783 s | शुरुआती मार्कर सटीक |
| सीधा Ollama, साझा प्रीफ़िक्स पर आगे का चरण | 124,179 | 31 | 28.472 s | शुरुआती मार्कर सटीक |
| सीधा Ollama, साझा प्रीफ़िक्स पर आगे का चरण | 182,579 | 31 | 38.974 s | शुरुआती मार्कर सटीक |
| सीधा Ollama, साझा प्रीफ़िक्स पर आगे का चरण | 248,279 | 31 | 54.215 s | शुरुआती मार्कर सटीक |
| ब्रोकर का स्ट्रीम किया अनुरोध | 69,427 | 29 | 38.872 s | शुरुआती मार्कर सटीक |
| LiteLLM का स्ट्रीम किया अनुरोध | 239,153 | 31 | 148.12 s | शुरुआती मार्कर सटीक, साफ़ अनलोड |
क्रमिक सीधे अनुरोधों ने बढ़ते हुए प्रीफ़िक्स का दोबारा इस्तेमाल किया। उनकी अवधि वार्म-कंटिन्यूएशन व्यवहार बताती है। 54.215 सेकंड का परिणाम नए 248K प्रॉम्प्ट के स्वतंत्र कोल्ड-प्रोसेसिंग माप का परिणाम नहीं है।
सबसे बड़े सीधे चरण पर मॉडल ने दोनों GPU में लगभग 27.3 अरब बाइट रेसिडेंट बताए। प्रति कार्ड मेमरी की अधिकतम सीमा 14,964 और 12,386 MiB रही।
अधिकतम तापमान 62 और 63 C तक पहुँचे और रन में OOM या Xid की त्रुटि दर्ज नहीं हुई। इनपुट ने कॉन्फ़िगर संदर्भ में आगे जारी रखने के लिए 13,865 टोकन छोड़े। छोटे मार्कर वाले जवाब ने उनमें से 31 इस्तेमाल किए।
जब सबसे तेज़ शुरुआती जवाब से अधिक अहम बड़ा कार्य-समूह बनाए रखना हो, तो मैं यह रूट इस्तेमाल करूँगा। टूल और विज़न जाँच उपयोगी एजेंट व्यवहार स्थापित करती हैं, जबकि लंबा-इनपुट परीक्षण रिटेंशन स्थापित करता है। ये अलग-अलग कार्यभार हैं।
Qwen3.6 एक कार्ड का विकल्प है
Qwen3.6-35B-A3B UD-Q4_K_XL ने एक RTX 5060 Ti पर 131,000 इनपुट टोकन बनाए रखे। परीक्षण के समय दूसरा कार्ड निष्क्रिय रहा। जब एक मॉडल के लिए दोनों कार्ड देना ठीक न हो, तब यह सिस्टम को उपयोगी विकल्प देता है।
| Qwen3.6 गेटवे अनुरोध | इनपुट टोकन | आउटपुट टोकन | अवधि | परिणाम |
|---|---|---|---|---|
| शुरुआती लंबा अनुरोध | 66,007 | 167.82 s | शुरुआती मार्कर बनाए रखा | |
| लंबा अनुरोध | 90,000 | 11 | 159.92 s | शुरुआती मार्कर बनाए रखा, कोई कैश किया इनपुट नहीं |
| लंबा अनुरोध | 119,999 | 11 | 250.61 s | शुरुआती मार्कर बनाए रखा, कोई कैश किया इनपुट नहीं |
| रनटाइम सीमा के करीब | 131,000 | 11 | 287.09 s | शुरुआती मार्कर बनाए रखा, कोई कैश किया इनपुट नहीं |
131,000 टोकन का अनुरोध 131,072 रनटाइम सीमा के करीब पहुँचा। एजेंट के लिए मैं जवाब और आगे के टूल संदेशों हेतु अधिक जगह छोड़ूँगा। सीमा के करीब रिटेंशन परिणाम इनपुट हैंडलिंग का उपयोगी प्रमाण है, लेकिन समझदार डिफ़ॉल्ट इनपुट बजट नहीं।
सोचने का मोड बंद होने पर टूल उपयोग पास हुआ। डिफ़ॉल्ट सोच ने टूल कॉल करने से पहले 512-टोकन परीक्षण भत्ता खर्च कर दिया। सफल पायलट ने तेज़, स्ट्रीम किए और विज़न अनुरोध भी पास किए। इसकी शुरुआती 65,845-टोकन संदर्भ जाँच में 139.57 सेकंड लगे।
समान 66K जवाब तुलना में Qwen3.8 27B आगे है
सिस्टम A पर उसी 66,007-टोकन मार्कर कार्य के लिए Qwen3.8 27B ने सबसे तेज़ जवाब दिया। परीक्षण आकार के आसपास के अनुरोधों के लिए मैं यह रूट उपलब्ध रखूँगा और बड़े कार्य-समूह के लिए Qwen3.5 35B रखूँगा।
| सिस्टम A रूट | इनपुट टोकन | अवधि | परिणाम |
|---|---|---|---|
| Qwen3.8 27B | 66,007 | 54.64 s | शुरुआती मार्कर बनाए रखा |
| Qwen3.6-35B-A3B UD-Q4_K_XL | 66,007 | 167.82 s | शुरुआती मार्कर बनाए रखा |
| Qwen3.8-Flash-Next UD-IQ4_XS | 66,007 | 164.58 s | शुरुआती मार्कर बनाए रखा |
| Flash Next IQ4 अनुकूलता उपनाम | 66,007 | 213.25 s | मार्कर बनाए रखा |
Qwen3.8 27B ने समतुल्य Qwen3.6 और Flash Next अनुरोधों का लगभग एक-तिहाई समय लिया। ये परीक्षण रनटाइम के साथ पूरे अनुरोध के अवलोकन हैं, केवल हार्डवेयर की तुलना नहीं।
तेज़ जवाब, स्ट्रीमिंग और टूल उपयोग भी पास हुए। सोचने का मोड बंद होने पर रंगों का पूरा क्रम और टूल राउंड ट्रिप पूरा हुआ, जबकि सोचने वाले परीक्षण में 512-टोकन भत्ते में रंगों के क्रम का केवल हिस्सा लौटा।
मेमरी दबाव के कारण Flash Next इस सिस्टम के लिए कम आकर्षक डिफ़ॉल्ट बना रहता है। उसका 65,847-टोकन पायलट 98,304 रनटाइम संदर्भ पर 201.41 सेकंड में पास हुआ। 131,072-संदर्भ वाले पहले के दो प्रोफ़ाइल तैयार होने से पहले मेमरी सीमा पर पहुँच गए।
बाद का रूट अपने 54 GiB cgroup कैप पर पहुँचा। बिना निगरानी के काम के लिए मैं अधिक मेमरी गुंजाइश वाला रूट चुनूँगा।
flash-iq2 नाम का रूट Flash Next IQ4 अनुकूलता बैकएंड पर चला। नाम IQ2 परिणाम नहीं बताता।
RTX 2000E Ada लंबा इनपुट संभालता है, लेकिन मॉडल का चुनाव प्रतीक्षा बदलता है
सिस्टम C पर Gemma 3 4B मेरा पसंदीदा जाँचा हुआ लंबा-इनपुट रूट है। दो पथों ने लगभग 88 सेकंड में 84K से अधिक इनपुट टोकन बनाए रखे। बड़े मॉडल रूट ने भी उपयोगी रिटेंशन जाँच पास की, लेकिन अनुरोधों में कई मिनट लगे।
| सिस्टम | मॉडल और पथ | इनपुट टोकन | अवधि | परिणाम |
|---|---|---|---|---|
| B | Qwen3.5 9B, गेटवे | 72,265 | 263 s | दोनों सेंटिनल बनाए रखे, बाद की माइनिंग-पुनर्प्राप्ति जाँच पास हुई |
| C | Gemma 3 4B, गेटवे | 84,044 | 88.05 s | शुरुआती मार्कर बनाए रखा |
| C | Gemma 3 4B, Aperture | 84,045 | 87.68 s | शुरुआती मार्कर बनाए रखा |
| C | Gemma 4 12B-IT, गेटवे | 67,254 | 263.07 s | शुरुआती मार्कर बनाए रखा |
| C | Gemma 4 12B-IT, Aperture नॉन-स्ट्रीम | 67,255 | 274.24 s | शुरुआती मार्कर बनाए रखा |
| C | Gemma 4 12B-IT, Aperture स्ट्रीम | 67,255 | 282.16 s | शुरुआती मार्कर बनाए रखा |
| C | Qwen3.5 9B, गेटवे | 75,648 | 319.36 s | शुरुआती मार्कर बनाए रखा, मॉडल अनलोड हुआ |
| C | GPT-OSS 20B, गेटवे | 84,099 | 315.83 s | शुरुआती मार्कर बनाए रखा, मॉडल अनलोड हुआ |
| D | Qwen3.5 9B, Aperture | 81,051 | 324.07 s | इंस्टॉल किए गए आर्टिफ़ैक्ट पर रिटेंशन पास हुआ |
| D | Gemma 4 12B-IT, Aperture | 72,057 | 300.67 s | इंस्टॉल किए गए आर्टिफ़ैक्ट पर रिटेंशन पास हुआ |
| D | GPT-OSS 20B, Aperture | 72,104 | 245.94 s | इंस्टॉल किए गए आर्टिफ़ैक्ट पर रिटेंशन पास हुआ |
स्ट्रीमिंग ने सिस्टम C पर Gemma 4 का लंबा प्रीफ़िल इंतज़ार नहीं हटाया। पहला स्ट्रीम किया गया अंश 277.49 सेकंड बाद आया, जो 274.24-सेकंड की पूरी नॉन-स्ट्रीम प्रतिक्रिया से भी देर से था। पहले का नॉन-स्ट्रीम प्रयास समयसीमा पार कर गया, फिर सफल पुनः प्रयास हुआ। मैं यह रूट उन कार्यों के लिए रखूँगा जिनमें शुरुआती कई मिनट लग सकते हैं।
Gemma 3 4B दिखाता है कि हर जाँचे हुए सिस्टम की योग्यता अलग से क्यों तय करनी चाहिए। सिस्टम D 65K स्मरण के दो प्रयासों में शुरुआती मार्कर चूक गया, जिसमें 67,252 इनपुट टोकन वाला तापमान-शून्य पुनः परीक्षण शामिल है। नियत अनुरोध पूरे GPU रेसिडेंसी के साथ 62.07 सेकंड में सामान्य रूप से पूरा हुआ।
जल्दी पूरा होना और सामान्य API जवाब मिलना उत्तर की शुद्धता साबित नहीं करता। मैं सफल सिस्टम C पथ इस्तेमाल करूँगा और विफल सिस्टम D पथ को Hermes चयन से बाहर रखूँगा।
सोचने का मोड तय करता है कि Qwen3.5 0.8B उपयोगी है या नहीं
सोचने का मोड बंद करने के बाद Qwen3.5 0.8B सिस्टम C पर सीमित स्मरण का उपयोगी उम्मीदवार बना। छोटे Q8_0 मॉडल ने गेटवे के माध्यम से 65.92 सेकंड में 75,649 इनपुट टोकन बनाए रखे। यह नतीजा जाँचे गए Q8_0 आर्टिफ़ैक्ट और बिना सोचने वाले पथ का है, तालिका के दूसरे हिस्से के पुराने 16K-संदर्भ कॉन्फ़िगरेशन का नहीं।
| सिस्टम C पर Qwen3.5 0.8B अनुरोध | इनपुट टोकन | आउटपुट टोकन | अवधि | परिणाम |
|---|---|---|---|---|
| डिफ़ॉल्ट सोच, छोटा निदान | 9,050 | 3,391 | 66.56 s | शुरुआती मार्कर सटीक |
| सोच बंद, समान निदान | 9,055 | 21 | 7.65 s | शुरुआती मार्कर सटीक, तर्क-पाठ नहीं |
| डिफ़ॉल्ट सोच, लंबा प्रयास | 600 s समयसीमा | जवाब पूरा नहीं हुआ | ||
| सोच बंद, नेटिव Ollama | 75,656 | 22 | 69.80 s | शुरुआती मार्कर सटीक |
| बिना सोचने वाला OpenAI-संगत एंडपॉइंट | 75,646 | 12 | 69.09 s | शुरुआती मार्कर सटीक |
| बिना सोचने का मोड बाध्य करने वाला ब्रोकर | 75,647 | 13 | 66.83 s | शुरुआती मार्कर सटीक |
| सिस्टम A से सिस्टम C तक LiteLLM | 75,649 | 15 | 65.92 s | शुरुआती मार्कर सटीक |
समान निदान का समय 66.56 से घटकर 7.65 सेकंड हुआ, लगभग 8.7 गुना तेज़, जबकि बनाया गया आउटपुट 3,391 से घटकर 21 टोकन रह गया। इसी कारण सरल एक्सट्रैक्शन और रूटिंग कार्यों के लिए मैं रीजनिंग मोड स्पष्ट रूप से तय करूँगा। डिफ़ॉल्ट रीजनिंग ने अधिकतर काम ऐसे आउटपुट पर खर्च किया जिसकी कार्य को जरूरत नहीं थी।
एक छोटा OpenAI-संगत प्रोब मार्कर चूक गया, फिर तापमान-शून्य पुनः प्रयास पास हुआ। सफल रूट जाँच ने आउटपुट सीमा के बिना बिना-सोच मोड और स्वाभाविक समापन इस्तेमाल किया। तीन अन्य गेटवे ने 4.22, 4.37 और 3.85 सेकंड में छोटे मार्कर अनुरोध पास किए। वे जाँच रूटिंग स्थापित करती हैं, जबकि 75,649-टोकन अनुरोध गेटवे से लंबे इनपुट का रिटेंशन स्थापित करता है।
सीमित स्मरण और एक्सट्रैक्शन के लिए मैं इस रूट का परीक्षण करूँगा। खुले प्रकार की एजेंट रीजनिंग के लिए बड़ा मॉडल चुनूँगा। एक सिंथेटिक मार्कर निकालना योजना बनाने, कोडिंग या कई टूल समन्वित करने से संकरा काम है।
RTX 3060 Ti और RTX 3070 सिस्टम Qwen3.5 2B और 4B के अनुकूल हैं
8GB कार्डों के लिए Qwen3.5 2B और 4B मेरी व्यावहारिक शुरुआती पसंद हैं। सिस्टम E, F और G पर टेक्स्ट-संदर्भ अनुरोध 65,579 इनपुट टोकन के साथ 30.343 से 93.753 सेकंड में पास हुए। जाँचे गए 4B रूट ने टूल, स्ट्रीमिंग और छवि जाँच भी पास की।
सिस्टम E के 4B विज़न-संदर्भ पुनः परीक्षण ने 65,637 इनपुट टोकन पर 44.88 सेकंड में दोनों मार्कर और छवि रंगों का क्रम बनाए रखा। आगे और उलटे रंग क्रम वाले अनुरोध भी पास हुए। यह पुनः परीक्षण एक स्वस्थ कार्ड पर चला, जब दूसरे कार्ड में Xid 79 लिंक त्रुटि आई और सिस्टम रीबूट हुआ।
| सिस्टम | Qwen3.5 2B टेक्स्ट संदर्भ | Qwen3.5 4B टेक्स्ट संदर्भ | Qwen3.5 4B विज़न संदर्भ |
|---|---|---|---|
| E, RTX 3060 Ti पूल | 65,579 टोकन, 30.343 s | 65,579 टोकन, 53.787 s | 65,637 टोकन, 44.88 s |
| F, RTX 3060 Ti पूल | 65,579 टोकन, 61.282 s | 65,579 टोकन, 93.753 s | 65,635 टोकन, 84.749 s |
| G, RTX 3070 पूल | 65,579 टोकन, 76.731 s | 65,579 टोकन, 90.807 s | 65,635 टोकन, 87.496 s |
इनमें हर सिस्टम ने 29 सफल जाँच दर्ज की। दो RTX 3060 Ti सिस्टम में समय का अंतर यह भी दिखाता है कि इन अनुरोध अवधियों से कार्डों की रैंकिंग करने के बजाय जाँचा हुआ सिस्टम प्रोफ़ाइल क्यों चुनना चाहिए।
इन्फ़रेंस विंडो के बाद सभी सात सिस्टम माइनिंग पर लौटे। सिस्टम B की अलग पोस्ट-स्टॉप पुनर्प्राप्ति जाँच नए स्वीकार किए गए शेयरों के साथ पास हुई। सिस्टम E का दोषपूर्ण कार्ड बाद में रीबूट और PCIe लिंक मज़बूत करने के बाद माइनिंग में लौट आया, हालांकि AI पूल से बाहर रहा। विंडो के अंत में माइनिंग बहाल होना हर इन्फ़रेंस अनुरोध के बाद स्वतः वापस जाने से अलग परिणाम है।
मॉडल लोड करना उसे योग्य नहीं बनाता
जाँचे गए 65K Hermes विकल्पों से मैं DeepSeek Coder V2 16B को बाहर रखूँगा। उसके f16-कैश रन ने 50,477 इनपुट टोकन बनाए रखे, लेकिन 65K लक्ष्य वाला रन VRAM गार्ड तक पहुँचा। Q4 और Q8 कैश विकल्पों ने GPU पर वज़न लोड किए, फिर होस्ट मेमरी सीमा या लंबे प्रॉम्प्ट की खराब गति से अटक गए।
| DeepSeek Coder V2 कैश प्रोफ़ाइल | रनटाइम संदर्भ | देखा गया परिणाम | मेरा आकलन |
|---|---|---|---|
| f16 | 81,920 | 50,477-टोकन स्मरण पास, बड़ा अनुरोध अस्वीकृत | छोटे संदर्भ के लिए उपयोगी परिणाम |
| f16 | 73,728 | 65K-लक्ष्य प्रीफ़िल 15,802 MiB GPU उपयोग पर रुका | 65K के लिए योग्य नहीं |
| Q4_0 | 98,304 | नियंत्रित रोक से पहले लंबा प्रीफ़िल 96.72 टोकन/सेकंड तक गिरा | इस कार्य के लिए ठीक नहीं |
| Q8_0 | 77,824 | नियंत्रित रोक से पहले लंबा प्रीफ़िल 120.12 टोकन/सेकंड तक गिरा | इस कार्य के लिए ठीक नहीं |
| Q4_0 / Q8_0, बड़े प्रोफ़ाइल | 163,840 / 98,304 | होस्ट-मेमरी गार्ड ने परीक्षण रोक दिए | पूरी प्रणाली में मेमरी फिट देखनी होगी |
व्यावहारिक सीख है कि जिस अनुरोध को भेजना है उसी का बेंचमार्क करें। GPU में मॉडल रेसिडेंसी, छोटा जवाब और बड़ा कॉन्फ़िगर किया संदर्भ उपयोगी लेटेंसी में लंबे इनपुट बनाए रखने का प्रमाण नहीं हैं।
सिस्टम A में रूट-विशिष्ट फ़ॉलो-अप काम के बाद Granite 4.2 8B और GPT-OSS 20B बेहतर हुए। Granite के Q6_K रूट ने शून्य कैश इनपुट के साथ 88.636 सेकंड में 66,082 इनपुट टोकन बनाए रखे। ब्रोकर ठीक करने के बाद GPT-OSS ने टूल राउंड ट्रिप पूरा किया, कॉल में 9.854 सेकंड और फ़ॉलो-अप में 9.849 सेकंड लगे। मैं इन सफल रूट जाँचों को पहले के अधूरे प्रयासों से अलग रखूँगा।
पूरे बेंचमार्क परिणाम
तालिका में 59 मॉडल और सिस्टम संयोजनों पर 295 जाँचें हैं। मैट्रिक्स में 273 पास, स्मरण की एक विफल जाँच और सात अधूरे, असंगत या असंगत परिणाम दर्ज हैं। चौदह जाँचें 65K योग्यता के दायरे से बाहर हैं। हर पंक्ति मापा परिणाम दिखाती है।
मेरी सिफ़ारिशें पास हुए रूट और कार्यभार पर लागू होती हैं। विफल या अधूरी पंक्ति संबंधित व्यवहार को योग्य नहीं बनाती।
छोटे संदर्भ और एम्बेडिंग पास अपने कार्यभार के लिए हैं। 16K या 32K संदर्भ का पास होना 65,536 इनपुट-टोकन Hermes कार्यभार के लिए रूट को योग्य नहीं करता। यहाँ मॉडल नाम रूट लेबल हैं। flash-iq2 लेबल IQ4 अनुकूलता बैकएंड पर चला।
सिस्टम A की Qwen3.5 35B संदर्भ पंक्ति ऊपर की प्रगति का अंतिम साझा-प्रिफ़िक्स चरण है। प्लस चिह्न वाले टूल समय कॉल और फ़ॉलो-अप अलग दिखाते हैं।
कनकरेंसी पंक्ति कतार में लगे दो अनुरोधों की अवधि देती है। रद्दीकरण पंक्ति क्लाइंट द्वारा स्ट्रीम बंद करने के बाद मुक्त होने का समय देती है। अतिरिक्त संदर्भ प्रगति और Qwen3.5 0.8B रूट तुलना ऊपर अपने अलग टेबल में हैं।
सिस्टम A
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| bonsai-2-27b | context | पास | 65,621 | 88.746 s |
| bonsai-2-27b | quick | पास | 57 | 6.429 s |
| bonsai-2-27b | stream | पास | 9.371 s | |
| bonsai-2-27b | tools | पास | 10.478 s | |
| deepseek-coder-v2:16b | context | असंगत | 50,477 | |
| deepseek-coder-v2:16b | quick | पास | 77 | 43.239 s |
| flash-iq2 | context | पास | 66,007 | 213.25 s |
| flash-iq2 | quick | पास | 56.03 s | |
| flash-iq2 | stream | पास | 1.35 s | |
| flash-iq2 | tools | पास | 16.55 s | |
| gemma-4-12b-it | context | पास | 65,590 | 51.225 s |
| gemma-4-12b-it | quick | पास | 21 | 5.166 s |
| gemma-4-12b-it | stream | पास | 4.653 s | |
| gemma-4-12b-it | tools | पास | 18.72 s | |
| gemma-4-12b-it | vision | पास | 115 | 7.222 s |
| gemma-4-12b-it | vision_context | पास | 65,685 | 56.06 s |
| gemma-4-12b-it | vision_reverse | पास | 115 | 7.467 s |
| gemma-4-e4b-it | context | पास | 65,590 | 21.889 s |
| gemma-4-e4b-it | quick | पास | 21 | 17.919 s |
| gemma-4-e4b-it | stream | पास | 4.25 s | |
| gemma-4-e4b-it | tools | पास | 8.734 s | |
| gpt-oss-20b | context | पास | 65,637 | 159.155 s |
| gpt-oss-20b | quick | पास | 73 | 10.548 s |
| gpt-oss-20b | stream | पास | 20.594 s | |
| gpt-oss-20b | tools | पास | 9.854 + 9.849 s | |
| granite-4.2-3b | context | पास | 65,589 | 70.968 s |
| granite-4.2-3b | quick | पास | 20 | 4.009 s |
| granite-4.2-3b | stream | पास | 5.365 s | |
| granite-4.2-3b | tools | पास | 6.086 s | |
| granite-4.2-8b | context | पास | 66,082 | 88.636 s |
| granite-4.2-8b | quick | पास | 20 | 5.857 s |
| granite-4.2-8b | stream | पास | 11.826 s | |
| granite-4.2-8b | tools | पास | 11.852 s | |
| qwen27b | context | पास | 66,007 | 54.64 s |
| qwen27b | quick | पास | 57 | 31.5 s |
| qwen27b | stream | पास | 0.92 s | |
| qwen27b | tools | पास | 4.25 s | |
| qwen3-embedding-0.6b | context | पास | 32,767 | 7.736 s |
| qwen3-embedding-0.6b | quick | पास | 14 | 2.125 s |
| qwen3.5-0.8b | context | पास | 16,429 | 10.5 s |
| qwen3.5-0.8b | quick | पास | 17 | 14.316 s |
| qwen3.5-0.8b | stream | पास | 2.125 s | |
| qwen3.5-0.8b | tools | पास | 4.416 s | |
| qwen3.5-2b | context | पास | 65,581 | 11.175 s |
| qwen3.5-2b | quick | पास | 17 | 4.519 s |
| qwen3.5-2b | stream | पास | 3.736 s | |
| qwen3.5-2b | tools | पास | 5.046 s | |
| qwen3.5-4b | context | पास | 65,579 | 36.451 s |
| qwen3.5-4b | quick | पास | 15 | 19.935 s |
| qwen3.5-4b | stream | पास | 17.496 s | |
| qwen3.5-4b | tools | पास | 7.308 s | |
| qwen3.5-4b | vision | पास | 70 | 7.848 s |
| qwen3.5-4b | vision_context | पास | 65,635 | 28.24 s |
| qwen3.5-4b | vision_reverse | पास | 70 | 4.386 s |
| qwen3.5-9b | context | पास | 65,581 | 34.139 s |
| qwen3.5-9b | quick | पास | 17 | 3.88 s |
| qwen3.5-9b | stream | पास | 3.378 s | |
| qwen3.5-9b | tools | पास | 10.204 s | |
| qwen3.5-9b | vision | पास | 72 | 4.441 s |
| qwen3.5-9b | vision_context | पास | 65,637 | 33.745 s |
| qwen3.5-9b | vision_reverse | पास | 72 | 3.97 s |
| qwen3.5:35b-a3b-q4_K_M | cancellation | पास | 60.31 s | |
| qwen3.5:35b-a3b-q4_K_M | concurrency | पास | 26.23 / 25.33 s | |
| qwen3.5:35b-a3b-q4_K_M | context | पास | 248,279 | 54.215 s |
| qwen3.5:35b-a3b-q4_K_M | gateway | पास | 239,153 | 148.12 s |
| qwen3.5:35b-a3b-q4_K_M | quick | पास | 79 | 10.08 s |
| qwen3.5:35b-a3b-q4_K_M | stream | पास | 69,429 | 38.783 s |
| qwen3.5:35b-a3b-q4_K_M | tools | पास | 15.22 + 14.83 s | |
| qwen3.5:35b-a3b-q4_K_M | vision | पास | 18.39 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | context | पास | 65,845 | 139.57 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | quick | पास | 15 | 3.97 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | stream | पास | 0.45 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | tools | पास | 293 | 5.48 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | vision | पास | 38 | 0.59 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | context | पास | 65,847 | 201.41 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | quick | पास | 17 | 54.62 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | stream | पास | 1.2 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | tools | पास | 22.18 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | vision | पास | 3.86 s |
सिस्टम B
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| gemma-4-12b-it | context | पास | 65,590 | 299.163 s |
| gemma-4-12b-it | quick | पास | 21 | 15.261 s |
| gemma-4-12b-it | stream | पास | 148.792 s | |
| gemma-4-12b-it | tools | पास | 34.124 s | |
| gemma-4-12b-it | vision | पास | 120 | 61.455 s |
| gemma-4-12b-it | vision_context | पास | 65,690 | 295.581 s |
| gemma-4-12b-it | vision_reverse | पास | 120 | 32.511 s |
| gemma3-4b | context | पास | 65,584 | 67.382 s |
| gemma3-4b | quick | पास | 15 | 6.329 s |
| gemma3-4b | stream | पास | 24.138 s | |
| gemma3-4b | vision | पास | 306 | 7.018 s |
| gemma3-4b | vision_context | पास | 65,876 | 70.912 s |
| gemma3-4b | vision_reverse | पास | 306 | 5.762 s |
| gpt-oss-20b | context | पास | 65,637 | 206.767 s |
| gpt-oss-20b | quick | पास | 72 | 16.583 s |
| gpt-oss-20b | stream | पास | 32.075 s | |
| gpt-oss-20b | tools | पास | 28.102 s | |
| nomic-embed-text | context | अधूरा | 2,048 | |
| nomic-embed-text | quick | पास | 7.117 s | |
| qwen3-14b | context | अधूरा | 1800.09 s | |
| qwen3-14b | quick | पास | 15 | 37.199 s |
| qwen3-14b | stream | पास | 35.471 s | |
| qwen3-14b | tools | पास | 87.554 s | |
| qwen3-8b | context | 65K से नीचे, बाहर | ||
| qwen3-8b | quick | 65K से नीचे, पास | 15 | 21.059 s |
| qwen3-8b | stream | 65K से नीचे, बाहर | ||
| qwen3-8b | tools | 65K से नीचे, बाहर | ||
| qwen3.5-9b | context | पास | 65,579 | 282.796 s |
| qwen3.5-9b | litellm_long_route | पास | 72,265 | 263 s |
| qwen3.5-9b | post_external_stop_mining | पास | ||
| qwen3.5-9b | quick | पास | 15 | 25.881 s |
| qwen3.5-9b | stream | पास | 143.44 s | |
| qwen3.5-9b | tools | पास | 31.812 s | |
| qwen3.5-9b | vision | पास | 75 | 32.015 s |
| qwen3.5-9b | vision_context | पास | 65,640 | 396.288 s |
| qwen3.5-9b | vision_reverse | पास | 75 | 28.626 s |
सिस्टम C
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| gemma-4-12b-it | aperture_context | पास | 67,255 | 274.24 s |
| gemma-4-12b-it | aperture_short | पास | 35 | 39.32 s |
| gemma-4-12b-it | aperture_stream_context | पास | 67,255 | 282.16 s |
| gemma-4-12b-it | context | पास | 65,670 | 313.661 s |
| gemma-4-12b-it | gateway_context | पास | 67,254 | 263.07 s |
| gemma-4-12b-it | gateway_short | पास | 27 | 20.98 s |
| gemma-4-12b-it | quick | पास | 21 | 16.447 s |
| gemma-4-12b-it | stream | पास | 15.175 s | |
| gemma-4-12b-it | tools | पास | 37.821 s | |
| gemma-4-12b-it | vision | पास | 120 | 58.52 s |
| gemma-4-12b-it | vision_context | पास | 65,690 | 308.759 s |
| gemma-4-12b-it | vision_reverse | पास | 120 | 31.25 s |
| gemma3-4b | aperture_context | पास | 84,045 | 87.68 s |
| gemma3-4b | aperture_after_system_d_route_change | पास | 24 | 5.42 s |
| gemma3-4b | aperture_short | पास | 22 | 5.45 s |
| gemma3-4b | aperture_stream | पास | 3.72 s | |
| gemma3-4b | context | पास | 65,664 | 67.543 s |
| gemma3-4b | gateway_context | पास | 84,044 | 88.05 s |
| gemma3-4b | gateway_short_via_system_a | पास | 3.16 s | |
| gemma3-4b | gateway_short_via_system_e | पास | ||
| gemma3-4b | gateway_short_via_system_f | पास | 4.15 s | |
| gemma3-4b | gateway_short_via_system_g | पास | 6.06 s | |
| gemma3-4b | quick | पास | 15 | 5.163 s |
| gemma3-4b | stream | पास | 24.691 s | |
| gemma3-4b | vision | पास | 306 | 7.318 s |
| gemma3-4b | vision_context | पास | 65,876 | 72.476 s |
| gemma3-4b | vision_reverse | पास | 306 | 5.831 s |
| gpt-oss-20b | context | पास | 65,716 | 216.594 s |
| gpt-oss-20b | gateway_context | पास | 84,099 | 315.83 s |
| gpt-oss-20b | gateway_short | असंगत | ||
| gpt-oss-20b | quick | पास | 72 | 21.603 s |
| gpt-oss-20b | stream | पास | 31.957 s | |
| gpt-oss-20b | tools | पास | 26.096 s | |
| nomic-embed-text | context | 65K से नीचे, अधूरा | 2,048 | |
| nomic-embed-text | quick | 65K से नीचे, पास | 4.178 s | |
| qwen3-14b | context | 65K से नीचे, अधूरा | 1800.06 s | |
| qwen3-14b | quick | 65K से नीचे, पास | 15 | 35.809 s |
| qwen3-14b | stream | 65K से नीचे, पास | 35.43 s | |
| qwen3-14b | tools | 65K से नीचे, पास | 87.723 s | |
| qwen3-8b | context | 65K से नीचे, बाहर | ||
| qwen3-8b | quick | 65K से नीचे, पास | 15 | 21.293 s |
| qwen3-8b | stream | 65K से नीचे, अधूरा | 900.01 s | |
| qwen3-8b | tools | 65K से नीचे, बाहर | ||
| qwen3.5-9b | context | पास | 65,662 | 287.984 s |
| qwen3.5-9b | gateway_context | पास | 75,648 | 319.36 s |
| qwen3.5-9b | gateway_short | पास | 21 | 72.14 s |
| qwen3.5-9b | quick | पास | 15 | 24.635 s |
| qwen3.5-9b | stream | पास | 143.157 s | |
| qwen3.5-9b | tools | पास | 30.395 s | |
| qwen3.5-9b | vision | पास | 75 | 27.756 s |
| qwen3.5-9b | vision_context | पास | 65,640 | 398.797 s |
| qwen3.5-9b | vision_reverse | पास | 75 | 28.645 s |
सिस्टम D
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| gemma-4-12b-it | context | पास | 65,590 | 275.395 s |
| gemma-4-12b-it | exact_digest_aperture_65k | पास | 72,057 | 300.67 s |
| gemma-4-12b-it | exact_digest_broker_short | पास | 34 | 30.74 s |
| gemma-4-12b-it | quick | पास | 21 | 15.05 s |
| gemma-4-12b-it | stream | पास | 14.722 s | |
| gemma-4-12b-it | tools | पास | 33.869 s | |
| gemma-4-12b-it | vision | पास | 120 | 56.315 s |
| gemma-4-12b-it | vision_context | पास | 65,690 | 282.174 s |
| gemma-4-12b-it | vision_reverse | पास | 120 | 29.978 s |
| gemma3-4b | context | पास | 65,584 | 63.564 s |
| gemma3-4b | exact_digest_65k_recall | विफल | 67,252 | 62.07 s |
| gemma3-4b | quick | पास | 15 | 5.151 s |
| gemma3-4b | stream | पास | 22.552 s | |
| gemma3-4b | vision | पास | 306 | 8.276 s |
| gemma3-4b | vision_context | पास | 65,876 | 67.575 s |
| gemma3-4b | vision_reverse | पास | 306 | 5.651 s |
| gpt-oss-20b | context | पास | 65,637 | 189.07 s |
| gpt-oss-20b | exact_digest_aperture_65k | पास | 72,104 | 245.94 s |
| gpt-oss-20b | exact_digest_broker_short | पास | 84 | 15.96 s |
| gpt-oss-20b | quick | पास | 72 | 15.431 s |
| gpt-oss-20b | stream | पास | 31.052 s | |
| gpt-oss-20b | tools | पास | 23.65 s | |
| nomic-embed-text | context | अधूरा | 2,048 | |
| nomic-embed-text | quick | पास | 2.798 s | |
| qwen3-14b | context | अधूरा | 40,939 | 872.209 s |
| qwen3-14b | quick | पास | 15 | 36.021 s |
| qwen3-14b | stream | पास | 33.491 s | |
| qwen3-14b | tools | पास | 82.471 s | |
| qwen3-8b | context | अधूरा | 1800.07 s | |
| qwen3-8b | quick | पास | 15 | 19.283 s |
| qwen3-8b | stream | पास | 19.401 s | |
| qwen3-8b | tools | पास | 65.054 s | |
| qwen3.5-9b | context | पास | 65,579 | 258.048 s |
| qwen3.5-9b | exact_digest_aperture_65k | पास | 81,051 | 324.07 s |
| qwen3.5-9b | exact_digest_broker_short | पास | 29 | 94.48 s |
| qwen3.5-9b | quick | पास | 15 | 27.16 s |
| qwen3.5-9b | stream | पास | 28.62 s | |
| qwen3.5-9b | tools | पास | 28.129 s | |
| qwen3.5-9b | vision | पास | 75 | 25.047 s |
| qwen3.5-9b | vision_context | पास | 65,640 | 369.477 s |
| qwen3.5-9b | vision_reverse | पास | 75 | 27.602 s |
सिस्टम E
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| gemma-4-e4b-it | context | पास | 65,590 | 49.086 s |
| gemma-4-e4b-it | quick | पास | 21 | 23.911 s |
| gemma-4-e4b-it | stream | पास | 28.136 s | |
| gemma-4-e4b-it | tools | पास | 56.756 s | |
| granite-4.0-h-tiny | context | पास | 65,566 | |
| granite-4.0-h-tiny | quick | पास | 35 | 10.408 s |
| granite-4.0-h-tiny | stream | पास | 27.798 s | |
| granite-4.0-h-tiny | tools | पास | 43.304 s | |
| granite-4.2-3b | context | पास | 65,589 | 1014.03 s |
| granite-4.2-3b | quick | पास | 20 | 14.569 s |
| granite-4.2-3b | stream | पास | 6.948 s | |
| granite-4.2-3b | tools | पास | 56.376 s | |
| qwen3-embedding-0.6b | context | पास | 32,767 | 20.387 s |
| qwen3-embedding-0.6b | quick | पास | 14 | 9.592 s |
| qwen3.5-0.8b | context | पास | 16,429 | 9.128 s |
| qwen3.5-0.8b | quick | पास | 17 | 452.417 s |
| qwen3.5-0.8b | stream | पास | 11.163 s | |
| qwen3.5-0.8b | tools | पास | 39.214 s | |
| qwen3.5-2b | context | पास | 65,579 | 30.343 s |
| qwen3.5-2b | quick | पास | 15 | 12.509 s |
| qwen3.5-2b | stream | पास | 26.165 s | |
| qwen3.5-2b | tools | पास | 42.056 s | |
| qwen3.5-4b | context | पास | 65,579 | 53.787 s |
| qwen3.5-4b | quick | पास | 15 | 26.736 s |
| qwen3.5-4b | stream | पास | 26.02 s | |
| qwen3.5-4b | tools | पास | 57.293 s | |
| qwen3.5-4b | vision | पास | 72 | 10.09 s |
| qwen3.5-4b | vision_context | पास | 65,637 | 44.88 s |
| qwen3.5-4b | vision_reverse | पास | 72 | 9.96 s |
सिस्टम F
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| gemma-4-e4b-it | context | पास | 65,590 | 98.443 s |
| gemma-4-e4b-it | quick | पास | 21 | 27.51 s |
| gemma-4-e4b-it | stream | पास | 28.042 s | |
| gemma-4-e4b-it | tools | पास | 73.891 s | |
| granite-4.0-h-tiny | context | पास | 65,599 | 19.692 s |
| granite-4.0-h-tiny | quick | पास | 35 | 43.818 s |
| granite-4.0-h-tiny | stream | पास | 27.296 s | |
| granite-4.0-h-tiny | tools | पास | 75.377 s | |
| granite-4.2-3b | context | पास | 65,589 | 145.179 s |
| granite-4.2-3b | quick | पास | 20 | 15.703 s |
| granite-4.2-3b | stream | पास | 35.482 s | |
| granite-4.2-3b | tools | पास | 52.539 s | |
| qwen3-embedding-0.6b | context | पास | 32,767 | 20.656 s |
| qwen3-embedding-0.6b | quick | पास | 14 | 8.122 s |
| qwen3.5-0.8b | context | पास | 16,429 | 13.326 s |
| qwen3.5-0.8b | quick | पास | 17 | 445.22 s |
| qwen3.5-0.8b | stream | पास | 13.266 s | |
| qwen3.5-0.8b | tools | पास | 40.825 s | |
| qwen3.5-2b | context | पास | 65,579 | 61.282 s |
| qwen3.5-2b | quick | पास | 15 | 16.738 s |
| qwen3.5-2b | stream | पास | 25.29 s | |
| qwen3.5-2b | tools | पास | 47.444 s | |
| qwen3.5-4b | context | पास | 65,579 | 93.753 s |
| qwen3.5-4b | quick | पास | 15 | 33.039 s |
| qwen3.5-4b | stream | पास | 25.658 s | |
| qwen3.5-4b | tools | पास | 71.731 s | |
| qwen3.5-4b | vision | पास | 70 | 43.053 s |
| qwen3.5-4b | vision_context | पास | 65,635 | 84.749 s |
| qwen3.5-4b | vision_reverse | पास | 70 | 27.518 s |
सिस्टम G
| मॉडल रूट लेबल | जाँच | परिणाम | इनपुट टोकन | अनुरोध अवधि |
|---|---|---|---|---|
| gemma-4-e4b-it | context | पास | 65,590 | 92.696 s |
| gemma-4-e4b-it | quick | पास | 21 | 38.329 s |
| gemma-4-e4b-it | stream | पास | 43.549 s | |
| gemma-4-e4b-it | tools | पास | 66.616 s | |
| granite-4.0-h-tiny | context | पास | 65,599 | 69.777 s |
| granite-4.0-h-tiny | quick | पास | 35 | 33.17 s |
| granite-4.0-h-tiny | stream | पास | 31.751 s | |
| granite-4.0-h-tiny | tools | पास | 63.338 s | |
| granite-4.2-3b | context | पास | 65,589 | 100.849 s |
| granite-4.2-3b | quick | पास | 20 | 23.355 s |
| granite-4.2-3b | stream | पास | 28.75 s | |
| granite-4.2-3b | tools | पास | 44.226 s | |
| qwen3-embedding-0.6b | context | पास | 32,767 | 23.055 s |
| qwen3-embedding-0.6b | quick | पास | 14 | 8.924 s |
| qwen3.5-0.8b | context | पास | 16,429 | 16.74 s |
| qwen3.5-0.8b | quick | पास | 17 | 504.813 s |
| qwen3.5-0.8b | stream | पास | 15.095 s | |
| qwen3.5-0.8b | tools | पास | 36.672 s | |
| qwen3.5-2b | context | पास | 65,579 | 76.731 s |
| qwen3.5-2b | quick | पास | 15 | 20.949 s |
| qwen3.5-2b | stream | पास | 25.194 s | |
| qwen3.5-2b | tools | पास | 37.552 s | |
| qwen3.5-4b | context | पास | 65,579 | 90.807 s |
| qwen3.5-4b | quick | पास | 15 | 41.84 s |
| qwen3.5-4b | stream | पास | 40.812 s | |
| qwen3.5-4b | tools | पास | 54.999 s | |
| qwen3.5-4b | vision | पास | 70 | 29.619 s |
| qwen3.5-4b | vision_context | पास | 65,635 | 87.496 s |
| qwen3.5-4b | vision_reverse | पास | 70 | 26.283 s |
मैंने Hermes की उपयोगिता कैसे जाँची
मैंने लंबे प्रॉम्प्ट की शुरुआत के पास एक सिंथेटिक मार्कर रखा और फ़िलर के बाद वही मार्कर माँगा। जवाब में अपेक्षित मान आना जरूरी था। सर्वर द्वारा बताई गई इनपुट टोकन संख्या से अनुरोध का आकार तय हुआ। बड़े प्रॉम्प्ट के बाद सामान्य जवाब देने वाला मॉडल भी तब विफल माना गया जब शुरुआती मार्कर गलत था।
Qwen3.5 35B प्रगति में क्रमांकित फ़िलर रिकॉर्ड, तापमान 0 और 3,800, 6,800, 10,000 तथा 13,600 रिकॉर्ड की बढ़ती लंबाइयाँ इस्तेमाल हुईं। इन चरणों ने 69,429, 124,179, 182,579 और 248,279 प्रॉम्प्ट टोकन लौटाए। मॉडल चरणों के बीच लोड रहा, जिससे प्रीफ़िक्स पुनः इस्तेमाल हुआ। अलग Qwen3.6 सीमा-जाँच में कैश किए टोकन शून्य बताए गए।
0.8B लंबे प्रॉम्प्ट में शुरुआती उत्तर कुंजी और अंतिम स्मरण प्रश्न के बीच river stone lantern orchard circuit velvet compass marble 8,400 बार दोहराया गया। नेटिव रन ने think:false, num_ctx:131072, stream:false और keep_alive:0 भेजे। OpenAI-संगत रूट ने reasoning_effort:"none" इस्तेमाल किया। ब्रोकर ने रूट के लिए बिना सोचने का मोड लागू किया, इसलिए गेटवे कॉल करने वालों को क्लाइंट में बदलाव नहीं करना पड़ा।
टूल, विज़न और मुक्त करने की जाँचें
टूल परीक्षणों ने अनुरोध और टूल परिणाम लौटने के बाद का जवाब जाँचा। एक सरल परीक्षण ने add_numbers(7, 11) इस्तेमाल किया और 18 की अपेक्षा की। Qwen3.5 35B परीक्षण ने lookup_square इस्तेमाल किया और 49 की अपेक्षा की। GPT-OSS ने इन्वेंटरी लुकअप किया और लौटे इन्वेंटरी परिणाम को जवाब में शामिल किया।
विज़न जाँचों में लाल और नीली छवियों पर सवाल, छवियों का उलटा क्रम और लंबे प्रॉम्प्ट में छवि रंगों के साथ शुरुआती तथा अंतिम मार्कर शामिल थे। Qwen3.5 35B परीक्षण में 256 × 256 लाल PNG इस्तेमाल हुई। अनुरोध पास होने से पहले ब्रोकर में छवि-सामग्री रूपांतरण ठीक करना पड़ा। सिस्टम E के लंबे 4B विज़न परीक्षण में इनपुट के दौरान दोनों मार्कर और रंगों का क्रम बचना जरूरी था।
लंबे रन के आसपास मैंने GPU मेमरी, मॉडल रेसिडेंसी, तापमान, होस्ट-मेमरी दबाव, OOM घटनाएँ और GPU दोष जाँचे। Qwen3.5 35B गार्ड ने नियंत्रित व्यवधान के बाद रिलीज़ भी जाँची। बाद की क्लाइंट-रद्दीकरण और कतार अनुरोध जाँचों ने ब्रोकर पथ का परीक्षण किया। कतार में दो अनुरोध परीक्षण किए गए भार में अनुरोध सँभालने का प्रमाण हैं, दो स्वतंत्र समकालिक GPU बैकएंड का नहीं।
प्रदर्शन परिणामों को समझना
अनुरोध अवधि में लंबा-इनपुट प्रीफ़िल और लौटाया जवाब शामिल है। वे प्रति सेकंड जनरेशन टोकन नहीं हैं। स्ट्रीमिंग में पहली सामग्री आने का विलंब महत्वपूर्ण है, और कैश-प्रिफ़िक्स की प्रगति को अलग तरह से समझना होगा।
सिस्टम A और C पर बड़े मॉडल के सफल फ़ॉलो-अप रन ने माइनिंग निष्क्रिय रखते हुए समर्पित इन्फ़रेंस विंडो इस्तेमाल की। उन अनुरोधों के बाद मॉडल अनलोड हुए। परीक्षण विंडो खत्म होने पर सातों सिस्टम में माइनिंग बहाल हुई। ये नतीजे इन्फ़रेंस विंडो में मॉडल सेवा बताते हैं, एक साथ माइनिंग और इन्फ़रेंस नहीं।
परीक्षणों में इस्तेमाल बैकएंड प्रोफ़ाइल
जिस कार्य को दोहराना हो उससे जुड़ा प्रोफ़ाइल चुनें। क्वांटाइज़ेशन, रनटाइम संदर्भ, कैश प्रकार, रीजनिंग मोड और GPU स्थान सभी परिणाम प्रभावित करते हैं।
| सिस्टम और मॉडल | जाँचा गया बैकएंड प्रोफ़ाइल |
|---|---|
| A, Qwen3.5 35B-A3B Q4_K_M | Ollama 0.34.2, f16 KV कैश, दोनों 16GB RTX 5060 Ti कार्ड, 64 GiB होस्ट RAM और बड़े क्रम के लिए 262,144 रनटाइम संदर्भ। नेटिव अनुरोधों ने think:false, तापमान 0, स्ट्रीमिंग और चरणों के बीच पाँच मिनट keep-alive इस्तेमाल किया। गेटवे अनुरोध ब्रोकर और LiteLLM से गए। अनुरोध आउटपुट सीमा नहीं। |
| A, Qwen3.8 27B | ब्रोकर और LiteLLM से ऑन-डिमांड llama.cpp, 262,144 रनटाइम संदर्भ, एक इन्फ़रेंस स्लॉट, Q4 K/V कैश और दोनों RTX 5060 Ti कार्ड। 66,007-टोकन अनुरोध की आउटपुट सीमा नहीं थी। |
| A, Qwen3.6-35B-A3B UD-Q4_K_XL | Strata 0.1.48, 131,072 संदर्भ, INT8 KV कैश, एक चुना GPU, 55 GiB प्रोसेस-ग्रुप मेमरी सीमा, 30 मिनट रनटाइम सीमा, लेज़ी लोड और 60 सेकंड निष्क्रिय रहने पर अनलोड। पायलट लंबे जवाब में 217 आउटपुट टोकन। सीमा के करीब गेटवे जवाब में 11 आउटपुट टोकन, अनुरोध आउटपुट सीमा नहीं। |
| A, Qwen3.8-Flash-Next UD-IQ4_XS | Strata 0.1.48, 98,304 संदर्भ, Q4 KV कैश, 8 GiB रेसिडेंट एक्सपर्ट कैश और दोनों RTX 5060 Ti कार्ड। पायलट मेमरी सीमा 52 GiB, बाद के रूट में 54 GiB। पायलट लंबे जवाब में 10 आउटपुट टोकन। पहले के बड़े संदर्भ/कैश संयोजन मेमरी सीमा पर रुके। |
| A, Granite 4.2 8B | Q6_K GGUF वज़न, llama.cpp की साझा कार्य-प्रक्रिया, 131,072 संदर्भ, Q4_0 K/V कैश, --n-predict -1। लंबे अनुरोध में तापमान 0, स्ट्रीमिंग उपयोग और आउटपुट सीमा नहीं थी। |
| A, DeepSeek Coder V2 16B | Q4_0 GGUF वज़न, Ollama 0.34.2, दो RTX 5060 Ti कार्ड और 64 GiB होस्ट RAM। अलग f16, Q4_0 और Q8_0 कैश परीक्षणों ने तुलना टेबल में दिखाए रनटाइम संदर्भ इस्तेमाल किए। अनुरोध आउटपुट सीमा नहीं। |
| B, C, D, ऑडिट की गई Ollama सेवा | Ollama 0.34.2, 131,072 संदर्भ, समानांतरता 1, एक लोड मॉडल, कतार आकार 128, keep-alive 0, Flash Attention और Q4_0 KV कैश। |
| B, Qwen3.5 9B गेटवे पायलट | LiteLLM रूट टाइमआउट 1,800 सेकंड, पुनः प्रयास शून्य, संदर्भ या आउटपुट-टोकन सीमा नहीं। 72,265 इनपुट टोकन पर दोनों सेंटिनल बचे। अलग माइनिंग-पुनर्प्राप्ति जाँच पास हुई। |
| C, Qwen3.5 0.8B | 30 W पावर प्रोफ़ाइल पर एक RTX 2000E Ada में Q8_0 वज़न। रनटाइम संदर्भ 131,072। नेटिव think:false, OpenAI-संगत reasoning_effort:"none", आउटपुट सीमा नहीं। ब्रोकर अलीयास ने रनटाइम संदर्भ बाँधा और बिना सोचने का मोड लागू किया। |
| C, Gemma 4 12B-IT | सिंगल-GPU Ollama प्रोफ़ाइल, 131,072 रनटाइम संदर्भ, आउटपुट सीमा बिना Aperture स्ट्रीम और नॉन-स्ट्रीम अनुरोध। सीधे Aperture रन का उच्चतम तापमान 75 C और शक्ति 30.64 W रही, जबकि प्रोफ़ाइल 30 W पर सेट था, फिर अनलोड हुआ। |
| D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B | सही इंस्टॉल किए आर्टिफ़ैक्ट का Aperture से परीक्षण, 131,072 रनटाइम संदर्भ, एक GPU में पूरी रेसिडेंसी और अनुरोध आउटपुट सीमा बिना स्वाभाविक समापन। |
| E, F, G, llama.cpp की चैट प्रक्रियाएँ | Build 11669, 99 GPU लेयर, समानांतरता 1, Flash Attention, Q4_0 K/V कैश और --n-predict -1। रनटाइम संदर्भ मॉडल परिवार के साथ बदला। |
रिकॉर्ड किए सेवा प्रोफ़ाइल अपने रनटाइम कॉन्फ़िगरेशन बताते हैं। सिस्टम A का अलग से जाँचा गया f16-कैश Qwen3.5 35B प्रोफ़ाइल छोटे Ollama सिस्टम की Q4_0 कैश सेटिंग नहीं अपनाता।
नए रिटेन्ड-इनपुट रन के मॉडल फ़िंगरप्रिंट
ये मॉडल पहचानकर्ता जाँचे गए आर्टिफ़ैक्ट को मिलते-जुलते नाम वाले दूसरे डाउनलोड या अलीयास से अलग करते हैं।
| आर्टिफ़ैक्ट | क्वांटाइज़ेशन | रिकॉर्डेड डाइजेस्ट या फ़ाइल SHA-256 |
|---|---|---|
| Qwen3.5 35B-A3B Ollama टैग | Q4_K_M | 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567 |
| Qwen3.5 0.8B बेस Ollama टैग | Q8_0 | de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c |
| Granite 4.2 8B GGUF फ़ाइल | Q6_K | 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21 |
Ollama मेनिफ़ेस्ट डाइजेस्ट और वज़न-फ़ाइल SHA-256 अलग-अलग ऑब्जेक्ट पहचानते हैं। तालिका में आर्टिफ़ैक्ट के प्रकार से पहचानकर्ता मिलाएँ।
मैं Hermes के साथ क्या चलाऊँगा
दो-कार्ड RTX 5060 Ti सिस्टम पर Qwen3.5 35B मुख्य उच्च-संदर्भ रूट होगा। इसके 239,153-टोकन गेटवे रिटेंशन परिणाम, टूल और विज़न के अलग पास तथा सत्यापित अनुरोध-मुक्ति इसे बड़े संदर्भ विंडो का विज्ञापन करने वाले मॉडल से बेहतर समर्थन देते हैं। समान 66K अनुरोध का तेज़ जवाब पाने के लिए Qwen3.8 27B और एक कार्ड इस्तेमाल करने की जरूरत पर Qwen3.6 उपलब्ध रखूँगा।
RTX 2000E Ada सिस्टमों पर जाँचे गए लंबे-इनपुट जवाब कार्य के लिए सिस्टम C का सत्यापित Gemma 3 4B रूट चुनूँगा। सीमित स्मरण और एक्सट्रैक्शन के लिए बिना सोचने वाला Qwen3.5 0.8B आज़माऊँगा। बड़े Gemma, Qwen और GPT-OSS रूट उन कामों के लिए ठीक हैं जहाँ चार से पाँच मिनट का जाँचा हुआ शुरुआती जवाब स्वीकार्य हो। सिस्टम D का विफल Gemma 3 रूट बाहर रखूँगा।
8GB RTX 3060 Ti और RTX 3070 कार्डों के लिए Qwen3.5 2B या 4B से शुरुआत करूँगा। उनके 65K टेक्स्ट परिणाम और 4B छवि जाँच दोनों 16GB कार्ड हर अनुरोध को दिए बिना उपयोगी शुरुआती कॉन्फ़िगरेशन का समर्थन करते हैं। जाँचे गए प्रोफ़ाइल पर Flash Next का मेमरी दबाव और DeepSeek Coder V2 का अधूरा 65K व्यवहार उन्हें कमजोर डिफ़ॉल्ट बनाता है।
परीक्षण विशिष्ट कार्यप्रवाहों के लिए इन मॉडल और सिस्टम विकल्पों का समर्थन करते हैं। इनपुट रिटेंशन, सही टूल राउंड ट्रिप, छवि पहचान और साफ़ रिलीज़ Hermes की उपयोगिता के अलग पहलुओं का जवाब देते हैं। भरोसेमंद सेटअप में एजेंट द्वारा इस्तेमाल किए व्यवहार और जवाब तथा टूल ट्रैफ़िक के लिए पर्याप्त संदर्भ चाहिए।
स्रोत और संबंधित लेख
- Hermes Agent प्रदाता सेटअप और संदर्भ आवश्यकताएँ
- NVIDIA GeForce RTX 3060 Ti विनिर्देश
- NVIDIA GeForce RTX 5060 Ti विनिर्देश
- Hermes Agent परिचय
- स्थानीय मॉडल बैकएंड चुनना






