Table of Contents

लंबे संदर्भ वाले Hermes काम के लिए मैं दो 16GB RTX 5060 Ti कार्ड पर Qwen3.5 35B से शुरुआत करूँगा। परीक्षण किए गए रूट ने LiteLLM के माध्यम से 239,153 इनपुट टोकन बनाए रखे और टूल, स्ट्रीमिंग, विज़न, कतार में लगे अनुरोधों तथा रद्दीकरण की अलग-अलग जाँचें पास कीं। एक कार्ड के विकल्प के रूप में Qwen3.6 मेरी पसंद है। RTX 3060 Ti और RTX 3070 सिस्टम पर मैं Qwen3.5 2B या 4B से शुरुआत करूँगा।

ये विकल्प एजेंट द्वारा इस्तेमाल किए जाने वाले इन्फ़रेंस पथों पर मॉडल चलाने से मिले। मैंने लंबे इनपुट को बनाए रखना, टूल के साथ राउंड ट्रिप, स्ट्रीम किए गए जवाब, छवियों पर सवाल और मॉडल को मुक्त करना जाँचा। मैंने रूट के पीछे के मोड और मेमरी सेटिंग्स भी जाँचीं, क्योंकि मॉडल का सफलतापूर्वक लोड होना लंबे एजेंट अनुरोध के दौरान उसकी उपयोगिता के बारे में कम बताता है।

टूल वाले एजेंट उपयोग के लिए Hermes को कम से कम 64,000 टोकन संदर्भ चाहिए। लंबे संदर्भ की योग्यता के लिए मैंने 65,536 वास्तविक इनपुट टोकन की सीमा रखी। सर्वर द्वारा घोषित संदर्भ आकार से इनपुट टोकन की संख्या अधिक मायने रखती है। ( Hermes Agent प्रदाता दस्तावेज़ )

हर सिस्टम में कौन से GPU थे

परिणामों में सिस्टम के अक्षर इन हार्डवेयर संयोजनों की पहचान करते हैं।

सिस्टमइस बेंचमार्क में इस्तेमाल GPUमेरी शुरुआती मॉडल पसंद
A2 × GeForce RTX 5060 Ti, हर एक 16GBदोनों कार्ड पर Qwen3.5 35B, या एक कार्ड पर Qwen3.6
B1 × RTX 2000E Ada, 16GBजब लंबे इनपुट को कई मिनट तक संसाधित करना काम के अनुकूल हो, तब Qwen3.5 9B
C1 × RTX 2000E Ada, 16GBजाँचे गए लंबे-इनपुट पथ के लिए Gemma 3 4B; सीमित स्मरण कार्य के लिए बिना सोचने वाले मोड में Qwen3.5 0.8B
D1 × RTX 2000E Ada, 16GBजाँचे गए बड़े-मॉडल कार्यों के लिए Qwen3.5 9B, Gemma 4 12B-IT या GPT-OSS 20B
E9 × GeForce RTX 3060 Ti, हर एक 8GBQwen3.5 2B या 4B
F8 × GeForce RTX 3060 Ti, हर एक 8GBQwen3.5 2B या 4B
G3 × GeForce RTX 3070Qwen3.5 2B या 4B

कार्डों की संख्या का मतलब यह नहीं कि हर अनुरोध में हर GPU इस्तेमाल हुआ। सिस्टम A में Qwen3.5 35B और Flash Next परीक्षणों ने दोनों कार्ड इस्तेमाल किए। Qwen3.6 ने एक कार्ड इस्तेमाल किया। सिस्टम E में सफल Qwen3.5 4B विज़न का दोबारा परीक्षण आठ कार्डों के पूल से चुने एक कार्ड पर हुआ, जबकि नौवाँ कार्ड AI कार्य से बाहर रहा।

नीचे की अवधि को परीक्षण किए गए मॉडल, रनटाइम और सिस्टम के संयुक्त परिणाम मानें। ये रन उपयोगी कॉन्फ़िगरेशन की तुलना करते हैं। वे गति के अंतर का कारण GPU आर्किटेक्चर को अलग करके नहीं दिखाते।

दो RTX 5060 Ti लंबे संदर्भ के लिए Qwen3.5 35B को मेरी पसंद बनाते हैं

इन परीक्षणों में Qwen3.5 35B ने सबसे बड़ा इनपुट-रिटेंशन परिणाम दिया। सीधे Ollama की प्रगति ने 262,144-टोकन रनटाइम संदर्भ में 248,279 इनपुट टोकन बनाए रखे। अलग स्ट्रीम किए गए गेटवे अनुरोध ने 239,153 इनपुट टोकन बनाए रखे, शुरुआती मार्कर लौटाया और 31 आउटपुट टोकन के बाद 148.12 सेकंड में सामान्य रूप से पूरा हुआ।

गेटवे परिणाम Hermes के लिए मायने रखता है, क्योंकि अनुरोध ब्रोकर और LiteLLM से होकर गया। अलग अनुरोधों ने टूल राउंड ट्रिप पूरा किया, लाल छवि पहचानी और एक साथ भेजे जाने पर दो सही जवाब लौटाए। ब्रोकर ने इन दोनों अनुरोधों को कतार में रखा। स्ट्रीम किया अनुरोध बंद करने पर ब्रोकर मुक्त हुआ और 60.31 सेकंड के भीतर मॉडल अनलोड हो गया।

Qwen3.5 35B अनुरोधइनपुट टोकनआउटपुट टोकनअवधिपरिणाम
सीधा Ollama, पहला क्रमिक चरण69,4293138.783 sशुरुआती मार्कर सटीक
सीधा Ollama, साझा प्रीफ़िक्स पर आगे का चरण124,1793128.472 sशुरुआती मार्कर सटीक
सीधा Ollama, साझा प्रीफ़िक्स पर आगे का चरण182,5793138.974 sशुरुआती मार्कर सटीक
सीधा Ollama, साझा प्रीफ़िक्स पर आगे का चरण248,2793154.215 sशुरुआती मार्कर सटीक
ब्रोकर का स्ट्रीम किया अनुरोध69,4272938.872 sशुरुआती मार्कर सटीक
LiteLLM का स्ट्रीम किया अनुरोध239,15331148.12 sशुरुआती मार्कर सटीक, साफ़ अनलोड

क्रमिक सीधे अनुरोधों ने बढ़ते हुए प्रीफ़िक्स का दोबारा इस्तेमाल किया। उनकी अवधि वार्म-कंटिन्यूएशन व्यवहार बताती है। 54.215 सेकंड का परिणाम नए 248K प्रॉम्प्ट के स्वतंत्र कोल्ड-प्रोसेसिंग माप का परिणाम नहीं है।

सबसे बड़े सीधे चरण पर मॉडल ने दोनों GPU में लगभग 27.3 अरब बाइट रेसिडेंट बताए। प्रति कार्ड मेमरी की अधिकतम सीमा 14,964 और 12,386 MiB रही।

अधिकतम तापमान 62 और 63 C तक पहुँचे और रन में OOM या Xid की त्रुटि दर्ज नहीं हुई। इनपुट ने कॉन्फ़िगर संदर्भ में आगे जारी रखने के लिए 13,865 टोकन छोड़े। छोटे मार्कर वाले जवाब ने उनमें से 31 इस्तेमाल किए।

जब सबसे तेज़ शुरुआती जवाब से अधिक अहम बड़ा कार्य-समूह बनाए रखना हो, तो मैं यह रूट इस्तेमाल करूँगा। टूल और विज़न जाँच उपयोगी एजेंट व्यवहार स्थापित करती हैं, जबकि लंबा-इनपुट परीक्षण रिटेंशन स्थापित करता है। ये अलग-अलग कार्यभार हैं।

Qwen3.6 एक कार्ड का विकल्प है

Qwen3.6-35B-A3B UD-Q4_K_XL ने एक RTX 5060 Ti पर 131,000 इनपुट टोकन बनाए रखे। परीक्षण के समय दूसरा कार्ड निष्क्रिय रहा। जब एक मॉडल के लिए दोनों कार्ड देना ठीक न हो, तब यह सिस्टम को उपयोगी विकल्प देता है।

Qwen3.6 गेटवे अनुरोधइनपुट टोकनआउटपुट टोकनअवधिपरिणाम
शुरुआती लंबा अनुरोध66,007167.82 sशुरुआती मार्कर बनाए रखा
लंबा अनुरोध90,00011159.92 sशुरुआती मार्कर बनाए रखा, कोई कैश किया इनपुट नहीं
लंबा अनुरोध119,99911250.61 sशुरुआती मार्कर बनाए रखा, कोई कैश किया इनपुट नहीं
रनटाइम सीमा के करीब131,00011287.09 sशुरुआती मार्कर बनाए रखा, कोई कैश किया इनपुट नहीं

131,000 टोकन का अनुरोध 131,072 रनटाइम सीमा के करीब पहुँचा। एजेंट के लिए मैं जवाब और आगे के टूल संदेशों हेतु अधिक जगह छोड़ूँगा। सीमा के करीब रिटेंशन परिणाम इनपुट हैंडलिंग का उपयोगी प्रमाण है, लेकिन समझदार डिफ़ॉल्ट इनपुट बजट नहीं।

सोचने का मोड बंद होने पर टूल उपयोग पास हुआ। डिफ़ॉल्ट सोच ने टूल कॉल करने से पहले 512-टोकन परीक्षण भत्ता खर्च कर दिया। सफल पायलट ने तेज़, स्ट्रीम किए और विज़न अनुरोध भी पास किए। इसकी शुरुआती 65,845-टोकन संदर्भ जाँच में 139.57 सेकंड लगे।

समान 66K जवाब तुलना में Qwen3.8 27B आगे है

सिस्टम A पर उसी 66,007-टोकन मार्कर कार्य के लिए Qwen3.8 27B ने सबसे तेज़ जवाब दिया। परीक्षण आकार के आसपास के अनुरोधों के लिए मैं यह रूट उपलब्ध रखूँगा और बड़े कार्य-समूह के लिए Qwen3.5 35B रखूँगा।

सिस्टम A रूटइनपुट टोकनअवधिपरिणाम
Qwen3.8 27B66,00754.64 sशुरुआती मार्कर बनाए रखा
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sशुरुआती मार्कर बनाए रखा
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sशुरुआती मार्कर बनाए रखा
Flash Next IQ4 अनुकूलता उपनाम66,007213.25 sमार्कर बनाए रखा

Qwen3.8 27B ने समतुल्य Qwen3.6 और Flash Next अनुरोधों का लगभग एक-तिहाई समय लिया। ये परीक्षण रनटाइम के साथ पूरे अनुरोध के अवलोकन हैं, केवल हार्डवेयर की तुलना नहीं।

तेज़ जवाब, स्ट्रीमिंग और टूल उपयोग भी पास हुए। सोचने का मोड बंद होने पर रंगों का पूरा क्रम और टूल राउंड ट्रिप पूरा हुआ, जबकि सोचने वाले परीक्षण में 512-टोकन भत्ते में रंगों के क्रम का केवल हिस्सा लौटा।

मेमरी दबाव के कारण Flash Next इस सिस्टम के लिए कम आकर्षक डिफ़ॉल्ट बना रहता है। उसका 65,847-टोकन पायलट 98,304 रनटाइम संदर्भ पर 201.41 सेकंड में पास हुआ। 131,072-संदर्भ वाले पहले के दो प्रोफ़ाइल तैयार होने से पहले मेमरी सीमा पर पहुँच गए।

बाद का रूट अपने 54 GiB cgroup कैप पर पहुँचा। बिना निगरानी के काम के लिए मैं अधिक मेमरी गुंजाइश वाला रूट चुनूँगा।

flash-iq2 नाम का रूट Flash Next IQ4 अनुकूलता बैकएंड पर चला। नाम IQ2 परिणाम नहीं बताता।

RTX 2000E Ada लंबा इनपुट संभालता है, लेकिन मॉडल का चुनाव प्रतीक्षा बदलता है

सिस्टम C पर Gemma 3 4B मेरा पसंदीदा जाँचा हुआ लंबा-इनपुट रूट है। दो पथों ने लगभग 88 सेकंड में 84K से अधिक इनपुट टोकन बनाए रखे। बड़े मॉडल रूट ने भी उपयोगी रिटेंशन जाँच पास की, लेकिन अनुरोधों में कई मिनट लगे।

सिस्टममॉडल और पथइनपुट टोकनअवधिपरिणाम
BQwen3.5 9B, गेटवे72,265263 sदोनों सेंटिनल बनाए रखे, बाद की माइनिंग-पुनर्प्राप्ति जाँच पास हुई
CGemma 3 4B, गेटवे84,04488.05 sशुरुआती मार्कर बनाए रखा
CGemma 3 4B, Aperture84,04587.68 sशुरुआती मार्कर बनाए रखा
CGemma 4 12B-IT, गेटवे67,254263.07 sशुरुआती मार्कर बनाए रखा
CGemma 4 12B-IT, Aperture नॉन-स्ट्रीम67,255274.24 sशुरुआती मार्कर बनाए रखा
CGemma 4 12B-IT, Aperture स्ट्रीम67,255282.16 sशुरुआती मार्कर बनाए रखा
CQwen3.5 9B, गेटवे75,648319.36 sशुरुआती मार्कर बनाए रखा, मॉडल अनलोड हुआ
CGPT-OSS 20B, गेटवे84,099315.83 sशुरुआती मार्कर बनाए रखा, मॉडल अनलोड हुआ
DQwen3.5 9B, Aperture81,051324.07 sइंस्टॉल किए गए आर्टिफ़ैक्ट पर रिटेंशन पास हुआ
DGemma 4 12B-IT, Aperture72,057300.67 sइंस्टॉल किए गए आर्टिफ़ैक्ट पर रिटेंशन पास हुआ
DGPT-OSS 20B, Aperture72,104245.94 sइंस्टॉल किए गए आर्टिफ़ैक्ट पर रिटेंशन पास हुआ

स्ट्रीमिंग ने सिस्टम C पर Gemma 4 का लंबा प्रीफ़िल इंतज़ार नहीं हटाया। पहला स्ट्रीम किया गया अंश 277.49 सेकंड बाद आया, जो 274.24-सेकंड की पूरी नॉन-स्ट्रीम प्रतिक्रिया से भी देर से था। पहले का नॉन-स्ट्रीम प्रयास समयसीमा पार कर गया, फिर सफल पुनः प्रयास हुआ। मैं यह रूट उन कार्यों के लिए रखूँगा जिनमें शुरुआती कई मिनट लग सकते हैं।

Gemma 3 4B दिखाता है कि हर जाँचे हुए सिस्टम की योग्यता अलग से क्यों तय करनी चाहिए। सिस्टम D 65K स्मरण के दो प्रयासों में शुरुआती मार्कर चूक गया, जिसमें 67,252 इनपुट टोकन वाला तापमान-शून्य पुनः परीक्षण शामिल है। नियत अनुरोध पूरे GPU रेसिडेंसी के साथ 62.07 सेकंड में सामान्य रूप से पूरा हुआ।

जल्दी पूरा होना और सामान्य API जवाब मिलना उत्तर की शुद्धता साबित नहीं करता। मैं सफल सिस्टम C पथ इस्तेमाल करूँगा और विफल सिस्टम D पथ को Hermes चयन से बाहर रखूँगा।

सोचने का मोड तय करता है कि Qwen3.5 0.8B उपयोगी है या नहीं

सोचने का मोड बंद करने के बाद Qwen3.5 0.8B सिस्टम C पर सीमित स्मरण का उपयोगी उम्मीदवार बना। छोटे Q8_0 मॉडल ने गेटवे के माध्यम से 65.92 सेकंड में 75,649 इनपुट टोकन बनाए रखे। यह नतीजा जाँचे गए Q8_0 आर्टिफ़ैक्ट और बिना सोचने वाले पथ का है, तालिका के दूसरे हिस्से के पुराने 16K-संदर्भ कॉन्फ़िगरेशन का नहीं।

सिस्टम C पर Qwen3.5 0.8B अनुरोधइनपुट टोकनआउटपुट टोकनअवधिपरिणाम
डिफ़ॉल्ट सोच, छोटा निदान9,0503,39166.56 sशुरुआती मार्कर सटीक
सोच बंद, समान निदान9,055217.65 sशुरुआती मार्कर सटीक, तर्क-पाठ नहीं
डिफ़ॉल्ट सोच, लंबा प्रयास600 s समयसीमाजवाब पूरा नहीं हुआ
सोच बंद, नेटिव Ollama75,6562269.80 sशुरुआती मार्कर सटीक
बिना सोचने वाला OpenAI-संगत एंडपॉइंट75,6461269.09 sशुरुआती मार्कर सटीक
बिना सोचने का मोड बाध्य करने वाला ब्रोकर75,6471366.83 sशुरुआती मार्कर सटीक
सिस्टम A से सिस्टम C तक LiteLLM75,6491565.92 sशुरुआती मार्कर सटीक

समान निदान का समय 66.56 से घटकर 7.65 सेकंड हुआ, लगभग 8.7 गुना तेज़, जबकि बनाया गया आउटपुट 3,391 से घटकर 21 टोकन रह गया। इसी कारण सरल एक्सट्रैक्शन और रूटिंग कार्यों के लिए मैं रीजनिंग मोड स्पष्ट रूप से तय करूँगा। डिफ़ॉल्ट रीजनिंग ने अधिकतर काम ऐसे आउटपुट पर खर्च किया जिसकी कार्य को जरूरत नहीं थी।

एक छोटा OpenAI-संगत प्रोब मार्कर चूक गया, फिर तापमान-शून्य पुनः प्रयास पास हुआ। सफल रूट जाँच ने आउटपुट सीमा के बिना बिना-सोच मोड और स्वाभाविक समापन इस्तेमाल किया। तीन अन्य गेटवे ने 4.22, 4.37 और 3.85 सेकंड में छोटे मार्कर अनुरोध पास किए। वे जाँच रूटिंग स्थापित करती हैं, जबकि 75,649-टोकन अनुरोध गेटवे से लंबे इनपुट का रिटेंशन स्थापित करता है।

सीमित स्मरण और एक्सट्रैक्शन के लिए मैं इस रूट का परीक्षण करूँगा। खुले प्रकार की एजेंट रीजनिंग के लिए बड़ा मॉडल चुनूँगा। एक सिंथेटिक मार्कर निकालना योजना बनाने, कोडिंग या कई टूल समन्वित करने से संकरा काम है।

RTX 3060 Ti और RTX 3070 सिस्टम Qwen3.5 2B और 4B के अनुकूल हैं

8GB कार्डों के लिए Qwen3.5 2B और 4B मेरी व्यावहारिक शुरुआती पसंद हैं। सिस्टम E, F और G पर टेक्स्ट-संदर्भ अनुरोध 65,579 इनपुट टोकन के साथ 30.343 से 93.753 सेकंड में पास हुए। जाँचे गए 4B रूट ने टूल, स्ट्रीमिंग और छवि जाँच भी पास की।

सिस्टम E के 4B विज़न-संदर्भ पुनः परीक्षण ने 65,637 इनपुट टोकन पर 44.88 सेकंड में दोनों मार्कर और छवि रंगों का क्रम बनाए रखा। आगे और उलटे रंग क्रम वाले अनुरोध भी पास हुए। यह पुनः परीक्षण एक स्वस्थ कार्ड पर चला, जब दूसरे कार्ड में Xid 79 लिंक त्रुटि आई और सिस्टम रीबूट हुआ।

सिस्टमQwen3.5 2B टेक्स्ट संदर्भQwen3.5 4B टेक्स्ट संदर्भQwen3.5 4B विज़न संदर्भ
E, RTX 3060 Ti पूल65,579 टोकन, 30.343 s65,579 टोकन, 53.787 s65,637 टोकन, 44.88 s
F, RTX 3060 Ti पूल65,579 टोकन, 61.282 s65,579 टोकन, 93.753 s65,635 टोकन, 84.749 s
G, RTX 3070 पूल65,579 टोकन, 76.731 s65,579 टोकन, 90.807 s65,635 टोकन, 87.496 s

इनमें हर सिस्टम ने 29 सफल जाँच दर्ज की। दो RTX 3060 Ti सिस्टम में समय का अंतर यह भी दिखाता है कि इन अनुरोध अवधियों से कार्डों की रैंकिंग करने के बजाय जाँचा हुआ सिस्टम प्रोफ़ाइल क्यों चुनना चाहिए।

इन्फ़रेंस विंडो के बाद सभी सात सिस्टम माइनिंग पर लौटे। सिस्टम B की अलग पोस्ट-स्टॉप पुनर्प्राप्ति जाँच नए स्वीकार किए गए शेयरों के साथ पास हुई। सिस्टम E का दोषपूर्ण कार्ड बाद में रीबूट और PCIe लिंक मज़बूत करने के बाद माइनिंग में लौट आया, हालांकि AI पूल से बाहर रहा। विंडो के अंत में माइनिंग बहाल होना हर इन्फ़रेंस अनुरोध के बाद स्वतः वापस जाने से अलग परिणाम है।

मॉडल लोड करना उसे योग्य नहीं बनाता

जाँचे गए 65K Hermes विकल्पों से मैं DeepSeek Coder V2 16B को बाहर रखूँगा। उसके f16-कैश रन ने 50,477 इनपुट टोकन बनाए रखे, लेकिन 65K लक्ष्य वाला रन VRAM गार्ड तक पहुँचा। Q4 और Q8 कैश विकल्पों ने GPU पर वज़न लोड किए, फिर होस्ट मेमरी सीमा या लंबे प्रॉम्प्ट की खराब गति से अटक गए।

DeepSeek Coder V2 कैश प्रोफ़ाइलरनटाइम संदर्भदेखा गया परिणाममेरा आकलन
f1681,92050,477-टोकन स्मरण पास, बड़ा अनुरोध अस्वीकृतछोटे संदर्भ के लिए उपयोगी परिणाम
f1673,72865K-लक्ष्य प्रीफ़िल 15,802 MiB GPU उपयोग पर रुका65K के लिए योग्य नहीं
Q4_098,304नियंत्रित रोक से पहले लंबा प्रीफ़िल 96.72 टोकन/सेकंड तक गिराइस कार्य के लिए ठीक नहीं
Q8_077,824नियंत्रित रोक से पहले लंबा प्रीफ़िल 120.12 टोकन/सेकंड तक गिराइस कार्य के लिए ठीक नहीं
Q4_0 / Q8_0, बड़े प्रोफ़ाइल163,840 / 98,304होस्ट-मेमरी गार्ड ने परीक्षण रोक दिएपूरी प्रणाली में मेमरी फिट देखनी होगी

व्यावहारिक सीख है कि जिस अनुरोध को भेजना है उसी का बेंचमार्क करें। GPU में मॉडल रेसिडेंसी, छोटा जवाब और बड़ा कॉन्फ़िगर किया संदर्भ उपयोगी लेटेंसी में लंबे इनपुट बनाए रखने का प्रमाण नहीं हैं।

सिस्टम A में रूट-विशिष्ट फ़ॉलो-अप काम के बाद Granite 4.2 8B और GPT-OSS 20B बेहतर हुए। Granite के Q6_K रूट ने शून्य कैश इनपुट के साथ 88.636 सेकंड में 66,082 इनपुट टोकन बनाए रखे। ब्रोकर ठीक करने के बाद GPT-OSS ने टूल राउंड ट्रिप पूरा किया, कॉल में 9.854 सेकंड और फ़ॉलो-अप में 9.849 सेकंड लगे। मैं इन सफल रूट जाँचों को पहले के अधूरे प्रयासों से अलग रखूँगा।

पूरे बेंचमार्क परिणाम

तालिका में 59 मॉडल और सिस्टम संयोजनों पर 295 जाँचें हैं। मैट्रिक्स में 273 पास, स्मरण की एक विफल जाँच और सात अधूरे, असंगत या असंगत परिणाम दर्ज हैं। चौदह जाँचें 65K योग्यता के दायरे से बाहर हैं। हर पंक्ति मापा परिणाम दिखाती है।

मेरी सिफ़ारिशें पास हुए रूट और कार्यभार पर लागू होती हैं। विफल या अधूरी पंक्ति संबंधित व्यवहार को योग्य नहीं बनाती।

छोटे संदर्भ और एम्बेडिंग पास अपने कार्यभार के लिए हैं। 16K या 32K संदर्भ का पास होना 65,536 इनपुट-टोकन Hermes कार्यभार के लिए रूट को योग्य नहीं करता। यहाँ मॉडल नाम रूट लेबल हैं। flash-iq2 लेबल IQ4 अनुकूलता बैकएंड पर चला।

सिस्टम A की Qwen3.5 35B संदर्भ पंक्ति ऊपर की प्रगति का अंतिम साझा-प्रिफ़िक्स चरण है। प्लस चिह्न वाले टूल समय कॉल और फ़ॉलो-अप अलग दिखाते हैं।

कनकरेंसी पंक्ति कतार में लगे दो अनुरोधों की अवधि देती है। रद्दीकरण पंक्ति क्लाइंट द्वारा स्ट्रीम बंद करने के बाद मुक्त होने का समय देती है। अतिरिक्त संदर्भ प्रगति और Qwen3.5 0.8B रूट तुलना ऊपर अपने अलग टेबल में हैं।

सिस्टम A

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
bonsai-2-27bcontextपास65,62188.746 s
bonsai-2-27bquickपास576.429 s
bonsai-2-27bstreamपास9.371 s
bonsai-2-27btoolsपास10.478 s
deepseek-coder-v2:16bcontextअसंगत50,477
deepseek-coder-v2:16bquickपास7743.239 s
flash-iq2contextपास66,007213.25 s
flash-iq2quickपास56.03 s
flash-iq2streamपास1.35 s
flash-iq2toolsपास16.55 s
gemma-4-12b-itcontextपास65,59051.225 s
gemma-4-12b-itquickपास215.166 s
gemma-4-12b-itstreamपास4.653 s
gemma-4-12b-ittoolsपास18.72 s
gemma-4-12b-itvisionपास1157.222 s
gemma-4-12b-itvision_contextपास65,68556.06 s
gemma-4-12b-itvision_reverseपास1157.467 s
gemma-4-e4b-itcontextपास65,59021.889 s
gemma-4-e4b-itquickपास2117.919 s
gemma-4-e4b-itstreamपास4.25 s
gemma-4-e4b-ittoolsपास8.734 s
gpt-oss-20bcontextपास65,637159.155 s
gpt-oss-20bquickपास7310.548 s
gpt-oss-20bstreamपास20.594 s
gpt-oss-20btoolsपास9.854 + 9.849 s
granite-4.2-3bcontextपास65,58970.968 s
granite-4.2-3bquickपास204.009 s
granite-4.2-3bstreamपास5.365 s
granite-4.2-3btoolsपास6.086 s
granite-4.2-8bcontextपास66,08288.636 s
granite-4.2-8bquickपास205.857 s
granite-4.2-8bstreamपास11.826 s
granite-4.2-8btoolsपास11.852 s
qwen27bcontextपास66,00754.64 s
qwen27bquickपास5731.5 s
qwen27bstreamपास0.92 s
qwen27btoolsपास4.25 s
qwen3-embedding-0.6bcontextपास32,7677.736 s
qwen3-embedding-0.6bquickपास142.125 s
qwen3.5-0.8bcontextपास16,42910.5 s
qwen3.5-0.8bquickपास1714.316 s
qwen3.5-0.8bstreamपास2.125 s
qwen3.5-0.8btoolsपास4.416 s
qwen3.5-2bcontextपास65,58111.175 s
qwen3.5-2bquickपास174.519 s
qwen3.5-2bstreamपास3.736 s
qwen3.5-2btoolsपास5.046 s
qwen3.5-4bcontextपास65,57936.451 s
qwen3.5-4bquickपास1519.935 s
qwen3.5-4bstreamपास17.496 s
qwen3.5-4btoolsपास7.308 s
qwen3.5-4bvisionपास707.848 s
qwen3.5-4bvision_contextपास65,63528.24 s
qwen3.5-4bvision_reverseपास704.386 s
qwen3.5-9bcontextपास65,58134.139 s
qwen3.5-9bquickपास173.88 s
qwen3.5-9bstreamपास3.378 s
qwen3.5-9btoolsपास10.204 s
qwen3.5-9bvisionपास724.441 s
qwen3.5-9bvision_contextपास65,63733.745 s
qwen3.5-9bvision_reverseपास723.97 s
qwen3.5:35b-a3b-q4_K_Mcancellationपास60.31 s
qwen3.5:35b-a3b-q4_K_Mconcurrencyपास26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_Mcontextपास248,27954.215 s
qwen3.5:35b-a3b-q4_K_Mgatewayपास239,153148.12 s
qwen3.5:35b-a3b-q4_K_Mquickपास7910.08 s
qwen3.5:35b-a3b-q4_K_Mstreamपास69,42938.783 s
qwen3.5:35b-a3b-q4_K_Mtoolsपास15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_Mvisionपास18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextपास65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickपास153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamपास0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsपास2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionपास380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextपास65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickपास1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamपास1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsपास22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionपास3.86 s

सिस्टम B

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
gemma-4-12b-itcontextपास65,590299.163 s
gemma-4-12b-itquickपास2115.261 s
gemma-4-12b-itstreamपास148.792 s
gemma-4-12b-ittoolsपास34.124 s
gemma-4-12b-itvisionपास12061.455 s
gemma-4-12b-itvision_contextपास65,690295.581 s
gemma-4-12b-itvision_reverseपास12032.511 s
gemma3-4bcontextपास65,58467.382 s
gemma3-4bquickपास156.329 s
gemma3-4bstreamपास24.138 s
gemma3-4bvisionपास3067.018 s
gemma3-4bvision_contextपास65,87670.912 s
gemma3-4bvision_reverseपास3065.762 s
gpt-oss-20bcontextपास65,637206.767 s
gpt-oss-20bquickपास7216.583 s
gpt-oss-20bstreamपास32.075 s
gpt-oss-20btoolsपास28.102 s
nomic-embed-textcontextअधूरा2,048
nomic-embed-textquickपास7.117 s
qwen3-14bcontextअधूरा1800.09 s
qwen3-14bquickपास1537.199 s
qwen3-14bstreamपास35.471 s
qwen3-14btoolsपास87.554 s
qwen3-8bcontext65K से नीचे, बाहर
qwen3-8bquick65K से नीचे, पास1521.059 s
qwen3-8bstream65K से नीचे, बाहर
qwen3-8btools65K से नीचे, बाहर
qwen3.5-9bcontextपास65,579282.796 s
qwen3.5-9blitellm_long_routeपास72,265263 s
qwen3.5-9bpost_external_stop_miningपास
qwen3.5-9bquickपास1525.881 s
qwen3.5-9bstreamपास143.44 s
qwen3.5-9btoolsपास31.812 s
qwen3.5-9bvisionपास7532.015 s
qwen3.5-9bvision_contextपास65,640396.288 s
qwen3.5-9bvision_reverseपास7528.626 s

सिस्टम C

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
gemma-4-12b-itaperture_contextपास67,255274.24 s
gemma-4-12b-itaperture_shortपास3539.32 s
gemma-4-12b-itaperture_stream_contextपास67,255282.16 s
gemma-4-12b-itcontextपास65,670313.661 s
gemma-4-12b-itgateway_contextपास67,254263.07 s
gemma-4-12b-itgateway_shortपास2720.98 s
gemma-4-12b-itquickपास2116.447 s
gemma-4-12b-itstreamपास15.175 s
gemma-4-12b-ittoolsपास37.821 s
gemma-4-12b-itvisionपास12058.52 s
gemma-4-12b-itvision_contextपास65,690308.759 s
gemma-4-12b-itvision_reverseपास12031.25 s
gemma3-4baperture_contextपास84,04587.68 s
gemma3-4baperture_after_system_d_route_changeपास245.42 s
gemma3-4baperture_shortपास225.45 s
gemma3-4baperture_streamपास3.72 s
gemma3-4bcontextपास65,66467.543 s
gemma3-4bgateway_contextपास84,04488.05 s
gemma3-4bgateway_short_via_system_aपास3.16 s
gemma3-4bgateway_short_via_system_eपास
gemma3-4bgateway_short_via_system_fपास4.15 s
gemma3-4bgateway_short_via_system_gपास6.06 s
gemma3-4bquickपास155.163 s
gemma3-4bstreamपास24.691 s
gemma3-4bvisionपास3067.318 s
gemma3-4bvision_contextपास65,87672.476 s
gemma3-4bvision_reverseपास3065.831 s
gpt-oss-20bcontextपास65,716216.594 s
gpt-oss-20bgateway_contextपास84,099315.83 s
gpt-oss-20bgateway_shortअसंगत
gpt-oss-20bquickपास7221.603 s
gpt-oss-20bstreamपास31.957 s
gpt-oss-20btoolsपास26.096 s
nomic-embed-textcontext65K से नीचे, अधूरा2,048
nomic-embed-textquick65K से नीचे, पास4.178 s
qwen3-14bcontext65K से नीचे, अधूरा1800.06 s
qwen3-14bquick65K से नीचे, पास1535.809 s
qwen3-14bstream65K से नीचे, पास35.43 s
qwen3-14btools65K से नीचे, पास87.723 s
qwen3-8bcontext65K से नीचे, बाहर
qwen3-8bquick65K से नीचे, पास1521.293 s
qwen3-8bstream65K से नीचे, अधूरा900.01 s
qwen3-8btools65K से नीचे, बाहर
qwen3.5-9bcontextपास65,662287.984 s
qwen3.5-9bgateway_contextपास75,648319.36 s
qwen3.5-9bgateway_shortपास2172.14 s
qwen3.5-9bquickपास1524.635 s
qwen3.5-9bstreamपास143.157 s
qwen3.5-9btoolsपास30.395 s
qwen3.5-9bvisionपास7527.756 s
qwen3.5-9bvision_contextपास65,640398.797 s
qwen3.5-9bvision_reverseपास7528.645 s

सिस्टम D

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
gemma-4-12b-itcontextपास65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kपास72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortपास3430.74 s
gemma-4-12b-itquickपास2115.05 s
gemma-4-12b-itstreamपास14.722 s
gemma-4-12b-ittoolsपास33.869 s
gemma-4-12b-itvisionपास12056.315 s
gemma-4-12b-itvision_contextपास65,690282.174 s
gemma-4-12b-itvision_reverseपास12029.978 s
gemma3-4bcontextपास65,58463.564 s
gemma3-4bexact_digest_65k_recallविफल67,25262.07 s
gemma3-4bquickपास155.151 s
gemma3-4bstreamपास22.552 s
gemma3-4bvisionपास3068.276 s
gemma3-4bvision_contextपास65,87667.575 s
gemma3-4bvision_reverseपास3065.651 s
gpt-oss-20bcontextपास65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kपास72,104245.94 s
gpt-oss-20bexact_digest_broker_shortपास8415.96 s
gpt-oss-20bquickपास7215.431 s
gpt-oss-20bstreamपास31.052 s
gpt-oss-20btoolsपास23.65 s
nomic-embed-textcontextअधूरा2,048
nomic-embed-textquickपास2.798 s
qwen3-14bcontextअधूरा40,939872.209 s
qwen3-14bquickपास1536.021 s
qwen3-14bstreamपास33.491 s
qwen3-14btoolsपास82.471 s
qwen3-8bcontextअधूरा1800.07 s
qwen3-8bquickपास1519.283 s
qwen3-8bstreamपास19.401 s
qwen3-8btoolsपास65.054 s
qwen3.5-9bcontextपास65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kपास81,051324.07 s
qwen3.5-9bexact_digest_broker_shortपास2994.48 s
qwen3.5-9bquickपास1527.16 s
qwen3.5-9bstreamपास28.62 s
qwen3.5-9btoolsपास28.129 s
qwen3.5-9bvisionपास7525.047 s
qwen3.5-9bvision_contextपास65,640369.477 s
qwen3.5-9bvision_reverseपास7527.602 s

सिस्टम E

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
gemma-4-e4b-itcontextपास65,59049.086 s
gemma-4-e4b-itquickपास2123.911 s
gemma-4-e4b-itstreamपास28.136 s
gemma-4-e4b-ittoolsपास56.756 s
granite-4.0-h-tinycontextपास65,566
granite-4.0-h-tinyquickपास3510.408 s
granite-4.0-h-tinystreamपास27.798 s
granite-4.0-h-tinytoolsपास43.304 s
granite-4.2-3bcontextपास65,5891014.03 s
granite-4.2-3bquickपास2014.569 s
granite-4.2-3bstreamपास6.948 s
granite-4.2-3btoolsपास56.376 s
qwen3-embedding-0.6bcontextपास32,76720.387 s
qwen3-embedding-0.6bquickपास149.592 s
qwen3.5-0.8bcontextपास16,4299.128 s
qwen3.5-0.8bquickपास17452.417 s
qwen3.5-0.8bstreamपास11.163 s
qwen3.5-0.8btoolsपास39.214 s
qwen3.5-2bcontextपास65,57930.343 s
qwen3.5-2bquickपास1512.509 s
qwen3.5-2bstreamपास26.165 s
qwen3.5-2btoolsपास42.056 s
qwen3.5-4bcontextपास65,57953.787 s
qwen3.5-4bquickपास1526.736 s
qwen3.5-4bstreamपास26.02 s
qwen3.5-4btoolsपास57.293 s
qwen3.5-4bvisionपास7210.09 s
qwen3.5-4bvision_contextपास65,63744.88 s
qwen3.5-4bvision_reverseपास729.96 s

सिस्टम F

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
gemma-4-e4b-itcontextपास65,59098.443 s
gemma-4-e4b-itquickपास2127.51 s
gemma-4-e4b-itstreamपास28.042 s
gemma-4-e4b-ittoolsपास73.891 s
granite-4.0-h-tinycontextपास65,59919.692 s
granite-4.0-h-tinyquickपास3543.818 s
granite-4.0-h-tinystreamपास27.296 s
granite-4.0-h-tinytoolsपास75.377 s
granite-4.2-3bcontextपास65,589145.179 s
granite-4.2-3bquickपास2015.703 s
granite-4.2-3bstreamपास35.482 s
granite-4.2-3btoolsपास52.539 s
qwen3-embedding-0.6bcontextपास32,76720.656 s
qwen3-embedding-0.6bquickपास148.122 s
qwen3.5-0.8bcontextपास16,42913.326 s
qwen3.5-0.8bquickपास17445.22 s
qwen3.5-0.8bstreamपास13.266 s
qwen3.5-0.8btoolsपास40.825 s
qwen3.5-2bcontextपास65,57961.282 s
qwen3.5-2bquickपास1516.738 s
qwen3.5-2bstreamपास25.29 s
qwen3.5-2btoolsपास47.444 s
qwen3.5-4bcontextपास65,57993.753 s
qwen3.5-4bquickपास1533.039 s
qwen3.5-4bstreamपास25.658 s
qwen3.5-4btoolsपास71.731 s
qwen3.5-4bvisionपास7043.053 s
qwen3.5-4bvision_contextपास65,63584.749 s
qwen3.5-4bvision_reverseपास7027.518 s

सिस्टम G

मॉडल रूट लेबलजाँचपरिणामइनपुट टोकनअनुरोध अवधि
gemma-4-e4b-itcontextपास65,59092.696 s
gemma-4-e4b-itquickपास2138.329 s
gemma-4-e4b-itstreamपास43.549 s
gemma-4-e4b-ittoolsपास66.616 s
granite-4.0-h-tinycontextपास65,59969.777 s
granite-4.0-h-tinyquickपास3533.17 s
granite-4.0-h-tinystreamपास31.751 s
granite-4.0-h-tinytoolsपास63.338 s
granite-4.2-3bcontextपास65,589100.849 s
granite-4.2-3bquickपास2023.355 s
granite-4.2-3bstreamपास28.75 s
granite-4.2-3btoolsपास44.226 s
qwen3-embedding-0.6bcontextपास32,76723.055 s
qwen3-embedding-0.6bquickपास148.924 s
qwen3.5-0.8bcontextपास16,42916.74 s
qwen3.5-0.8bquickपास17504.813 s
qwen3.5-0.8bstreamपास15.095 s
qwen3.5-0.8btoolsपास36.672 s
qwen3.5-2bcontextपास65,57976.731 s
qwen3.5-2bquickपास1520.949 s
qwen3.5-2bstreamपास25.194 s
qwen3.5-2btoolsपास37.552 s
qwen3.5-4bcontextपास65,57990.807 s
qwen3.5-4bquickपास1541.84 s
qwen3.5-4bstreamपास40.812 s
qwen3.5-4btoolsपास54.999 s
qwen3.5-4bvisionपास7029.619 s
qwen3.5-4bvision_contextपास65,63587.496 s
qwen3.5-4bvision_reverseपास7026.283 s

मैंने Hermes की उपयोगिता कैसे जाँची

मैंने लंबे प्रॉम्प्ट की शुरुआत के पास एक सिंथेटिक मार्कर रखा और फ़िलर के बाद वही मार्कर माँगा। जवाब में अपेक्षित मान आना जरूरी था। सर्वर द्वारा बताई गई इनपुट टोकन संख्या से अनुरोध का आकार तय हुआ। बड़े प्रॉम्प्ट के बाद सामान्य जवाब देने वाला मॉडल भी तब विफल माना गया जब शुरुआती मार्कर गलत था।

Qwen3.5 35B प्रगति में क्रमांकित फ़िलर रिकॉर्ड, तापमान 0 और 3,800, 6,800, 10,000 तथा 13,600 रिकॉर्ड की बढ़ती लंबाइयाँ इस्तेमाल हुईं। इन चरणों ने 69,429, 124,179, 182,579 और 248,279 प्रॉम्प्ट टोकन लौटाए। मॉडल चरणों के बीच लोड रहा, जिससे प्रीफ़िक्स पुनः इस्तेमाल हुआ। अलग Qwen3.6 सीमा-जाँच में कैश किए टोकन शून्य बताए गए।

0.8B लंबे प्रॉम्प्ट में शुरुआती उत्तर कुंजी और अंतिम स्मरण प्रश्न के बीच river stone lantern orchard circuit velvet compass marble 8,400 बार दोहराया गया। नेटिव रन ने think:false, num_ctx:131072, stream:false और keep_alive:0 भेजे। OpenAI-संगत रूट ने reasoning_effort:"none" इस्तेमाल किया। ब्रोकर ने रूट के लिए बिना सोचने का मोड लागू किया, इसलिए गेटवे कॉल करने वालों को क्लाइंट में बदलाव नहीं करना पड़ा।

टूल, विज़न और मुक्त करने की जाँचें

टूल परीक्षणों ने अनुरोध और टूल परिणाम लौटने के बाद का जवाब जाँचा। एक सरल परीक्षण ने add_numbers(7, 11) इस्तेमाल किया और 18 की अपेक्षा की। Qwen3.5 35B परीक्षण ने lookup_square इस्तेमाल किया और 49 की अपेक्षा की। GPT-OSS ने इन्वेंटरी लुकअप किया और लौटे इन्वेंटरी परिणाम को जवाब में शामिल किया।

विज़न जाँचों में लाल और नीली छवियों पर सवाल, छवियों का उलटा क्रम और लंबे प्रॉम्प्ट में छवि रंगों के साथ शुरुआती तथा अंतिम मार्कर शामिल थे। Qwen3.5 35B परीक्षण में 256 × 256 लाल PNG इस्तेमाल हुई। अनुरोध पास होने से पहले ब्रोकर में छवि-सामग्री रूपांतरण ठीक करना पड़ा। सिस्टम E के लंबे 4B विज़न परीक्षण में इनपुट के दौरान दोनों मार्कर और रंगों का क्रम बचना जरूरी था।

लंबे रन के आसपास मैंने GPU मेमरी, मॉडल रेसिडेंसी, तापमान, होस्ट-मेमरी दबाव, OOM घटनाएँ और GPU दोष जाँचे। Qwen3.5 35B गार्ड ने नियंत्रित व्यवधान के बाद रिलीज़ भी जाँची। बाद की क्लाइंट-रद्दीकरण और कतार अनुरोध जाँचों ने ब्रोकर पथ का परीक्षण किया। कतार में दो अनुरोध परीक्षण किए गए भार में अनुरोध सँभालने का प्रमाण हैं, दो स्वतंत्र समकालिक GPU बैकएंड का नहीं।

प्रदर्शन परिणामों को समझना

अनुरोध अवधि में लंबा-इनपुट प्रीफ़िल और लौटाया जवाब शामिल है। वे प्रति सेकंड जनरेशन टोकन नहीं हैं। स्ट्रीमिंग में पहली सामग्री आने का विलंब महत्वपूर्ण है, और कैश-प्रिफ़िक्स की प्रगति को अलग तरह से समझना होगा।

सिस्टम A और C पर बड़े मॉडल के सफल फ़ॉलो-अप रन ने माइनिंग निष्क्रिय रखते हुए समर्पित इन्फ़रेंस विंडो इस्तेमाल की। उन अनुरोधों के बाद मॉडल अनलोड हुए। परीक्षण विंडो खत्म होने पर सातों सिस्टम में माइनिंग बहाल हुई। ये नतीजे इन्फ़रेंस विंडो में मॉडल सेवा बताते हैं, एक साथ माइनिंग और इन्फ़रेंस नहीं।

परीक्षणों में इस्तेमाल बैकएंड प्रोफ़ाइल

जिस कार्य को दोहराना हो उससे जुड़ा प्रोफ़ाइल चुनें। क्वांटाइज़ेशन, रनटाइम संदर्भ, कैश प्रकार, रीजनिंग मोड और GPU स्थान सभी परिणाम प्रभावित करते हैं।

सिस्टम और मॉडलजाँचा गया बैकएंड प्रोफ़ाइल
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, f16 KV कैश, दोनों 16GB RTX 5060 Ti कार्ड, 64 GiB होस्ट RAM और बड़े क्रम के लिए 262,144 रनटाइम संदर्भ। नेटिव अनुरोधों ने think:false, तापमान 0, स्ट्रीमिंग और चरणों के बीच पाँच मिनट keep-alive इस्तेमाल किया। गेटवे अनुरोध ब्रोकर और LiteLLM से गए। अनुरोध आउटपुट सीमा नहीं।
A, Qwen3.8 27Bब्रोकर और LiteLLM से ऑन-डिमांड llama.cpp, 262,144 रनटाइम संदर्भ, एक इन्फ़रेंस स्लॉट, Q4 K/V कैश और दोनों RTX 5060 Ti कार्ड। 66,007-टोकन अनुरोध की आउटपुट सीमा नहीं थी।
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, 131,072 संदर्भ, INT8 KV कैश, एक चुना GPU, 55 GiB प्रोसेस-ग्रुप मेमरी सीमा, 30 मिनट रनटाइम सीमा, लेज़ी लोड और 60 सेकंड निष्क्रिय रहने पर अनलोड। पायलट लंबे जवाब में 217 आउटपुट टोकन। सीमा के करीब गेटवे जवाब में 11 आउटपुट टोकन, अनुरोध आउटपुट सीमा नहीं।
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, 98,304 संदर्भ, Q4 KV कैश, 8 GiB रेसिडेंट एक्सपर्ट कैश और दोनों RTX 5060 Ti कार्ड। पायलट मेमरी सीमा 52 GiB, बाद के रूट में 54 GiB। पायलट लंबे जवाब में 10 आउटपुट टोकन। पहले के बड़े संदर्भ/कैश संयोजन मेमरी सीमा पर रुके।
A, Granite 4.2 8BQ6_K GGUF वज़न, llama.cpp की साझा कार्य-प्रक्रिया, 131,072 संदर्भ, Q4_0 K/V कैश, --n-predict -1। लंबे अनुरोध में तापमान 0, स्ट्रीमिंग उपयोग और आउटपुट सीमा नहीं थी।
A, DeepSeek Coder V2 16BQ4_0 GGUF वज़न, Ollama 0.34.2, दो RTX 5060 Ti कार्ड और 64 GiB होस्ट RAM। अलग f16, Q4_0 और Q8_0 कैश परीक्षणों ने तुलना टेबल में दिखाए रनटाइम संदर्भ इस्तेमाल किए। अनुरोध आउटपुट सीमा नहीं।
B, C, D, ऑडिट की गई Ollama सेवाOllama 0.34.2, 131,072 संदर्भ, समानांतरता 1, एक लोड मॉडल, कतार आकार 128, keep-alive 0, Flash Attention और Q4_0 KV कैश।
B, Qwen3.5 9B गेटवे पायलटLiteLLM रूट टाइमआउट 1,800 सेकंड, पुनः प्रयास शून्य, संदर्भ या आउटपुट-टोकन सीमा नहीं। 72,265 इनपुट टोकन पर दोनों सेंटिनल बचे। अलग माइनिंग-पुनर्प्राप्ति जाँच पास हुई।
C, Qwen3.5 0.8B30 W पावर प्रोफ़ाइल पर एक RTX 2000E Ada में Q8_0 वज़न। रनटाइम संदर्भ 131,072। नेटिव think:false, OpenAI-संगत reasoning_effort:"none", आउटपुट सीमा नहीं। ब्रोकर अलीयास ने रनटाइम संदर्भ बाँधा और बिना सोचने का मोड लागू किया।
C, Gemma 4 12B-ITसिंगल-GPU Ollama प्रोफ़ाइल, 131,072 रनटाइम संदर्भ, आउटपुट सीमा बिना Aperture स्ट्रीम और नॉन-स्ट्रीम अनुरोध। सीधे Aperture रन का उच्चतम तापमान 75 C और शक्ति 30.64 W रही, जबकि प्रोफ़ाइल 30 W पर सेट था, फिर अनलोड हुआ।
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20Bसही इंस्टॉल किए आर्टिफ़ैक्ट का Aperture से परीक्षण, 131,072 रनटाइम संदर्भ, एक GPU में पूरी रेसिडेंसी और अनुरोध आउटपुट सीमा बिना स्वाभाविक समापन।
E, F, G, llama.cpp की चैट प्रक्रियाएँBuild 11669, 99 GPU लेयर, समानांतरता 1, Flash Attention, Q4_0 K/V कैश और --n-predict -1। रनटाइम संदर्भ मॉडल परिवार के साथ बदला।

रिकॉर्ड किए सेवा प्रोफ़ाइल अपने रनटाइम कॉन्फ़िगरेशन बताते हैं। सिस्टम A का अलग से जाँचा गया f16-कैश Qwen3.5 35B प्रोफ़ाइल छोटे Ollama सिस्टम की Q4_0 कैश सेटिंग नहीं अपनाता।

नए रिटेन्ड-इनपुट रन के मॉडल फ़िंगरप्रिंट

ये मॉडल पहचानकर्ता जाँचे गए आर्टिफ़ैक्ट को मिलते-जुलते नाम वाले दूसरे डाउनलोड या अलीयास से अलग करते हैं।

आर्टिफ़ैक्टक्वांटाइज़ेशनरिकॉर्डेड डाइजेस्ट या फ़ाइल SHA-256
Qwen3.5 35B-A3B Ollama टैगQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B बेस Ollama टैगQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF फ़ाइलQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Ollama मेनिफ़ेस्ट डाइजेस्ट और वज़न-फ़ाइल SHA-256 अलग-अलग ऑब्जेक्ट पहचानते हैं। तालिका में आर्टिफ़ैक्ट के प्रकार से पहचानकर्ता मिलाएँ।

मैं Hermes के साथ क्या चलाऊँगा

दो-कार्ड RTX 5060 Ti सिस्टम पर Qwen3.5 35B मुख्य उच्च-संदर्भ रूट होगा। इसके 239,153-टोकन गेटवे रिटेंशन परिणाम, टूल और विज़न के अलग पास तथा सत्यापित अनुरोध-मुक्ति इसे बड़े संदर्भ विंडो का विज्ञापन करने वाले मॉडल से बेहतर समर्थन देते हैं। समान 66K अनुरोध का तेज़ जवाब पाने के लिए Qwen3.8 27B और एक कार्ड इस्तेमाल करने की जरूरत पर Qwen3.6 उपलब्ध रखूँगा।

RTX 2000E Ada सिस्टमों पर जाँचे गए लंबे-इनपुट जवाब कार्य के लिए सिस्टम C का सत्यापित Gemma 3 4B रूट चुनूँगा। सीमित स्मरण और एक्सट्रैक्शन के लिए बिना सोचने वाला Qwen3.5 0.8B आज़माऊँगा। बड़े Gemma, Qwen और GPT-OSS रूट उन कामों के लिए ठीक हैं जहाँ चार से पाँच मिनट का जाँचा हुआ शुरुआती जवाब स्वीकार्य हो। सिस्टम D का विफल Gemma 3 रूट बाहर रखूँगा।

8GB RTX 3060 Ti और RTX 3070 कार्डों के लिए Qwen3.5 2B या 4B से शुरुआत करूँगा। उनके 65K टेक्स्ट परिणाम और 4B छवि जाँच दोनों 16GB कार्ड हर अनुरोध को दिए बिना उपयोगी शुरुआती कॉन्फ़िगरेशन का समर्थन करते हैं। जाँचे गए प्रोफ़ाइल पर Flash Next का मेमरी दबाव और DeepSeek Coder V2 का अधूरा 65K व्यवहार उन्हें कमजोर डिफ़ॉल्ट बनाता है।

परीक्षण विशिष्ट कार्यप्रवाहों के लिए इन मॉडल और सिस्टम विकल्पों का समर्थन करते हैं। इनपुट रिटेंशन, सही टूल राउंड ट्रिप, छवि पहचान और साफ़ रिलीज़ Hermes की उपयोगिता के अलग पहलुओं का जवाब देते हैं। भरोसेमंद सेटअप में एजेंट द्वारा इस्तेमाल किए व्यवहार और जवाब तथा टूल ट्रैफ़िक के लिए पर्याप्त संदर्भ चाहिए।

स्रोत और संबंधित लेख