बिना सेंसर वाला स्थानीय AI मॉडल कैसे चुनें

Table of Contents
मॉडल चुनना: हर संस्करण को इस आधार पर परखें कि वह कितने उपयोगी उत्तर पूरे करता है, कितनी गुणवत्ता बनाए रखता है और आपके काम के लिए कितनी मेमोरी चाहिए। कम अस्वीकार या लोकप्रिय मॉडल कार्ड इन नतीजों का प्रमाण नहीं है।
बिना सेंसर लेबल का कोई मानक प्रदर्शन पैमाना नहीं है। मॉडल प्रकाशित करने वाले इस शब्द का उपयोग वज़न में अलग-अलग बदलाव, फ़ाइन-ट्यून और चैट टेम्पलेट के लिए करते हैं। हर विकल्प की तुलना उसके मूल मॉडल से करें और उन कामों पर जाँचें जिन्हें आप चलाना चाहते हैं।
यह लेबल क्या बताता है
एब्लिटरेटेड मॉडल के वज़न में अस्वीकार के कुछ व्यवहार बदलने के लिए संशोधन किया गया होता है। 2024 के अस्वीकार की दिशा शोधपत्र ने 13 खुले चैट मॉडल पर एक तरीका दिखाया था। नए टूल दूसरे तरीके भी देते हैं। उदाहरण के लिए, Heretic 2 मनमाने रैंक एब्लेशन और दिशात्मक एब्लेशन, दोनों का दस्तावेज़ देता है। मॉडल कार्ड का लेबल यह नहीं बताता कि कौन-सा व्यवहार बदला या बदलाव का क्या असर हुआ।
मॉडल की तुलना करते समय ये चार गुण अलग रखें:
| गुण | क्या जाँचें |
|---|---|
| अस्वीकार का व्यवहार | किन अनुरोधों पर अस्वीकार, आंशिक उत्तर या पूरा उत्तर मिलता है? |
| क्षमता का बने रहना | तथ्य, तर्क, कोडिंग और फ़ॉर्मैटिंग के काम मूल मॉडल की तुलना में कैसे हैं? |
| उत्तर पूरा होना | टोकन या समय सीमा खत्म होने से पहले कितनी बार जनरेशन पूरी होती है? |
| रनटाइम के अनुकूल होना | क्या ठीक वही क्वांटाइज़ की गई फ़ाइल ज़रूरी संदर्भ के लिए पर्याप्त मेमोरी में चलती है? |
संशोधित मॉडल भी संभाव्यता के आधार पर काम करता है। गुणवत्ता की जाँचें अलग रखें: सटीकता, विश्वसनीयता और सुरक्षित उपयोग। जहाँ सुरक्षा उपाय ज़रूरी हैं, वहाँ सामान्य रूप से अलाइन्ड मॉडल भी उपलब्ध रखें।
अस्वीकारों की संख्या कमज़ोर रैंकिंग क्यों है
अस्वीकार स्कोर एक अनुरोधों का सेट पर एक नतीजा मापता है। यह तथ्यात्मक सटीकता, उत्तर की लंबाई या जनरेशन बजट खत्म होने से पहले अंतिम उत्तर मिलने के बारे में बहुत कम बताता है।
Sapwell की सितंबर 2026 की Qwen3.8-27B तुलना में मूल मॉडल और आठ संस्करणों को एक ही सर्विंग सेटअप में परखा गया। 13 कामों वाले क्षमता परीक्षण ने ज्ञान, गणित, कोडिंग और सत्यता मापी। अलग HarmBench सेट में 400 हानिकारक अनुरोध थे और एक LLM जज ने पूरे उत्तरों की समीक्षा की। ये नतीजे एक मॉडल परिवार, एक GPU और एक मूल्यांकन तरीके तक सीमित हैं।
| अध्ययन में Qwen3.8-27B संस्करण | 400 में स्पष्ट अस्वीकार | अधूरे तर्क वाले उत्तर |
|---|---|---|
| मूल मॉडल | 381 | 0% |
| OrcaRouter | 2 | 38% |
| Trohrbaugh | 122 | 15% |
मूल मॉडल के ज़्यादा अस्वीकारों के साथ अधूरे आउटपुट कम थे। OrcaRouter के कम अस्वीकारों के साथ अधूरे उत्तरों की दर अधिक थी। Trohrbaugh ने ज़्यादा अस्वीकार बनाए रखे और अधूरे उत्तर कम दिए। अपने काम और स्वीकार्य समझौतों के हिसाब से चुनें।
Gemma 4 E4B के 23 संस्करणों के अध्ययन में सबसे अधिक डाउनलोड हुए संस्करण की कुछ क्षमता-जाँचों में उल्लेखनीय गिरावट मिली, जबकि छोटा संशोधन अपने परीक्षण में मूल मॉडल के करीब रहा। लोकप्रियता और डाउनलोड संख्या इस्तेमाल को दिखाती है। वे गुणवत्ता नहीं मापतीं।
इन मापों को एक स्कोर में न मिलाएँ। माप अलग रखें: अस्वीकार, पूरा होना, सहीपन और देरी। अनुरोधों का सेट, मॉडल रिविज़न, चैट टेम्पलेट, रनटाइम, संदर्भ और आउटपुट सीमा भी दर्ज करें। इनमें से कोई सेटिंग बदलने से तुलना का अर्थ बदल जाता है।
मॉडल बदलने से पहले खाली उत्तर का कारण जाँचें
तर्क वाले टोकन दिखाई देने वाला पाठ आने से पहले आउटपुट सीमा में गिने जाते हैं। अंदरूनी सोच के दौरान सीमा खत्म हो जाए तो कुछ रनटाइम खाली या कटा हुआ उत्तर देते हैं। यह अस्वीकार या पूरे लेकिन गलत उत्तर से अलग परिणाम है।
Sapwell के Qwen3.6-27B बेंचमार्क ने दिखाया कि इससे मुख्य स्कोर पर क्या असर पड़ा। गणित के कच्चे स्कोर में बड़ा अंतर था क्योंकि कुछ रन अंतिम उत्तर तक नहीं पहुँचे। पूरे हुए उत्तरों में मापी गई सटीकता के मान कहीं ज़्यादा करीब थे। बेंचमार्क ने उत्तर देने की क्षमता और तर्क बजट खत्म होने को अलग रखा।
उत्तर खाली हो तो रनटाइम का रुकने का कारण और लॉग देखें। अनुरोध की लंबाई, संदर्भ आवंटन, आउटपुट टोकन सीमा, बीता समय और अंतिम-उत्तर चिह्न बना या नहीं, यह दर्ज करें। फिर, अगर उपकरण में जगह हो, तो अधिक आउटपुट सीमा के साथ वही अनुरोध दोहराएँ।
| नतीजा | जाँचने की संभावित श्रेणी |
|---|---|
| अस्वीकार का पाठ | मॉडल ने अनुरोध ठुकराया। |
| टोकन सीमा पर खाली आउटपुट | अंतिम उत्तर से पहले जनरेशन बजट खत्म हो गया। |
| कटा हुआ आउटपुट | जनरेशन सीमा ने अधूरे उत्तर को रोक दिया। |
| रनटाइम त्रुटि | सर्वर, मॉडल फ़ाइल या मेमोरी आवंटन विफल हुआ। |
| पूरा लेकिन गलत उत्तर | मॉडल ने पाठ दिया, लेकिन सहीपन की जाँच में विफल हुआ। |
खाली आउटपुट: हर मामले को मॉडल की कमी कहने से पहले रनटाइम का नतीजा पक्का करें। बड़ा संदर्भ विंडो अपने आप कम आउटपुट सीमा, खराब टेम्पलेट या एप्लिकेशन टाइमआउट ठीक नहीं करता।
वज़न और संदर्भ के लिए VRAM रखें
मॉडल फ़ाइल मेमोरी का एक ही उपभोक्ता है। रनटाइम को सक्रिय अनुरोध और उत्तर की attention स्थिति सहेजने वाले KV कैश, गणना बफ़र और अन्य लोड की गई प्रक्रियाओं के लिए भी जगह चाहिए। संदर्भ लंबा करने से मेमोरी का उपयोग बढ़ता है।
Ollama के मौजूदा दस्तावेज़ 24 GiB से कम VRAM पर 4K, 24 से 48 GiB पर 32K और 48 GiB या अधिक पर 256K के डिफ़ॉल्ट संदर्भ विंडो बताते हैं। ये रनटाइम का डिफ़ॉल्ट व्यवहार है। आवंटित संदर्भ और प्रोसेसर की जगह ollama ps से जाँचें।
Linux उदाहरण: यह कमांड नए Ollama सर्वर सत्रों के लिए 16K डिफ़ॉल्ट सेट करती है:
OLLAMA_CONTEXT_LENGTH=16384 ollama serve
लोड किए गए मॉडल का आवंटित संदर्भ सामान्य इनपुट और उत्तर के आकार से मिलाकर जाँचें:
ollama ps
CONTEXT और PROCESSOR कॉलम आवंटन और यह दिखाते हैं कि मॉडल GPU पर चल रहा है या उसका कुछ हिस्सा बाहर भेजा गया है। संदर्भ आवंटन: सूची में दिखाई गई सीमा पूरी विंडो के VRAM में समाने की गारंटी नहीं देती।
GPU मेमोरी के अनुसार शुरुआती विकल्प
शुरुआती विकल्प: ये मॉडल परिवार 2026 के संस्करणों की तुलना में आए थे। फ़ाइल आकार विशेष क्वांटाइज़ किए गए रिपॉज़िटरी से हैं। किसी विकल्प को उपयुक्त मानने से पहले सही फ़ाइल, रनटाइम समर्थन और मापी गई मेमोरी की पुष्टि करें।
| GPU मेमोरी | शुरुआती विकल्प | मुख्य सीमा |
|---|---|---|
| 8 GB | Gemma 4 E4B, जैसे coder3101 संस्करण | वज़न की फ़ाइल छोटी रखता है। संदर्भ और रनटाइम बफ़र के लिए मेमोरी छोड़ें। |
| 12 GB | Gemma 4 12B, जैसे TrevorJS की 7.4 GB GGUF Q4 फ़ाइल | मॉडल की क्षमता बढ़ती है, लेकिन छोटे संस्करण की तुलना में लंबे संदर्भ के लिए कम जगह बचती है। |
| 16 GB | छोटा मॉडल या Qwen3.8-27B की Q3 फ़ाइल | Qwen रिपॉज़िटरी Q3_K_S को 13.72 GB बताती है। प्रकाशक इसे कम गुणवत्ता वाला कहता है। संदर्भ की गुंजाइश सीमित होगी। |
| 24 GB | Qwen3.8-27B Q4_K_S या Q4_K_M | मौजूदा रिपॉज़िटरी 16.71 GB और 17.77 GB फ़ाइल बताती है। कैश और बफ़र के लिए जगह रखें। |
| 32 GB | Qwen3.8-27B Q6_K | मौजूदा रिपॉज़िटरी 23.46 GB फ़ाइल बताती है। बड़ी फ़ाइल छोटी क्वांट की तुलना में संदर्भ के लिए कम मेमोरी छोड़ती है। |
इन्हें शुरुआती विकल्प मानें। रिपॉज़िटरी और संस्करण बदलते हैं, और केवल फ़ाइल का आकार रनटाइम मेमोरी आवंटन या उत्तर की गुणवत्ता नहीं बताता।
GGUF क्वांटाइज़ेशन लेबल एन्कोडिंग के चुनाव का सार बताते हैं। रिपॉज़िटरी के अंतर: समान नाममात्र बिट-गहराई वाली फ़ाइलें बराबर गुणवत्ता की गारंटी नहीं देतीं। एक Qwen रिपॉज़िटरी Q3_K_S को कम गुणवत्ता और Q4_K_M को डिफ़ॉल्ट विकल्प कहती है। डाउनलोड से पहले सही फ़ाइल आकार, मॉडल कार्ड, अनुरोध फ़ॉर्मैट और परीक्षण परिणाम देखें।
कैश का आकार और स्थानीय GPU में फिट होने के लिए साइट की स्थानीय मॉडल, GPU और संदर्भ गाइड देखें। उसकी सलाह कोडिंग कार्य पर केंद्रित है। यह पृष्ठ बदले हुए अस्वीकार व्यवहार और मूल्यांकन पर केंद्रित है।
चैट टेम्पलेट और मॉडल के स्रोत को देखें
चैट टेम्पलेट संदेशों को उन टोकन और निर्देशों में लपेटता है जिनकी मॉडल अपेक्षा करता है। मॉडल पैकेज में कस्टम टेम्पलेट या सिस्टम अनुरोध हो सकता है। मूल वज़न समान रहने पर भी ये बदलाव मापे गए व्यवहार को प्रभावित करते हैं।
टेम्पलेट का प्रभाव: Sapwell को Qwen3.8 का एक ऐसा संस्करण मिला जिसके पैकेज में व्यक्तित्व ने मॉडल को कभी अस्वीकार या चेतावनी न देने का निर्देश दिया था। कम अस्वीकार का उसका दावा उस टेम्पलेट पर निर्भर था। वजन के अंतर को जाँचने के लिए उसकी तुलना ने टेम्पलेट एक जैसे रखे। इससे यह साबित नहीं होता कि दिया गया टेम्पलेट दुर्भावनापूर्ण या अनुपयोगी है।
इंस्टॉल करने से पहले: प्रकाशक, बेस मॉडल, लाइसेंस, रूपांतरण प्रक्रिया, क्वांटाइज़र, टेम्पलेट और रिविज़न इतिहास की जाँच करें। उसी टेम्पलेट और रनटाइम में मूल मॉडल से तुलना करें। मॉडल कार्ड में तरीका या परीक्षण सेटअप न हो तो स्रोत को अज्ञात दर्ज करें।
अपने काम के लिए छोटा मूल्यांकन चलाएँ
दोहराया जा सकने वाला अनुरोधों का सेट बनाएँ उन सामान्य कामों से जो आपके हैं या जिन्हें जाँचने की अनुमति है। मॉडल का वास्तविक काम, ज्ञात उत्तर वाले तथ्यात्मक प्रश्न और साफ़ पास-शर्तों वाले फ़ॉर्मैट अनुरोध शामिल करें। कुछ सुरक्षित सीमा-मामले भी जोड़ें ताकि अस्वीकार का व्यवहार निर्णय का हिस्सा रहे।
मूल और संशोधित मॉडल के लिए परीक्षण सेटिंग समान रखें। सिस्टम अनुरोध, टेम्पलेट, क्वांटाइज़ेशन, रनटाइम संस्करण, संदर्भ, आउटपुट सीमा और सैंपलिंग सेटिंग न बदलें। नतीजों के साथ मॉडल रिविज़न या फ़ाइल हैश सहेजें।
हर नतीजा अलग दर्ज करें:
- पूरा होना: अंतिम उत्तर, अस्वीकार, खाली आउटपुट, कटना या रनटाइम त्रुटि।
- सहीपन: अपेक्षित उत्तर या मानदंड के अनुसार पास या फ़ेल।
- उपयोगिता: उत्तर काम की ज़रूरत पूरी करता है या नहीं।
- देरी: पहला टोकन आने का समय और कुल जनरेशन समय।
- मेमोरी: आवंटित संदर्भ, GPU पर जगह और अधिकतम VRAM।
- सुरक्षा व्यवहार: हर सीमा-मामले में उचित अस्वीकार या आगे बढ़ना।
एक बार में एक चल बदलकर सेट फिर चलाएँ। आउटपुट सीमा बढ़ाने के बाद उत्तर पूरा हो जाए तो पहली विफलता बजट की वजह से थी। उत्तर अधूरे रहें तो मॉडल टेम्पलेट, तर्क मोड, रनटाइम और मॉडल रिविज़न जाँचें। संस्करण तभी रखें जब वह सटीकता या सुरक्षा में अस्वीकार्य कमी के बिना लक्ष्य काम बेहतर करे।
डिप्लॉयमेंट को अलग रखें
गोपनीयता: स्थानीय इन्फ़रेंस पूरे स्टैक पर निर्भर करता है। फ्रंट एंड, लॉग, एक्सटेंशन, टेलीमेट्री और नेटवर्क रास्ते जाँचें। अविश्वसनीय वज़न और कस्टम टेम्पलेट को तीसरे पक्ष का कोड और कॉन्फ़िगरेशन मानें।
सार्वजनिक पहुँच: मॉडल एंडपॉइंट को सीधे सार्वजनिक इंटरनेट पर कभी न खोलें। टूल की पहुँच अलग रखें और संशोधित संस्करण केवल अधिकृत काम के लिए चलाएँ। दूरस्थ पहुँच के लिए एंडपॉइंट को प्रमाणीकरण, अनुरोध सीमा और नेटवर्क अलगाव वाले निजी गेटवे के पीछे रखें। मूल अस्वीकार की दिशा शोधपत्र अस्वीकार हटाने वाले बदलावों के सुरक्षा प्रभाव बताता है।
निष्कर्ष
निर्णय का नियम: अपने काम के सेट पर सबसे अच्छे सत्यापित नतीजे देने वाला मॉडल चुनें। अस्वीकार की संख्या को एक माप मानें, फिर उत्तर पूरा होना, सहीपन, टेम्पलेट का व्यवहार और VRAM की खाली जगह जाँचें। GPU के अनुकूल फ़ाइल से शुरू करें, काम के अनुसार संदर्भ तय करें और समान सेटिंग में मूल मॉडल से तुलना करें।
GPU का आकार चुनने के लिए इन नतीजों की साइट के Qwen 27B GPU किराया बेंचमार्क से तुलना करें। सही मॉडल फ़ाइल या संदर्भ लक्ष्य को लेकर अनिश्चित हों तो खरीदने से पहले उपकरण किराए पर लें या उधार लें।
स्रोत
- Qwen3.8-27B एब्लिटरेशन बेंचमार्क , Nathan Sapwell, 6 सितंबर 2026।
- Qwen3.6-27B एब्लिटरेशन बेंचमार्क , Nathan Sapwell, 2026-05-17।
- Gemma 4 E4B संस्करण बेंचमार्क , Nathan Sapwell, 1 अगस्त 2026।
- Gemma 4 12B संस्करण बेंचमार्क , Nathan Sapwell, 28 अगस्त 2026।
- भाषा मॉडल में अस्वीकार एक दिशा से संचालित होता है , Arditi और अन्य, 2024।
- Heretic परियोजना दस्तावेज़ .
- आधिकारिक Qwen3.8-27B मॉडल कार्ड .
- संदर्भ लंबाई पर Ollama दस्तावेज़ .
- Gemma 4 E4B
coder3101मॉडल कार्ड . - TrevorJS की Gemma 4 12B GGUF फ़ाइलें .
- OrcaRouter Qwen3.8-27B GGUF फ़ाइलें .
- GGUF फ़ॉर्मैट और क्वांटाइज़ेशन प्रकार , Hugging Face दस्तावेज़।
- वीडियो स्रोत: मैंने हर बिना सेंसर वाले स्थानीय AI मॉडल को परखा (8GB से 32GB VRAM तक) .
This article refers to other articles we've written:
- आपको कौन सा लोकल AI मॉडल चलाना चाहिए? अक्टूबर 2026 के लिए GPU, कॉन्टेक्स्ट और कोडिंग गाइड
कोडिंग एजेंटों के लिए लोकल AI मॉडल चुनने की अक्टूबर 2026 की व्यावहारिक गाइड। GPU मेमोरी, KV-कैश वृद्धि, कॉन्टेक्स्ट आकार, क्वांटाइजेशन गुणवत्ता, प्रॉम्प्ट प्रोसेसिंग, रीजनिंग सेटिंग और क्लाउड रेंटल लागत की तुलना करें।
- Vast.ai पर Llama 3.1 8B और Qwen3.8 27B GPU बेंचमार्क
प्रमुख Vast.ai GPU पर Llama 3.1 8B और Qwen3.8 27B के मापे गए Ollama बेंचमार्क। डिकोड गति, लंबे संदर्भ, किराया लागत, self-hosting, API क्रेडिट और सदस्यताओं की तुलना।






