Table of Contents

स्थानीय AI स्पष्ट जांच वाले सीमित काम के लिए व्यावहारिक विकल्प है। ChatGPT या Claude को दिए गए काम को बदलने के लिए मॉडल क्षमता, उपयोगी मेमोरी और आउटपुट की जांच तथा पुष्टि करने वाला एजेंट एक साथ फिट होना चाहिए।

वर्कस्टेशन में फिट होने वाले मॉडल को भी बार-बार प्रयास के लिए उपयुक्त टूल और पर्याप्त गति चाहिए। यह लेख बेंचमार्क परिणाम, मेमोरी अनुमान और पूरे किए गए काम के प्रमाण को अलग रखता है।

मुख्य बातें

  • क्षमता: संदर्भ स्कोर खास मूल्यांकन स्थितियां बताते हैं, आपके स्थानीय क्वांटाइज्ड बिल्ड का परिणाम नहीं।
  • मेमोरी: वेट, कॉन्टेक्स्ट कैश और रनटाइम ओवरहेड को साथ में बजट करें।
  • गति: एजेंट वार्तालाप को दोहराना सर्विंग प्रदर्शन मापता है, सही परिणाम नहीं।
  • सत्यापन: एजेंट को मांगे गए परिणाम से मेल खाते चेक चाहिए।
  • चयन: हार्डवेयर खरीदने से पहले दोहराए गए काम, सुधार समय और कुल लागत की तुलना करें।

स्कोर को संदर्भ में पढ़ें

Artificial Analysis Intelligence Index कई मूल्यांकनों को एक संदर्भ स्कोर में जोड़ता है। मॉडल लीडरबोर्ड और स्थानीय हार्डवेयर परिणाम 6 अक्टूबर 2026 को जांची गई ये प्रविष्टियां दिखाते हैं।

मॉडल और सेटिंगइंडेक्स स्कोरइस तुलना में तैनाती
Qwen3.8 27B, xhigh34डाउनलोड किए जा सकने वाले वेट
GLM-5.3, max45डाउनलोड किए जा सकने वाले वेट
GPT-6 Astra, max53होस्टेड सेवा
Claude Opus 5.5, max with fallback58होस्टेड सेवा

इंडेक्स अंक बुद्धिमत्ता या कार्य-सफलता के प्रतिशत नहीं हैं। GLM और Claude के बीच 13 अंकों का अंतर आपके कोडिंग परिणाम में 13% अंतर सिद्ध नहीं करता। एक ही मॉडल की तुलना में रीजनिंग सेटिंग भी मायने रखती है।

प्रकाशित मूल्यांकन पद्धति परीक्षण व्यवस्था बताती है। कुछ मूल्यांकनों में टूल और एजेंट इंफ्रास्ट्रक्चर शामिल हैं। स्कोर को उन्हीं स्थितियों का परिणाम मानें। इसे किसी दूसरे ऐप में चलने वाली संपीड़ित स्थानीय कॉपी पर सीधे लागू न करें।

ChatGPT और Claude उत्पाद हैं, जबकि यह तालिका चुने गए अंतर्निहित मॉडल की तुलना करती है। आपका सब्सक्रिप्शन, चुना मॉडल, उपलब्ध टूल और काम का संदर्भ अतिरिक्त अंतर पैदा करते हैं। पहले ऐसा काम चुनें जिसे आप दोहराते हैं, फिर पूरी व्यवस्था जांचें।

पूरे अनुरोध का बजट बनाएं

मेमोरी फिट तीन आवंटनों से शुरू होता है। मॉडल वेट सीखे हुए पैरामीटर रखते हैं। की-वैल्यू, या KV कैश, इन्फरेंस में इस्तेमाल होने वाला अटेंशन डेटा रखता है। रनटाइम बफर और अन्य सॉफ्टवेयर बाकी जगह लेते हैं।

Required memory = resident weights + context cache + runtime allowance
Available memory = physical capacity - operating system and application reserve

क्वांटाइजेशन मॉडल वेट की स्टोरेज सटीकता घटाता है। कम सटीकता मेमोरी आवश्यकता घटाती है, लेकिन गुणवत्ता मॉडल और क्वांटाइज्ड बिल्ड पर निर्भर करती है। कैश सटीकता अलग सेटिंग है। Q4 वेट फाइल चार-बिट कैश सिद्ध नहीं करती।

वेट-केवल अनुमान में 16 बिट पर 27 अरब पैरामीटर के लिए लगभग 50.3 GiB चाहिए। 8 बिट पर करीब 25.1 GiB और 4 बिट पर करीब 12.6 GiB चाहिए। प्रकाशित फाइल आकार में मेटाडेटा, पैकिंग और मिश्रित सटीकता भी शामिल होती है। तैनाती योजना के लिए सही फाइलों का उपयोग करें।

Qwen3.8-27B मॉडल कार्ड और GLM-5.3 मॉडल कार्ड अलग आर्किटेक्चर बताते हैं। Mixture-of-experts मॉडल हर टोकन पर केवल कुछ पैरामीटर सक्रिय करता है, लेकिन बाकी वेट को भी स्टोरेज चाहिए। ऑफलोडिंग स्थान और लेटेंसी बदलती है, वेट हटाती नहीं।

प्रकाशित फाइलों से शुरू करें

डाउनलोड आकार पैरामीटर संख्या से अधिक ठोस शुरुआती बिंदु देता है। Unsloth के प्रकाशित Qwen और GLM बिल्ड चुने गए क्वांटाइजेशन से बदलती स्टोरेज जरूरत दिखाते हैं।

क्वांटाइज्ड बिल्डप्रकाशित आकार, दशमलव GBअनुमानित GiB
Qwen3.8 27B Q4_016.115.0
Qwen3.8 27B Q8_029.027.0
GLM-5.3 UD-Q4_K_XL467434.9
GLM-5.3 UD-IQ2_M239222.6

फाइल स्रोत: Qwen Q4_0 , Qwen Q8_0 , GLM UD-Q4_K_XL shards , और GLM UD-IQ2_M shards । मान 6 अक्टूबर 2026 को जांची गई गोल सूची हैं। GiB रूपांतरण दशमलव बाइट को 2³⁰ से भाग देता है।

ये वेट-फाइल आकार हैं, कुल रेजिडेंट मेमोरी माप नहीं। लोडिंग, कैश, अस्थायी बफर और अतिरिक्त मॉडल भाग चलते हुए प्रोसेस को प्रभावित करते हैं। यूनिट बदले बिना 29 GB डाउनलोड की तुलना 30 GiB आवंटन से न करें।

कॉन्टेक्स्ट फिट बदलता है

Qwen का अटेंशन कैश गणना का उदाहरण देता है। इसकी प्रकाशित कॉन्फिगरेशन 64 लेयर, हर चौथी लेयर पर फुल अटेंशन, चार की-वैल्यू हेड और 256 हेड आयाम बताती है।

Full-attention KV bytes per token:
16 layers × 4 KV heads × 256 dimensions × 2 (K and V) × 2 bytes
= 65,536 bytes

8,192 tokens  = 0.5 GiB
32,768 tokens = 2.0 GiB

यह गणना किया गया कैश भाग एक सीक्वेंस के लिए 16-बिट की और वैल्यू मानता है। इसमें लीनियर-अटेंशन स्थिति, रनटाइम बफर, allocator ओवरहेड और वैकल्पिक vision या speculative decoding भाग शामिल नहीं हैं। इनके लिए भी रिजर्व रखें।

उदाहरण योजना बजट के लिए गोल वेट आकार में बाकी आवंटनों हेतु 3–5 GiB जोड़ें। यह अनुमान है। चुने हुए रनटाइम के माप से इसे बदलें।

बिल्ड और कॉन्टेक्स्टगणना की गई योजना सीमा
Qwen Q4_0, 8K18.5–20.5 GiB
Qwen Q8_0, 8K30.5–32.5 GiB
Qwen Q8_0, 32K32.0–34.0 GiB

30 GiB का उपयोगी आवंटन Q4 उदाहरण के लिए पर्याप्त जगह देता है, जबकि इन अनुमानों में Q8 स्थितियां सीमा पार करती हैं। कम मापा गया रिजर्व सीमा बदलता है। छोटा प्रॉम्प्ट सफल होना लंबे कोडिंग सत्र के लिए पर्याप्त क्षमता सिद्ध नहीं करता।

एक साथ अनुरोध एक और आयाम जोड़ते हैं। Ollama समानांतर अनुरोधों के साथ कॉन्टेक्स्ट मेमोरी बढ़ने और अलग कैश-सटीकता नियंत्रण को दस्तावेज करता है। Q8 कैश F16 कैश की लगभग आधी मेमोरी और Q4 लगभग एक-चौथाई लेता है। गुणवत्ता का समझौता मॉडल पर निर्भर है। Ollama रनटाइम FAQ देखें।

हार्डवेयर को आवंटन से मिलाएं

RTX 5090 में 32 GB समर्पित ग्राफिक्स मेमोरी है। 128 GB वाला DGX Spark साझा मेमोरी इस्तेमाल करता है। Artificial Analysis दोनों कॉन्फिगरेशन को हार्डवेयर परिणामों में दर्ज करता है। अधिक क्षमता बड़े आवंटन देती है, लेकिन सर्विंग गति सिद्ध नहीं करती।

हार्डवेयर स्थितिव्यावहारिक प्रभाव
RTX 5090, 32 GBQwen Q4, Q8 की तुलना में अधिक कॉन्टेक्स्ट हेडरूम छोड़ता है
DGX Spark, 128 GBदोनों Qwen बिल्ड के लिए जगह, रनटाइम ओवरहेड फिर भी जरूरी
Mac Studio, 256 GBबड़े वेट सेट रनटाइम और आवंटन सीमा के अधीन उम्मीदवार हैं

GLM UD-Q4_K_XL कैश जोड़ने से पहले तीनों क्षमताओं से बड़ा है। लगभग 222.6 GiB का IQ2 वेट सेट भी 128 GB सिस्टम से बड़ा है। 256 GB Mac पर व्यवहार्यता GPU को उपलब्ध वास्तविक आवंटन और बचे ओवरहेड पर निर्भर है। Apple के स्पेसिफिकेशन हार्डवेयर विकल्प बताते हैं, गारंटीकृत इन्फरेंस आवंटन नहीं।

काल्पनिक 240 GiB उपयोगी बजट इन IQ2 वेट के बाद करीब 17.4 GiB छोड़ता है। 192 GiB बजट केवल वेट पर ही विफल होता है। कोई भी बजट OS डिफॉल्ट, कंप्रेस्ड कैश समर्थन, उपयोगी थ्रूपुट या स्वीकार्य IQ2 गुणवत्ता सिद्ध नहीं करता। इस काम के लिए खरीद से पहले चलने वाली रनटाइम कॉन्फिगरेशन देखें।

गति अलग परिणाम है

Artificial Analysis का स्थानीय इन्फरेंस बेंचमार्क 168 मॉडल टर्न वाले रिकॉर्डेड वर्कलोड को दोहराता है। इसके लैपटॉप और वर्कस्टेशन परिणाम जांची गई Qwen3.8 27B कॉन्फिगरेशन के लिए ये समय देते हैं।

सिस्टमसर्विंग रीप्ले समय
DGX Spark, 128 GB24.2 मिनट
RTX 50904.9 मिनट
Mac Studio, 256 GBइस तुलना में कोई परिणाम नहीं

RTX परिणाम Spark समय का लगभग पांचवां है। सर्विंग कॉन्फिगरेशन मायने रखती हैं, इसलिए यह सार्वभौमिक हार्डवेयर अनुपात नहीं है। जांचे गए सर्विंग बिल्ड ऊपर के GGUF योजना उदाहरणों से भी अलग हैं।

रीप्ले समय टूल निष्पादन छोड़ता है और रिकॉर्डेड उत्तर लंबाई तय करता है। यह नहीं जांचता कि उत्तर मूल काम हल करते हैं या नहीं। MacBook माप Mac Studio प्रदर्शन सिद्ध नहीं करता।

एजेंट को फीडबैक दें

एजेंट निष्पादन प्रणाली टूल, कॉन्टेक्स्ट, एक्शन लूप और सत्यापन देती है। मॉडल इसी प्रणाली में एक्शन लिखता या चुनता है। CSV एक्सपोर्ट में प्रोजेक्ट फाइल पढ़ना, कोड बदलना, टेस्ट चलाना और निकली त्रुटियां पाना उपयोगी क्षमता हैं।

उदाहरण एक्सपोर्ट कार्य लें, मापा प्रयोग नहीं। एजेंट डाउनलोड सुविधा लिखता है, लेकिन गलत तारीख प्रारूप रखता है। दृश्य समीक्षा समस्या नहीं देखती। टेस्ट एक्सपोर्ट फाइल खोलता है और तारीखों की तुलना आवश्यक प्रारूप से करता है। एजेंट विफलता पाकर फॉर्मेटर बदलता है और जांच दोहराता है।

गायब घटकसंभावित विफलता
संबंधित कॉन्टेक्स्टअसंबंधित फाइल बदलता है
निष्पादन टूलसुधार लागू किए बिना उसका वर्णन करता है
सत्यापन चरणसंभावित कोड के बाद रुकता है
त्रुटि फीडबैकविफल तरीका दोहराता है

LangChain ने GPT-5.2-Codex को स्थिर रखते हुए Terminal Bench 2.0 पर 52.8% से 66.5% का बदलाव रिपोर्ट किया। इसकी एजेंट इंजीनियरिंग रिपोर्ट सत्यापन मार्गदर्शन, पर्यावरण कॉन्टेक्स्ट, दोहराए गए संपादन की पहचान और रीजनिंग बजट बदलाव बताती है।

काम से मेल खाते चेक चुनें

पास हुआ चेक केवल अपने दायरे को सिद्ध करता है। कॉलम नाम जांचने वाला CSV टेस्ट तारीख प्रारूप, उद्धरण, Unicode और एक्सेस कंट्रोल नहीं जांचता। सत्यापन चुनने से पहले अपेक्षित परिणाम तय करें।

कामउपयोगी पूर्णता प्रमाण
कोड बदलावसंबंधित टेस्ट और परिणाम व्यवहार की जांच
रिसर्च उत्तरहर दावे को सहारा देने वाले प्राप्त स्रोत
बुकिंग या रिफंडसही सहेजी गई स्थिति और लागू नीति का पालन
दस्तावेज एक्सपोर्टमांगे गए फील्ड और प्रारूप से मेल खाता पार्स आउटपुट

τ-bench अध्ययन टूल, उपयोगकर्ता और डोमेन नियमों से बातचीत करने वाले एजेंट का मूल्यांकन करता है। इसका रिसर्च पेपर अंतिम डेटाबेस स्थिति को अपेक्षित परिणाम से जांचता है। इससे पता चलता है कि लेनदेन की पुष्टि के लिए सहज भाषा पर्याप्त नहीं।

स्थानीय का अर्थ ऑफलाइन नहीं

स्थानीय इन्फरेंस बताता है कि मॉडल कहां चलता है। आसपास का ऐप तय करता है कि दस्तावेज, सर्च क्वेरी, ट्रेस और टूल परिणाम कहां जाते हैं। रिमोट सर्च या क्लाउड टूल से जुड़ा स्थानीय कोडिंग मॉडल नेटवर्क वाला सिस्टम है।

Ollama कहता है कि स्थानीय निष्पादन के लिए उसे प्रॉम्प्ट या उत्तर नहीं मिलते और क्लाउड फीचर बंद करने की जानकारी देता है। यह रनटाइम-विशिष्ट बयान है, हर जुड़े एजेंट के लिए गोपनीयता गारंटी नहीं। मॉडल एंडपॉइंट और हर इंटीग्रेशन को रनटाइम दस्तावेज से जांचें।

डेटा पथक्या जांचें
इन्फरेंस एंडपॉइंटस्थानीय प्रोसेस, रिमोट सर्वर या स्वचालित fallback
सर्च और रिट्रीवलबाहर भेजी गई क्वेरी और दस्तावेज अंश
टूल कनेक्शनहर सेवा के सामने रखी फाइल और रिकॉर्ड
लॉग और ट्रेसस्टोरेज स्थान, रखा गया कंटेंट और पहुंच

हाइब्रिड वर्कफ्लो को स्पष्ट हस्तांतरण नियम चाहिए। निजी दस्तावेज निष्कर्षण स्थानीय रखें और होस्टेड विश्लेषण के लिए केवल स्वीकृत समेकित परिणाम भेजें। बाहर जाने वाला सही कंटेंट देखें। नाम, ग्राहक विवरण या गोपनीय निष्कर्ष बचने पर सारांश में भी संवेदनशील जानकारी रहती है।

खरीद से पहले जांचें

स्पष्ट समाप्ति शर्त वाला दोहराया काम चुनें। टूल सहित स्थानीय व्यवस्था की तुलना उस होस्टेड उत्पाद से करें जिसे आप उपयोग करते हैं। दोनों को समान इनपुट और स्वीकृति मानदंड दें, फिर प्रतिनिधि उदाहरणों पर काम दोहराएं।

  1. कॉन्फिगरेशन दर्ज करें: सही मॉडल फाइल, क्वांटाइजेशन, बैकएंड संस्करण, कॉन्टेक्स्ट सीमा और रीजनिंग सेटिंग।
  2. सफलता परिभाषित करें: अपेक्षित आर्टिफैक्ट, जरूरी व्यवहार और प्रतिबंधित साइड इफेक्ट।
  3. पूर्णता मापें: बीता समय, पास चेक, विफल प्रयास और मैनुअल सुधार।
  4. स्वामित्व लागत जोड़ें: हार्डवेयर, बिजली, API शुल्क, रखरखाव और अपना समय।
  5. विफलता वर्गीकृत करें: रीजनिंग त्रुटि, मेमोरी सीमा, लेटेंसी, गायब कॉन्टेक्स्ट या गायब सत्यापन।

स्थानीय इन्फरेंस उन कामों के लिए ठीक है जिनकी जांची गुणवत्ता और लेटेंसी आपकी जरूरत पूरी करे। अतिरिक्त क्षमता विफलता या समीक्षा काम घटाए तो होस्टेड मॉडल उपयोगी है। कौन-सा डेटा मशीन से बाहर जा सकता है, यह तय करने के बाद हाइब्रिड वर्कफ्लो दोनों को अलग काम देता है।

स्वीकार किए गए परिणाम की लागत गिनें

मानवीय सुधार समय अर्थशास्त्र बदलता है। तेज स्थानीय उत्तर को दस मिनट सुधार चाहिए तो वह समीक्षा पास करने वाले धीमे उत्तर से अधिक काम का समय लेता है। इन्फरेंस खर्च के साथ स्वीकार किए गए परिणाम गिनें।

Cost per accepted task =
(hardware allocation + electricity + service fees + maintenance + review time)
÷ accepted tasks

उदाहरण समीक्षा लागत: 30 डॉलर प्रति घंटे की धारणा पर आठ मिनट सुधार की लागत 4 डॉलर प्रति काम है। ऐसे 100 काम समीक्षा समय में 400 डॉलर लेते हैं। ये अंक गणितीय उदाहरण हैं, स्थानीय मॉडल की मापी हुई विफलता दर नहीं।

समान परिणामों की तुलना करें। अस्वीकृत प्रयासों को समय और लागत में जोड़ें। अपने हार्डवेयर में खरीद मूल्य को वास्तविक सेवा अवधि और काम की संख्या में बांटें। होस्टेड सेवा में लागू सब्सक्रिप्शन या API खर्च और बचा समीक्षा काम जोड़ें।

हार्डवेयर विवरण के लिए स्थानीय मॉडल, GPU और कॉन्टेक्स्ट गाइड पढ़ें। क्षमता और मूल्य के लिए DGX Spark मेमोरी तुलना देखें। अपने काम के परिणामों से गुणवत्ता, गति और डेटा जरूरत पूरी करने वाला सबसे छोटा सेटअप चुनें।

संदर्भ वीडियो

संदर्भ