लोकल AI की गोपनीयता: आपके कंप्यूटर पर क्या रहता है और क्या नहीं
Table of Contents
लोकल AI आपके डेटा क्षेत्र को छोटा करता है। लोकल रनटाइम में संसाधित प्रॉम्प्ट आपके डिवाइस पर रहता है, जब मॉडल, टूल, लॉग और नेटवर्क पथ लोकल रहते हैं। लोकल GPU कंप्यूटर को बंद सिस्टम नहीं बनाता।
मॉडल रनटाइम, टूल प्लगइन, ब्राउज़र एक्सटेंशन, रिमोट एक्सेस, खुले API और मॉडल डाउनलोड अभी भी जोखिम तय करते हैं। लागत भी महत्वपूर्ण है। बिजली की कीमत होस्टेड टोकन कीमत से कम हो सकती है, जबकि हार्डवेयर स्वामित्व पूरी ब्रेक-ईवन अवधि को भविष्य में धकेलता है।
यह गाइड पहले गोपनीयता सीमा का नक्शा बनाती है। फिर मौजूदा विक्रेता कीमतों, बिजली की स्पष्ट धारणा और दिए गए वीडियो के रिपोर्ट किए गए आंकड़ों से लागत जांचती है।
यह लोकल बनाम होस्टेड लागत तुलना नीचे दिए गए सूत्रों का संदर्भ देती है। अपने हार्डवेयर पर वही मॉडल फाइल और रनटाइम जांचे बिना इसके थ्रूपुट आंकड़े न अपनाएं।
वीडियो में 2 मिनट 31 सेकंड का रनटाइम बताया गया है। मैंने वॉच पेज से इसका शीर्षक और समय जांचा। मैंने हार्डवेयर परीक्षण दोहराया नहीं, इसलिए इसकी गति स्रोत द्वारा रिपोर्ट किए गए माप हैं।
छोटा उत्तर
- नियंत्रित डेटा पथ के लिए लोकल इन्फरेंस चुनें। मॉडल सर्वर डिवाइस पर रखें, उसे loopback से बांधें और टूल एक्सेस सीमित करें।
- कभी-कभार के काम के लिए होस्टेड इन्फरेंस चुनें। काम कम हो या पसंदीदा मॉडल आपके सिस्टम में न आए, तो हार्डवेयर खर्च से बचें।
- लोकल लागत को दो संख्याओं में बांटें। सक्रिय घंटे की बिजली और हार्डवेयर स्वामित्व अलग रखें।
- गोपनीयता को सिस्टम का गुण मानें। प्लगइन फाइल अपलोड करे या लोकल API हर नेटवर्क इंटरफेस पर सुने, तो निजी मॉडल का लाभ खत्म हो जाता है।
जब संवेदनशील टेक्स्ट वर्कस्टेशन या अलग नेटवर्क के भीतर रहना चाहिए, तब लोकल इन्फरेंस मदद करता है। ऑफलाइन संचालन, मॉडल का स्थिर संस्करण और प्रदाता कोटा के बिना स्थिर एक्सेस के लिए भी यह उपयोगी है।
ये लाभ बेहतर उत्तर साबित नहीं करते। होस्टेड मॉडल किसी काम के लिए अधिक उपयुक्त, तेज या कम रखरखाव वाला हो सकता है। हार्डवेयर खरीदने से पहले काम का माप लें।
डेटा पथ का पता लगाएं
रिक्वेस्ट में शामिल हर घटक का नक्शा बनाएं। केवल मॉडल का नाम यह नहीं बताता कि डेटा कहां जाता है।
| घटक | गोपनीयता प्रश्न | इकट्ठा करने योग्य प्रमाण |
|---|---|---|
| लोकल मॉडल सर्वर | क्या प्रॉम्प्ट होस्ट पर रहता है? | प्रोसेस कॉन्फिगरेशन, सुनने का पता और आउटबाउंड ट्रैफिक |
| क्लाउड मॉडल | कौन सा टेक्स्ट, फाइल और टूल परिणाम होस्ट से बाहर जाता है? | API एंडपॉइंट, प्रदाता की शर्तें, रिक्वेस्ट लॉग और अकाउंट सेटिंग |
| लोकल ऐप में क्लाउड मोड | क्या चुना गया मॉडल डिवाइस पर चलता है? | मॉडल पहचानकर्ता, प्रदाता लेबल और नेटवर्क कनेक्शन |
| टूल प्लगइन | क्या मॉडल को फाइल, शेल आउटपुट या ब्राउज़र सामग्री मिलती है? | टूल सूची, अनुमतियां और कैप्चर किया गया रिक्वेस्ट डेटा |
| मॉडल डाउनलोड | कौन सा कोड और वेट होस्ट में आते हैं? | स्रोत रिपॉजिटरी, लाइसेंस, रिलीज चेकसम और डाउनलोड पथ |
| लोकल लॉग | प्रॉम्प्ट और टूल परिणाम कहां टिकते हैं? | रनटाइम लॉग, शेल हिस्ट्री, क्रैश रिपोर्ट और बैकअप सीमा |
लोकल मॉडल प्रॉम्प्ट पथ से एक प्रदाता हटा देता है। पथ के बाकी हिस्से की समीक्षा फिर भी जरूरी है।
लोकल का अर्थ डिफॉल्ट रूप से निजी नहीं है
Ollama की गोपनीयता नीति कहती है कि मॉडल लोकल चलने पर Ollama प्रॉम्प्ट या डेटा नहीं देखता। नीति लोकल संचालन और क्लाउड-होस्टेड मॉडल को अलग भी करती है। एक ही ऐप दोनों मोड शुरू करे, तब भी क्लाउड मॉडल सेवा सीमा बनाता है।
llama.cpp का सर्वर दस्तावेज
दिखाता है कि लोकल सर्वर डिफॉल्ट रूप से 127.0.0.1:8080 पर सुनता है। इसके Docker उदाहरण --host 0.0.0.0 भी दिखाते हैं, जो सेवा को सभी इंटरफेस पर खोलता है। व्यापक bind पता एक्सेस सीमा बदल देता है।
संवेदनशील टेक्स्ट भेजने से पहले सुनने का पता जांचें:
lsof -nP -iTCP -sTCP:LISTEN | rg 'ollama|llama|8080|11434'
सामान्य स्थिति में 127.0.0.1 या localhost एक्सेस को उसी होस्ट तक सीमित करता है। LAN पता या 0.0.0.0 के लिए फायरवॉल नियम और प्रमाणीकरण योजना चाहिए। दोनों स्थितियों का परीक्षण किए बिना मॉडल एंडपॉइंट नेटवर्क पर न खोलें।
चुने गए मॉडल का नाम भी जांचें। Ollama का क्लाउड दस्तावेज क्लाउड मॉडल को अलग सेवा पथ बताता है। लोकल इंटरफेस लोकल निष्पादन साबित नहीं करता।
Ollama का
FAQ
लोकल-ओनली मोड बताता है। ~/.ollama/server.json में disable_ollama_cloud सेट करें, या सेवा रीस्टार्ट करने से पहले OLLAMA_NO_CLOUD=1 सेट करें। इससे चुने गए रनटाइम से Ollama क्लाउड मॉडल और वेब सर्च हटते हैं। इससे होस्ट पर दूसरे ऐप, ब्राउज़र टूल, प्लगइन या नेटवर्क एक्सेस सीमित नहीं होते।
{
"disable_ollama_cloud": true
}
रीस्टार्ट के बाद सेटिंग जांचें। लोकल-ओनली रनटाइम एक पथ को छोटा करता है। यह निजी होस्ट स्थापित नहीं करता।
होस्टेड लागत गिनें
टोकन कीमतें इनपुट और आउटपुट अलग रखती हैं। Anthropic Claude Haiku 5.5 के लिए 100,000 टोकन तक के प्रॉम्प्ट पर प्रति दस लाख इनपुट टोकन $0.10 और प्रति दस लाख आउटपुट टोकन $0.50 बताता है । 100,000 टोकन से बड़े प्रॉम्प्ट के लिए दी गई ऊंची दरें लागू होती हैं।
OpenAI का टोकन गाइड समझाता है कि शब्दों की संख्या टोकन संख्या के बराबर क्यों नहीं होती। यह इनपुट, आउटपुट, कैश्ड इनपुट और रीजनिंग टोकन भी अलग करता है। शब्द-आधारित अनुमान के बजाय प्रदाता के उपयोग फ़ील्ड इस्तेमाल करें।
सरल तुलना के लिए दस लाख जनरेटेड टोकन और दस लाख इनपुट टोकन को अलग काम मानें। कोडिंग एजेंट बार-बार संदर्भ भेजता और छोटा उत्तर बनाता है, इसलिए एक संयुक्त टोकन संख्या लागत मिश्रण छिपा देती है।
लोकल बिजली की गणना करें
NVIDIA की RTX 5070 लॉन्च घोषणा में शुरुआती कीमत $549 थी। NVIDIA का RTX 5070 परिवार पेज Founders Edition संदर्भ डिजाइन के लिए 12 GB मेमोरी और 250 W कुल ग्राफिक्स पावर बताता है। समीक्षा के समय NVIDIA उत्पाद पेज पर $549 कीमत थी और कार्ड स्टॉक में नहीं था।
GPU पावर पूरी सिस्टम पावर नहीं है। अपने PC के लिए वॉल मीटर इस्तेमाल करें। नीचे का उदाहरण 400 W पूरे सिस्टम की खपत मानता है, जिसमें GPU, प्रोसेसर, मेमोरी, स्टोरेज, पंखे और पावर-सप्लाई नुकसान शामिल हैं। यह गणना की धारणा है, माप नहीं।
U.S. Energy Information Administration का पूर्वानुमान 2026 की औसत घरेलू बिजली कीमत के लिए 18.2 सेंट प्रति किलोवाट-घंटा इस्तेमाल करता है। आपकी बिजली दर परिणाम बदलती है।
जनरेटेड आउटपुट के लिए यह सूत्र इस्तेमाल करें:
local cost per 1M output tokens =
(whole_system_watts / 1,000)
× (1,000,000 / output_tokens_per_second / 3,600)
× electricity_price_per_kWh
400 W और $0.182 प्रति किलोवाट-घंटा पर सिस्टम की लागत $0.0728 प्रति सक्रिय घंटा है।
| आउटपुट गति | 1M टोकन का समय | 1M टोकन की बिजली लागत |
|---|---|---|
| 20 टोकन प्रति सेकंड | 13 घंटे 53 मिनट | $1.01 |
| 50 टोकन प्रति सेकंड | 5 घंटे 33 मिनट | $0.40 |
| 94 टोकन प्रति सेकंड | 2 घंटे 57 मिनट | $0.22 |
50 आउटपुट टोकन प्रति सेकंड पर लोकल बिजली की लागत Haiku 5.5 की $0.50 आउटपुट कीमत से कम है। 20 आउटपुट टोकन प्रति सेकंड पर यह अधिक है। इन धारणाओं में आउटपुट गति सीमा लगभग 40 टोकन प्रति सेकंड है।
इनपुट गणना में भी यही सूत्र है। 2,650 इनपुट टोकन प्रति सेकंड पर दस लाख इनपुट टोकन में लगभग 6 मिनट 17 सेकंड लगते हैं और बिजली की लागत लगभग $0.008 है। 1,000 इनपुट टोकन प्रति सेकंड पर वही काम लगभग $0.020 का है।
दिए गए ट्रांसक्रिप्ट में RTX 5070 उदाहरण के लिए 94 आउटपुट टोकन प्रति सेकंड और 2,650 इनपुट टोकन प्रति सेकंड बताया गया है। 400 W धारणा के तहत ऊपर की गणना इन आंकड़ों से मिलती है। ट्रांसक्रिप्ट में स्वतंत्र लैब रिकॉर्ड, मॉडल फाइल हैश, रनटाइम बिल्ड, प्रॉम्प्ट या वॉल मीटर रीडिंग नहीं है। इन गतियों को संदर्भ परिणाम मानें, खरीद गारंटी नहीं।
हार्डवेयर ब्रेक-ईवन बदलता है
बिजली की बचत अकेले हार्डवेयर का भुगतान नहीं करती। पूरी खरीद की तुलना होस्टेड आउटपुट लागत और लोकल परिवर्तनीय लागत के अंतर से करें।
50 आउटपुट टोकन प्रति सेकंड पर:
$0.50 hosted output price - $0.40 local power = $0.10 saved per 1M tokens
$549 GPU price / $0.10 = about 5.5 billion output tokens
94 आउटपुट टोकन प्रति सेकंड पर गोल की गई बचत प्रति दस लाख टोकन लगभग $0.28 हो जाती है। $549 GPU की लागत वापस पाने के लिए लगभग 2 अरब आउटपुट टोकन चाहिए। दोनों आंकड़ों में सिस्टम मेमोरी, स्टोरेज, मदरबोर्ड, पावर सप्लाई, कूलिंग, रखरखाव और पुनर्विक्रय मूल्य शामिल नहीं हैं।
लॉन्च कीमत सार्वभौमिक खरीद कोट नहीं है। NVIDIA के मौजूदा पेज पर आधिकारिक कीमत थी, स्टॉक नहीं। $819 की विक्रेता लिस्टिंग को ब्रेक-ईवन मॉडल में डालने से पहले अलग जांच चाहिए। अपनी असली रसीद और मापी गई वॉल पावर इस्तेमाल करें।
मौजूदा हार्डवेयर निर्णय बदलता है। यदि वर्कस्टेशन में पहले से पर्याप्त मेमोरी और सही GPU है, तो अगली गतिविधि के लिए हार्डवेयर लागत पहले ही हो चुकी है। पावर, समय, गुणवत्ता, गोपनीयता और रखरखाव की तुलना करें। पूरा सिस्टम खरीदना हो, तो पूरे सिस्टम की तुलना होस्टेड उपयोग से करें।
मॉडल-फिट विवरण के लिए लोकल AI मॉडल और GPU संदर्भ गाइड और 16GB VRAM आकार गाइड पढ़ें। रिपोर्ट किए गए लोकल कोडिंग-एजेंट सेटअप के लिए Strata और OpenCode गाइड पढ़ें।
लोकल गोपनीयता आपको क्या देती है
- छोटा डेटा पथ: इन्फरेंस लोकल रहने पर प्रॉम्प्ट को मॉडल प्रदाता तक नहीं जाना पड़ता।
- ऑफलाइन संचालन: डाउनलोड किया गया मॉडल और लोकल रनटाइम टेक्स्ट बनाने के लिए लाइव प्रदाता कनेक्शन नहीं मांगते।
- वर्जन नियंत्रण: प्रदाता के स्वचालित बदलाव के बजाय आप मॉडल फाइल और रनटाइम संस्करण चुनते हैं।
- उपयोग नियंत्रण: हार्डवेयर और बिजली की लागत जोड़ने के बाद लोकल इन्फरेंस प्रति-रिक्वेस्ट क्लाउड मीटर से बचाता है।
- नेटवर्क नीति नियंत्रण: फायरवॉल और होस्ट नियंत्रण तय करते हैं कि मॉडल एंडपॉइंट तक कौन पहुंचे।
ये लाभ सोर्स कोड, ग्राहक रिकॉर्ड, अप्रकाशित डिजाइन, निजी नोट और डिस्कनेक्टेड वातावरण के काम में सबसे अधिक महत्वपूर्ण हैं। लोकल इन्फरेंस के लिए डिस्क एन्क्रिप्शन, होस्ट अपडेट, अकाउंट अलगाव और सीमित टूल अभी भी जरूरी हैं।
लोकल गोपनीयता आपको क्या नहीं देती
- गुणवत्ता की गारंटी: छोटे या क्वांटाइज्ड मॉडल को आपके वास्तविक स्वीकृति मानदंड पर जांचना होगा।
- सप्लाई-चेन की गारंटी: मॉडल फाइल, रनटाइम, प्लगइन और कंटेनर इमेज को भरोसेमंद स्रोत और अखंडता जांच चाहिए।
- साफ होस्ट: मैलवेयर, ब्राउज़र एक्सटेंशन, बैकअप, क्रैश रिपोर्टर और रिमोट एडमिन होस्ट डेटा देख सकते हैं।
- सुरक्षित नेटवर्क एंडपॉइंट: हर इंटरफेस पर बंधा सर्वर बचाव के लिए नई सेवा बनाता है।
- मुफ्त सिस्टम: बिजली, स्टोरेज, कूलिंग, हार्डवेयर घिसाव और रखरखाव की लागत रहती है।
Strata लोकल कोडिंग-एजेंट गाइड दिखाती है कि सिस्टम मेमोरी, संदर्भ, टूल एक्सेस और रनटाइम सेटिंग को मूल्यांकन में क्यों रखना चाहिए। केवल GPU मेमोरी गोपनीयता या प्रदर्शन सीमा तय नहीं करती।
सही सीमा चुनें
| स्थिति | पहली बेहतर पसंद | कारण |
|---|---|---|
| संवेदनशील दस्तावेज और मौजूदा संगत PC | लोकल इन्फरेंस | प्रॉम्प्ट को नियंत्रित होस्ट में रखें और नया हार्डवेयर खर्च रोकें |
| कभी-कभार सामान्य ड्राफ्टिंग | होस्टेड API या चैट सेवा | छोटे काम के लिए भुगतान करें और रखरखाव बचाएं |
| फ्रंटियर मॉडल या विशेष क्लाउड टूल | होस्टेड सेवा | जरूरी मॉडल या टूल लोकल होस्ट पर उपलब्ध नहीं है |
| सत्यापित लोकल मॉडल के साथ बड़ा नियमित वॉल्यूम | लोकल या हाइब्रिड | पावर, गुणवत्ता, सपोर्ट समय और प्रदाता कीमत की तुलना करें |
| मिश्रित काम | हाइब्रिड रूटिंग | संवेदनशील काम लोकल रखें और स्वीकृत सामान्य काम होस्टेड मॉडल को भेजें |
हाइब्रिड रूटिंग के लिए स्पष्ट वर्गीकरण नियम चाहिए। डेटा को केवल-लोकल, होस्टेड प्रोसेसिंग के लिए स्वीकृत या समीक्षा तक प्रतिबंधित चिह्नित करें। नियम लागू करने के लिए मॉडल नाम या ऐप आइकन पर निर्भर न रहें।
भरोसा करने से पहले जांचें
- मॉडल पथ का नाम लिखें। मॉडल पहचानकर्ता, रनटाइम, संस्करण और डाउनलोड स्रोत दर्ज करें।
- बाइंड पता जांचें। जब तक व्यापक पथ की लिखित जरूरत न हो, सर्वर के loopback पर सुनने की पुष्टि करें।
- हर टूल की सूची बनाएं। फाइल, शेल, ब्राउज़र, नेटवर्क और प्लगइन एक्सेस देखें।
- स्थायित्व जांचें। प्रॉम्प्ट लॉग, टूल आउटपुट, क्रैश रिपोर्ट, बैकअप और साझा मॉडल डायरेक्टरी खोजें।
- नेटवर्क व्यवहार जांचें। प्रतिनिधि प्रॉम्प्ट के साथ संवेदनशील परीक्षण में कनेक्शन देखें।
- सिस्टम मापें। वॉल पावर, आउटपुट गति, इनपुट गति, संदर्भ लंबाई और रिट्राई दर्ज करें।
- स्वीकृत काम जांचें। केवल टोकन प्रति सेकंड नहीं, पूरे काम और समीक्षा प्रयास की तुलना करें।
लोकल AI बनाम ChatGPT गाइड मॉडल क्षमता के समझौते बताती है। इस गोपनीयता चेकलिस्ट को गुणवत्ता परीक्षण के साथ इस्तेमाल करें।
संदर्भ
- वीडियो, क्या लोकल AI उपयोगी है? हमने Claude Haiku 5.5 से लागत की तुलना की
- NVIDIA Blackwell GeForce RTX 50 Series लॉन्च घोषणा
- NVIDIA GeForce RTX 5070 परिवार विनिर्देश
- NVIDIA GeForce RTX 5070 उत्पाद पेज
- U.S. Energy Information Administration, अक्टूबर 2026 Short-Term Energy Outlook
- Anthropic Claude Haiku 5.5
- Anthropic Claude प्लेटफॉर्म कीमत
- OpenAI, टोकन समझना और गिनना
- Ollama गोपनीयता नीति
- llama.cpp सर्वर दस्तावेज
Related Posts
