Ollama क्या करता है
Ollama Gemma, gpt-oss, Qwen और DeepSeek-R1 जैसे ओपन AI मॉडल डाउनलोड करता है और उन्हें आपके अपने कंप्यूटर पर चलाता है। Windows पर यह एक सामान्य ऐप की तरह इंस्टॉल होता है, जो बैकग्राउंड में चलता रहता है, और Command Prompt व PowerShell में ollama कमांड जोड़ देता है। Ollama के FAQ में लिखा है: "Ollama runs locally. We don't see your prompts or data when you run locally." यह वैकल्पिक क्लाउड मॉडल भी देता है, जो Ollama के सर्वर पर प्रोसेस होते हैं। Ollama, MIT लाइसेंस के तहत ओपन सोर्स है।
Windows की ज़रूरतें (Ollama के दस्तावेज़ से)
- Windows 10 22H2 या नया, Home या Pro।
- NVIDIA: ड्राइवर 551.61 या नया। Ollama के हार्डवेयर पेज पर compute capability 5.0 और उससे ऊपर के NVIDIA कार्ड सपोर्टेड हैं, यानी GTX 750 से लेकर RTX 50 सीरीज़ तक।
- AMD Radeon: ROCm एक्सेलरेशन के लिए ROCm v7 / HIP7 वाला ड्राइवर, या Vulkan के लिए Vulkan सपोर्ट वाला Radeon ड्राइवर। Ollama के मुताबिक़ कुछ RX 6000 कार्ड मौजूदा Windows ड्राइवर पर ROCm v7 नहीं दिखाते, इसलिए उनके लिए Vulkan सुझाया गया विकल्प है।
- डिस्क: ऐप के लिए कम से कम 4 GB। मॉडल के लिए अलग जगह चाहिए, और Ollama चेतावनी देता है कि मॉडल "tens to hundreds of GB" के हो सकते हैं।
- GPU नहीं है? Ollama सिस्टम RAM से भी मॉडल चला सकता है। इसके quickstart के मुताबिक़ तब जवाब धीमे आ सकते हैं।
स्टेप-बाय-स्टेप इंस्टॉलेशन
- ollama.com/download पर जाएँ और Windows इंस्टॉलर OllamaSetup.exe डाउनलोड करें। चाहें तो PowerShell खोलकर Ollama का अपना एक-लाइन इंस्टॉलर चलाएँ:
irm https://ollama.com/install.ps1 | iex - इंस्टॉलर चलाएँ। यह आपके यूज़र अकाउंट में इंस्टॉल होता है, इसलिए एडमिन अधिकार नहीं माँगता।
- Ollama बैकग्राउंड में शुरू हो जाता है और सिस्टम ट्रे में आइकन दिखाता है। यह लॉग-इन के समय अपने-आप शुरू होने के लिए भी रजिस्टर हो जाता है।
- नई PowerShell या Command Prompt विंडो खोलें और
ollamaचलाएँ। सेटअप प्रॉम्प्ट दिखेंगे, जहाँ आप लोकल मॉडल चुन सकते हैं (या क्लाउड मॉडल के लिए साइन-इन कर सकते हैं)। - छोटा मॉडल आज़माने के लिए
ollama run gemma4:e2bचलाएँ। यही उदाहरण Ollama के quickstart में है। डाउनलोड लगभग 7.2 GB का है, और Ollama इसके लिए 8 GB खाली VRAM की सलाह देता है। - सवाल लिखें और Enter दबाएँ। चैट से बाहर निकलने के लिए
/byeलिखें।
Ollama को D: ड्राइव में इंस्टॉल करें (या मॉडल दूसरी जगह रखें)
कई लैपटॉप में C: ड्राइव छोटी होती है। Ollama के दस्तावेज़ में दो हल हैं:
- ऐप दूसरी जगह इंस्टॉल करें: टर्मिनल से इंस्टॉलर ऐसे चलाएँ:
OllamaSetup.exe /DIR="d:\some\location", और फ़ोल्डर की जगह अपना फ़ोल्डर लिखें। - मॉडल दूसरी जगह रखें: Settings (Windows 11) या Control Panel (Windows 10) खोलें, environment variables खोजें, Edit environment variables for your account पर क्लिक करें, और
OLLAMA_MODELSनाम का वेरिएबल बनाकर उसमें मनचाहा फ़ोल्डर लिखें, जैसेD:\ollama-models। OK दबाएँ, ट्रे आइकन से Ollama बंद करें और फिर से शुरू करें।
रोज़ काम आने वाले कमांड
ollama pull gemma4चैट शुरू किए बिना मॉडल डाउनलोड करता है।ollama lsआपके पास मौजूद मॉडल की सूची दिखाता है।ollama psबताता है कि कौन-से मॉडल लोड हैं और वे GPU पर चल रहे हैं या CPU पर।ollama stop gemma4चल रहे मॉडल को मेमोरी से हटाता है।ollama rm gemma4मॉडल डिलीट करके डिस्क खाली करता है।
दूसरे ऐप Ollama से उसके लोकल API http://localhost:11434 के ज़रिए बात कर सकते हैं।
समस्याएँ और हल
- जवाब बहुत धीमे आते हैं:
ollama psचलाएँ। PROCESSOR कॉलम में "100% GPU" का मतलब है कि मॉडल ग्राफ़िक्स मेमोरी में समा गया है, और "100% CPU" का मतलब है कि वह सिस्टम RAM से चल रहा है। "48%/52% CPU/GPU" जैसी मिली-जुली वैल्यू का मतलब है कि मॉडल दोनों में बँटा है। छोटा मॉडल आज़माएँ या GPU ड्राइवर अपडेट करें। - GPU नहीं पहचाना गया: Ollama के मुताबिक़ सबसे नया ड्राइवर सबसे अच्छे नतीजे देता है। NVIDIA पर देखें कि ड्राइवर 551.61 या नया है।
- प्रोग्रेस बार में चौकोर डिब्बे दिखते हैं: Ollama, Unicode अक्षर इस्तेमाल करता है जिन्हें Windows 10 के कुछ पुराने टर्मिनल फ़ॉन्ट नहीं दिखा पाते। टर्मिनल का फ़ॉन्ट बदलें।
←[?25h←[?25lजैसे अक्षर या "The parameter is incorrect": यह पुराने Windows 10 टर्मिनल का जाना-पहचाना बग है। Windows अपडेट करें।- डिस्क भर गई: ऊपर बताए तरीके से
OLLAMA_MODELSके ज़रिए मॉडल दूसरी ड्राइव पर ले जाएँ, और बेकार मॉडलollama rmसे डिलीट करें। - लॉग कहाँ हैं: Win + R दबाकर
explorer %LOCALAPPDATA%\Ollamaलिखें।server.logफ़ाइल में सबसे ताज़ा सर्वर लॉग होता है। - Ollama को Windows के साथ शुरू होने से रोकें: Task Manager खोलें, Startup apps टैब में ollama ढूँढें और Disable पर क्लिक करें।
- अपडेट: Windows पर Ollama अपडेट अपने-आप डाउनलोड करता है। ट्रे आइकन पर क्लिक करके Restart to update चुनें।
अनइंस्टॉल करने के लिए Windows Settings में Add or remove programs इस्तेमाल करें। अगर आपने OLLAMA_MODELS से मॉडल दूसरी जगह रखे थे, तो अनइंस्टॉलर वह फ़ोल्डर नहीं हटाता, इसलिए ज़रूरत न हो तो उसे ख़ुद डिलीट करें।
आगे: DeepSeek-R1 को लोकल चलाएँ, या Ollama की तुलना LM Studio और Jan से देखें।