How-to 8 min read
How to run DeepSeek V4 locally: what it really takes (LM Studio, Ollama, vLLM)
DeepSeek V4 को लोकल कैसे चलाएँ: असल में क्या चाहिए (LM Studio, Ollama, vLLM)
By the ToolsBharat teamPublished 30 Oct 2026How we check
Applies to DeepSeek V4 & V4.1 (open weights) DeepSeek-V4.1-Flash-1017 (V4.1); DeepSeek-V4-Flash-0731 and DeepSeek-V4-Pro-0813 (V4) (released 17 Oct 2026)
Quick answer
DeepSeek V4's weights are free under the MIT licence, but they are huge. The smallest local build we found is DeepSeek V4 Flash in LM Studio: a 156.40 GB download that LM Studio says needs at least 156 GB of RAM. Ollama has no local V4 model, and ollama run deepseek-v4.1-flash:cloud runs on Ollama's servers, not your PC. On an ordinary PC, use DeepSeek's app or API, or a small DeepSeek-R1 distill instead.
The short answer
DeepSeek V4 is genuinely open: DeepSeek publishes the code and the model weights on Hugging Face under the MIT licence. Running it at home is a different matter, because every V4 model is very large. These figures come from DeepSeek's own model cards:
- DeepSeek-V4-Flash: 284B parameters in total, 13B active per token, 1M-token context.
- DeepSeek-V4-Pro: 1.6T parameters in total, 49B active.
- DeepSeek-V4.1-Flash: a 552B backbone that activates 8B parameters while reading input and 16B while generating, with image input.
DeepSeek's Hugging Face page lists no small V4 versions. The smallest local build we found is LM Studio's DeepSeek V4 Flash, a 156.40 GB download. LM Studio says you need at least 156 GB of RAM to run it. ToolsBharat has not run any of these models. Everything below comes from DeepSeek's model cards and the Ollama and LM Studio pages, checked on 30 October 2026.
Step 1: check whether your PC can run it at all
DeepSeek publishes no minimum hardware requirements for V4. Its only concrete example is on the DeepSeek-V4-Flash-0731 card, which shows vLLM serving the model "on a single 4×GB300 node". That is data-centre hardware.
The number that matters for a PC is LM Studio's: at least 156 GB of RAM for the smallest DeepSeek V4 Flash build. If your PC has 8, 16 or 32 GB of RAM, it will not fit. You also need more than 156.40 GB of free disk space for the download.
LM Studio's own requirements are separate from this. On Windows it needs an x64 processor with AVX2 (or a Snapdragon X Elite ARM PC), and it recommends at least 16 GB of RAM and 4 GB of dedicated VRAM. Those figures are for the app, not for a model this size.
Step 2: run DeepSeek V4 Flash in LM Studio
Of Ollama and LM Studio, only LM Studio lists a downloadable V4 model. Its page says the build is "DeepSeek-V4-Flash-0731", which DeepSeek calls the official V4-Flash release.
- Install LM Studio from lmstudio.ai.
- Press Ctrl + 2 to open the Discover tab. LM Studio's docs say you can search by keyword or by a
user/modelname. - Search for "deepseek v4 flash".
- Check that the result is DeepSeek V4 Flash (
deepseek/deepseek-v4-flashon LM Studio's model page) with a size of 156.40 GB, then download it. - When the download finishes, go to the Chat tab, open the model loader (Ctrl + L) and pick DeepSeek V4 Flash.
- Set the reasoning effort. LM Studio lists three levels for this model: low, high and max.
DeepSeek's recommended settings for local use, from the V4-Flash-0731 card: temperature 1.0, with top_p 0.95 for agent tasks and 1.0 otherwise. For the high and max reasoning levels, DeepSeek recommends allowing up to 384K output tokens.
Step 3 (servers only): DeepSeek's reference code
If you have a multi-GPU server, DeepSeek's V4 inference README shows how to convert the Hugging Face weights and chat with the model. These commands are copied from that README. Set HF_CKPT_PATH to the folder with the downloaded weights and SAVE_PATH to where the converted files should go. Then run:
export EXPERTS=256
export MP=4
export CONFIG=config.json
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}
Then start an interactive chat:
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive
DeepSeek-V4.1-Flash has its own inference README, which uses export MP=8. For real serving, DeepSeek's model cards point to vLLM and SGLang recipes instead. All of this is server software, not a Windows desktop app.
What about Ollama?
Ollama's library has DeepSeek V4 pages, but none of them is a local model:
- deepseek-v4-flash: the page says it "was retired on September 25, 2026" and "No models have been pushed."
- deepseek-v4.1-flash and deepseek-v4-pro: only cloud tags are listed, such as
deepseek-v4.1-flash:cloud.
The command on Ollama's V4.1-Flash page is:
ollama run deepseek-v4.1-flash:cloud
That runs on Ollama's servers. Ollama's FAQ says cloud models are processed there, so this is not offline and your prompts leave your PC.
Troubleshooting
- "There's no deepseek-v4 in Ollama": correct. Ollama has no page called deepseek-v4, and its V4 pages offer only cloud tags. Use LM Studio for a local download.
- LM Studio shows DeepSeek V4.1 Flash as cloud only: that is how LM Studio lists it. Its V4.1 Flash page offers the model through LM Studio Cloud, not as a download.
- The model won't load, or the PC freezes: you almost certainly have less than the 156 GB of RAM LM Studio asks for. Close the model. No setting makes a model this size fit in 16 or 32 GB.
- Not enough disk space: the download alone is 156.40 GB. In LM Studio you can move the models folder to a bigger drive under My Models.
- You only want DeepSeek on your laptop: use a smaller DeepSeek-R1 distill instead. Our guide shows sizes from 1.1 GB: run DeepSeek-R1 locally. Or use the DeepSeek app, which runs V4 models in the cloud.
- Other "small DeepSeek V4" files on Hugging Face: DeepSeek's own page lists no small V4 models, so files like these come from other uploaders, not DeepSeek. Check who published a file before you download it.
Licence
Each V4 and V4.1 model card says: "This repository and the model weights are licensed under the MIT License." That allows commercial use and fine-tuning.
हिंदी में
DeepSeek V4 को लोकल कैसे चलाएँ: असल में क्या चाहिए (LM Studio, Ollama, vLLM)
DeepSeek V4 के वेट्स MIT लाइसेंस के तहत फ़्री हैं, लेकिन बहुत बड़े हैं। हमें जो सबसे छोटा लोकल बिल्ड मिला, वह LM Studio में DeepSeek V4 Flash है: 156.40 GB का डाउनलोड, जिसके लिए LM Studio के मुताबिक़ कम से कम 156 GB RAM चाहिए। Ollama में V4 का कोई लोकल मॉडल नहीं है, और ollama run deepseek-v4.1-flash:cloud आपके PC पर नहीं, Ollama के सर्वर पर चलता है। आम PC पर DeepSeek का ऐप या API इस्तेमाल करें, या इसकी जगह कोई छोटा DeepSeek-R1 distill चलाएँ।
सीधा जवाब
DeepSeek V4 सचमुच ओपन है: DeepSeek इसका कोड और मॉडल वेट्स Hugging Face पर MIT लाइसेंस के तहत प्रकाशित करता है। लेकिन इसे घर पर चलाना अलग बात है, क्योंकि V4 का हर मॉडल बहुत बड़ा है। ये आँकड़े DeepSeek के अपने मॉडल कार्ड से हैं:
- DeepSeek-V4-Flash: कुल 284B पैरामीटर, हर टोकन पर 13B सक्रिय, 1M टोकन का context।
- DeepSeek-V4-Pro: कुल 1.6T पैरामीटर, 49B सक्रिय।
- DeepSeek-V4.1-Flash: 552B का backbone, जो इनपुट पढ़ते समय 8B और जवाब बनाते समय 16B पैरामीटर सक्रिय करता है, और इमेज इनपुट भी लेता है।
DeepSeek के Hugging Face पेज पर V4 का कोई छोटा वर्ज़न नहीं है। हमें जो सबसे छोटा लोकल बिल्ड मिला, वह LM Studio का DeepSeek V4 Flash है, जो 156.40 GB का डाउनलोड है। LM Studio के मुताबिक़ इसे चलाने के लिए कम से कम 156 GB RAM चाहिए। ToolsBharat ने इनमें से कोई मॉडल नहीं चलाया है। नीचे की हर बात DeepSeek के मॉडल कार्ड और Ollama व LM Studio के पेजों से है, जिन्हें 30 अक्टूबर 2026 को जाँचा गया।
स्टेप 1: देखें कि आपका PC इसे चला भी सकता है या नहीं
DeepSeek ने V4 के लिए कोई न्यूनतम हार्डवेयर ज़रूरत प्रकाशित नहीं की है। इसका अकेला ठोस उदाहरण DeepSeek-V4-Flash-0731 के कार्ड पर है, जिसमें vLLM मॉडल को "on a single 4×GB300 node" पर चलाता दिखाया गया है। यह डेटा-सेंटर का हार्डवेयर है।
PC के लिए असली आँकड़ा LM Studio का है: सबसे छोटे DeepSeek V4 Flash बिल्ड के लिए कम से कम 156 GB RAM। अगर आपके PC में 8, 16 या 32 GB RAM है, तो यह नहीं चलेगा। डाउनलोड के लिए 156.40 GB से ज़्यादा खाली डिस्क स्पेस भी चाहिए।
LM Studio की अपनी ज़रूरतें इससे अलग हैं। Windows पर इसे AVX2 वाला x64 प्रोसेसर (या Snapdragon X Elite वाला ARM PC) चाहिए, और यह कम से कम 16 GB RAM और 4 GB dedicated VRAM की सलाह देता है। ये आँकड़े ऐप के लिए हैं, इतने बड़े मॉडल के लिए नहीं।
स्टेप 2: LM Studio में DeepSeek V4 Flash चलाएँ
Ollama और LM Studio में से सिर्फ़ LM Studio ही V4 का डाउनलोड होने वाला मॉडल दिखाता है। इसके पेज के मुताबिक़ यह बिल्ड "DeepSeek-V4-Flash-0731" है, जिसे DeepSeek, V4-Flash की आधिकारिक रिलीज़ कहता है।
- lmstudio.ai से LM Studio इंस्टॉल करें।
- Discover टैब खोलने के लिए Ctrl + 2 दबाएँ। LM Studio के दस्तावेज़ के मुताबिक़ आप कीवर्ड से या
user/modelनाम से खोज सकते हैं। - "deepseek v4 flash" खोजें।
- देख लें कि नतीजा DeepSeek V4 Flash है (LM Studio के मॉडल पेज पर
deepseek/deepseek-v4-flash) और उसका साइज़ 156.40 GB है, फिर उसे डाउनलोड करें। - डाउनलोड पूरा होने पर Chat टैब में जाएँ, मॉडल लोडर खोलें (Ctrl + L) और DeepSeek V4 Flash चुनें।
- reasoning effort सेट करें। LM Studio इस मॉडल के लिए तीन लेवल दिखाता है: low, high और max।
V4-Flash-0731 के कार्ड में लोकल इस्तेमाल के लिए DeepSeek की सुझाई सेटिंग: temperature 1.0, और top_p एजेंट वाले कामों के लिए 0.95, बाक़ी के लिए 1.0। high और max reasoning लेवल के लिए DeepSeek 384K तक आउटपुट टोकन की इजाज़त देने की सलाह देता है।
स्टेप 3 (सिर्फ़ सर्वर के लिए): DeepSeek का reference कोड
अगर आपके पास कई GPU वाला सर्वर है, तो DeepSeek का V4 inference README बताता है कि Hugging Face वेट्स को कैसे बदलें (convert करें) और मॉडल से चैट करें। ये कमांड उसी README से लिए गए हैं। HF_CKPT_PATH को डाउनलोड किए वेट्स वाले फ़ोल्डर पर और SAVE_PATH को उस जगह पर सेट करें जहाँ बदली हुई फ़ाइलें रखनी हैं। फिर चलाएँ:
export EXPERTS=256
export MP=4
export CONFIG=config.json
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}
फिर interactive चैट शुरू करें:
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive
DeepSeek-V4.1-Flash का अपना inference README है, जिसमें export MP=8 इस्तेमाल होता है। असली serving के लिए DeepSeek के मॉडल कार्ड vLLM और SGLang की recipes की ओर इशारा करते हैं। यह सब सर्वर सॉफ़्टवेयर है, Windows का डेस्कटॉप ऐप नहीं।
Ollama का क्या?
Ollama की लाइब्रेरी में DeepSeek V4 के पेज हैं, लेकिन उनमें से कोई भी लोकल मॉडल नहीं है:
- deepseek-v4-flash: पेज पर लिखा है कि यह "was retired on September 25, 2026" और "No models have been pushed."
- deepseek-v4.1-flash और deepseek-v4-pro: सिर्फ़ क्लाउड टैग दिए गए हैं, जैसे
deepseek-v4.1-flash:cloud।
Ollama के V4.1-Flash पेज पर दिया कमांड है:
ollama run deepseek-v4.1-flash:cloud
यह Ollama के सर्वर पर चलता है। Ollama के FAQ के मुताबिक़ क्लाउड मॉडल वहीं प्रोसेस होते हैं, इसलिए यह ऑफ़लाइन नहीं है और आपके प्रॉम्प्ट आपके PC से बाहर जाते हैं।
समस्याएँ और हल
- "Ollama में deepseek-v4 नहीं है": सही है। Ollama में deepseek-v4 नाम का कोई पेज नहीं है, और उसके V4 पेज सिर्फ़ क्लाउड टैग देते हैं। लोकल डाउनलोड के लिए LM Studio इस्तेमाल करें।
- LM Studio में DeepSeek V4.1 Flash सिर्फ़ क्लाउड में दिखता है: LM Studio इसे ऐसे ही दिखाता है। इसका V4.1 Flash पेज मॉडल को LM Studio Cloud के ज़रिए देता है, डाउनलोड के रूप में नहीं।
- मॉडल लोड नहीं होता, या PC अटक जाता है: लगभग तय है कि आपके पास LM Studio की बताई 156 GB RAM से कम है। मॉडल बंद करें। कोई भी सेटिंग इतने बड़े मॉडल को 16 या 32 GB में नहीं समा सकती।
- डिस्क में जगह नहीं: सिर्फ़ डाउनलोड ही 156.40 GB का है। LM Studio में My Models से मॉडल फ़ोल्डर किसी बड़ी ड्राइव पर ले जा सकते हैं।
- आपको बस अपने लैपटॉप पर DeepSeek चाहिए: इसकी जगह छोटा DeepSeek-R1 distill इस्तेमाल करें। हमारी गाइड में 1.1 GB से शुरू होने वाले साइज़ दिए हैं: DeepSeek-R1 को लोकल चलाएँ। या DeepSeek ऐप इस्तेमाल करें, जो V4 मॉडल क्लाउड में चलाता है।
- Hugging Face पर "छोटे DeepSeek V4" वाली दूसरी फ़ाइलें: DeepSeek के अपने पेज पर V4 का कोई छोटा मॉडल नहीं है, इसलिए ऐसी फ़ाइलें दूसरे अपलोड करने वालों की हैं, DeepSeek की नहीं। डाउनलोड से पहले देख लें कि फ़ाइल किसने प्रकाशित की है।
लाइसेंस
V4 और V4.1 के हर मॉडल कार्ड में लिखा है: "This repository and the model weights are licensed under the MIT License." इससे व्यावसायिक इस्तेमाल और फ़ाइन-ट्यूनिंग की अनुमति मिलती है।
Frequently asked questionsअक्सर पूछे जाने वाले सवाल
- Can I run DeepSeek V4 Flash with Ollama?
- Not locally. Ollama's deepseek-v4-flash page says the model was retired on 25 September 2026 and has no models pushed. Its V4.1-Flash and V4-Pro pages list only cloud tags, which run on Ollama's servers.
- क्या DeepSeek V4 Flash को Ollama से चला सकते हैं?
- लोकल रूप से नहीं। Ollama के deepseek-v4-flash पेज के मुताबिक़ यह मॉडल 25 सितंबर 2026 को retire हो गया और इसका कोई मॉडल push नहीं हुआ है। इसके V4.1-Flash और V4-Pro पेज सिर्फ़ क्लाउड टैग दिखाते हैं, जो Ollama के सर्वर पर चलते हैं।
- How much RAM do I need to run DeepSeek V4 locally?
- DeepSeek doesn't publish a figure. LM Studio says its smallest DeepSeek V4 Flash build, a 156.40 GB download, needs at least 156 GB of RAM. V4-Pro and V4.1-Flash are larger models.
- DeepSeek V4 को लोकल चलाने के लिए कितनी RAM चाहिए?
- DeepSeek ने कोई आँकड़ा नहीं दिया है। LM Studio के मुताबिक़ उसके सबसे छोटे DeepSeek V4 Flash बिल्ड के लिए, जो 156.40 GB का डाउनलोड है, कम से कम 156 GB RAM चाहिए। V4-Pro और V4.1-Flash इससे बड़े मॉडल हैं।
- Can I run DeepSeek V4.1 Flash locally?
- The weights are on Hugging Face under the MIT licence, and DeepSeek's V4.1 inference README covers running them on a multi-GPU server. In the desktop apps, LM Studio offers V4.1 Flash only through LM Studio Cloud, and Ollama only as a cloud tag.
- क्या DeepSeek V4.1 Flash को लोकल चला सकते हैं?
- इसके वेट्स MIT लाइसेंस के तहत Hugging Face पर हैं, और DeepSeek का V4.1 inference README इन्हें कई GPU वाले सर्वर पर चलाना बताता है। डेस्कटॉप ऐप में LM Studio, V4.1 Flash को सिर्फ़ LM Studio Cloud से देता है, और Ollama सिर्फ़ क्लाउड टैग के रूप में।
- Is there a smaller DeepSeek I can run on my PC?
- Yes. DeepSeek's Hugging Face page lists no small V4 versions, but the DeepSeek-R1 distills are small: Ollama's deepseek-r1 sizes start at 1.1 GB. See our guide to running DeepSeek-R1 locally.
- क्या कोई छोटा DeepSeek है जो मेरे PC पर चल सके?
- हाँ। DeepSeek के Hugging Face पेज पर V4 का कोई छोटा वर्ज़न नहीं है, लेकिन DeepSeek-R1 के distill छोटे हैं: Ollama पर deepseek-r1 के साइज़ 1.1 GB से शुरू होते हैं। DeepSeek-R1 को लोकल चलाने वाली हमारी गाइड देखें।
Sources
- DeepSeek-V4-Flash model card (Hugging Face)
- DeepSeek-V4-Flash-0731 model card (Hugging Face)
- DeepSeek-V4-Flash: inference README
- DeepSeek-V4.1-Flash model card (Hugging Face)
- DeepSeek-V4.1-Flash: inference README
- LM Studio: DeepSeek V4 Flash
- LM Studio: DeepSeek V4.1 Flash
- LM Studio docs: Download an LLM
- LM Studio docs: Get started
- LM Studio docs: System requirements
- Ollama library: deepseek-v4-flash
- Ollama library: deepseek-v4.1-flash
- Ollama library: deepseek-v4-pro
- Ollama docs: FAQ