DeepSeek-R1私有化大模型本地部署教程
大家好,我是@深圳的陽
今天為大家分享的是本地部署DeepSeek-R1私有化大模型方法。
本地部署可以有效保護(hù)我們的隱私數(shù)據(jù)不被泄露,而且使用更加穩(wěn)定,尤其是最近DeepSeek經(jīng)常被惡意攻擊,
導(dǎo)致服務(wù)無法使用,本地部署就可以很好的避免這個(gè)問題,而且不依賴網(wǎng)絡(luò),更加靈活自由。
推薦使用Ollama框架,打開Ollama官網(wǎng):https://ollama.com
首先下載客戶端,直接從官網(wǎng)下載速度非常慢,很難下載成功,
分享一個(gè)方法可以輕松下載下來,先復(fù)制你需要下載的客戶端文件地址。
然后訪問這個(gè)Github文件加速中轉(zhuǎn)站點(diǎn) https://github.moeyy.xyz
可以看到下載速度快了很多。
然后運(yùn)行安裝程序,點(diǎn)擊Install。
等待軟件自動(dòng)安裝,文件會(huì)自動(dòng)安裝到C盤。
安裝好后,按Windows+R鍵,輸出CMD命令并回車。
在命令行窗口輸入Ollama回車,如果顯示以下信息,則說明安裝成功了。
接下來返回Ollama官網(wǎng),輸入deepseek-r1,此時(shí)可以看到R1模型了。
671b這個(gè)模型文件非常大,有404GB,不僅下載需要很久,而且對(duì)顯存要求非常高,推薦大家選擇32b的和70b的,這兩個(gè)日常需求足夠了。
這里拿32b的模型做演示,復(fù)制ollma官網(wǎng)上這行命令。
返回剛才打開的CMD命令行,粘貼并回車,開始下載所需模型文件。
如果卡住不動(dòng)可以試試開啟魔法網(wǎng)絡(luò)模式,你懂的。
下載完成后界面如下圖所示:
執(zhí)行ollma list命令查看下載好的模型文件列表。
下次如果想重新啟動(dòng)DeepSeek,再次執(zhí)行CMD命令打開命令行窗口,使用ollama run + 模型名字。
比如:ollama run?deepseek-r1:32b
我們測(cè)試一下,提個(gè)問題看看本地部署的DeepSeek回答效果。可以看到本地部署的DeepSeek成功的響應(yīng)了我們的問題。
如果你覺得這樣使用體驗(yàn)不夠好,還可以安裝一個(gè)Web版的插件來接入這個(gè)本地模型,Chrome插件商店里搜Page Assist并安裝。
啟動(dòng)大模型后,在Chrome瀏覽器中啟用剛才安裝好的Page Assist插件。首次使用需要進(jìn)行一些基本的配置,打開右上角的設(shè)置,修改語言為中文并保存。
RAG里的文本嵌入模型選擇DeepSeek-R1:32b。
最后返回聊天窗口,此時(shí)就可以在Web界面用我們本地搭建的DeepSeek大模型了,對(duì)于有本地部署需求的朋友快去試試吧。
Ollama安裝程序已經(jīng)放在網(wǎng)盤了,點(diǎn)擊文章最頂部右上角的下載選項(xiàng)即可獲取。