在現今人工智慧(AI)技術迅速擴展的時代,商業AI模型將你的每一次查詢和見解都收集並轉化為培訓數據這件事已不再是秘密。無論你是否付費獲取訪問權限,這些數據都會被企業重複利用。然而,若你希望擺脫這樣的狀況,本地部署AI是讓你掌握主控權的理想方式之一。無論是幻覺還是不準確的問題尚待解決,在你的系統上運行自定義的聊天機器人,意味著不需要訂閱、無需依賴雲端服務,也沒有所謂的公司監督。你擁有的僅僅是一個完全在你個人電腦上運行的AI,它能從你的輸入中學習,並適應你的需求。
DeepSeek 提供的開源模型——DeepSeek-V3 和 DeepSeek-R1——使這一切成為可能。將它們部署到本地,你將能夠決定AI如何學習,同時保持你的數據完全私密。經過多次測試,我們找到了三種有效的設定配置,這些配置提供了所需的一切。以下內容將介紹如何開始及讓它們為你所用。
DeepSeek R1 簡介
DeepSeek R1 在編碼性能方面表現優異,同時對硬體需求不高。這使得該模型成為一個理想的選擇,特別是對於那些尋求建立自定義聊天機器人的用戶。DeepSeek 的自定義模型是一種基於強大 Transformer 架構的專門版本。DeepSeek 本身已在生成類似於人類文本方面表現出色,但通過自定義化,它可在特定領域中如客戶支援、教育工具或專門研究等方面成為專家。
這種靈活性得以進一步擴展到 DeepSeek 的蒸餾模型中。這些精簡版模型的參數大小從 1.5B 到 70B 不等,既保留了驚人的推理能力,又大幅降低了硬件需求。對你來說,這意味著什麼呢?
小型模型(尤其是 8B 及以下)能夠在標準電腦上流暢運行,無需昂貴的雲端運算或專用硬件——這使得你可以直接從個人電腦中部署並試驗這些強大的 AI 工具。
如何選擇合適的自定義設置?
沒有一種安裝路徑是絕對優越的,不同的需求對應不同的選擇。以下問題可以幫助你在做出決定前進行思考:
- 你是否處理不應在第三方服務器上處理的敏感信息?
- 你是否有強大的硬件可用?
- 你是否需要在無網絡訪問的狀態下使用助手?
- 避免訂閱費重要嗎?
- 多位團隊成員是否需要訪問同一位助手?
基於此,我們會從以下幾個方面探討每個設置:
- 各模型的最佳使用案例
- 部署範圍
- 軟硬體要求
- 優勢
無需代碼的方法:使用 CodeGPT 自定義 DeepSeek R1 模型的快速指南
CodeGPT 提供了一個無需代碼、以雲端為動力的方法來運行 DeepSeek R1,非常適合尋求快速設定和共享訪問的團隊和非技術性用戶。不同於 GitHub Copilot,CodeGPT 允許你在流行的 IDE 中使用本地 LLM,如 DeepSeek R1 來進行提示、代碼補全和單元測試。這也是一個基於網絡的平台,擁有更廣泛的 AI 代理任務。只需創建一個免費賬戶即可開始。
計算需求:
- RAM: 1GB 以上(較大的型號可能需要更多)
- 硬碟空間: 20MB 以上(當地模型需要額外空間)
- CPU: Intel Core i5 以上(不支持較舊的 ARM)
- macOS: 所有版本(除了 Sonoma)
- Linux: 從 2024 開始支持
- Windows: Windows 11 或更高
- IDE: VS Code 1.96.0 或更新版本
- 網絡需求:需要網絡連接以使用 CodeGPT
實現過程:
要在 CodeGPT 上運行 DeepSeek R1,可以按照以下步驟:
-
步驟 1: 使用 Google 或 GitHub 註冊或登錄 codegpt.co ,然後創建一個新的 AI 代理並選擇 DeepSeek R1 作為模型。
-
步驟 2: 在“代理知識”部分上傳文件或 GitHub 存儲庫,以提供其數據作為私人知識庫。
-
步驟 3: 在“說明”選項卡中,設置系統提示以限制響應僅包含已上傳數據,並可選擇性地添加準確性和行為規則。
-
步驟 4: 測試代理的響應以確保準確性,然後發布並通過公共鏈接或您的組織內共享。
-
步驟 5: 定期查看“代理歷史”面板中的代理表現,使用衡量標準來提高精度和效率。
使用 CodeGPT 運行自定義 DeepSeek R1 模型的原因:
- 不需要技術知識
- 文件管理便捷
- 內置分析和監控
- 可以與多個用戶分享
代碼基礎:如何在 LM Studio 和 Ollama 上運行 DeepSeek R1 模型
方法一:在 LM Studio 上運行自定義 DeepSeek R1
為了實現完整的數據主權和離線 DeepSeek R1 運作,LM Studio 提供了一個強大的自我托管解決方案,雖然需要一定程度的技術能力。儘管如此,它簡化了模型發掘、下載和本地執行,並提供了一個兼容的 API 以便無縫整合。即使是在沒有高端硬件的情況下,也可以充分解鎖 DeepSeek R1 的核心能力。值得注意的是,DeepSeek R1 的輸出包括描述性的“思考”階段,提供了其推理過程的洞察,你可以選擇顯示或隱藏。
計算需求
- 最少 16GB RAM(更多更好)
- 硬碟空間: 20GB+
- CPU: 支持 AVX2 指令集
- macOS: M1/M2/M3,Windows: x86 或 ARM,Linux: x86
- GPU: 建議使用以獲得最佳性能(例如 NVIDIA RTX 3070)
實現過程:
-
步驟 1: 從其官網下載 LM Studio,然後運行安裝程序並按照屏幕提示完成安裝。
-
步驟 2: 打開 LM Studio,熟悉側邊欄標籤:“聊天”、“開發者”、“我的模型”和“發現”。
-
步驟 3: 瀏覽到“發現”標籤(放大鏡圖標),搜索“DeepSeek R1 Distill” 模型,例如 Qwen-7B 或 Llama 8B。
-
步驟 4: 根據硬件選擇適當的量化版本,例如,Qwen-7B 是一個不錯的開始點。確保選擇了“GGUF”和“MLX”複選框以確保相容性。
-
步驟 5: 點選綠色“下載”按鈕並等待下載完成。
-
步驟 6: 轉到“聊天”標籤,點選“選擇要載入的模型”,選擇下載的 DeepSeek R1 模型,然後開始透過輸入你的提示與它進行交互。
使用 LM Studio 的原因:
- 完整的數據隱私
- 使用者友好
- 可以離線運行,即使在飛行中也可以
- 無需訂閱費用
- 能夠在不同模型間切換
方法二:在 Ollama 上運行自定義 DeepSeek R1
對於運行本地 LLM,Ollama是受歡迎的選擇,特別是如果你熟悉命令行或需要程式控制。Ollama 支持許多 AI 模型,包括 DeepSeek R1。這些模型提供多種尺寸(1.5b 至 70b)、量化格式(q4_K_M、q8_0)和蒸餾版本(qwen-distill、llama-distill)以平衡性能與資源使用。加之,它的跨平台特性,可以在 macOS、Windows 與 Linux 上流暢運行,並且安裝簡單。
計算需求
- RAM: 至少 8GB(在處理更大的模型時需要更多)
- 硬碟空間: 500GB+,雖然根據特定模型版本這可能有所變化。
- CPU: Intel Core i5 或以上
- 軟體:
- 作業系統: macOS、Linux 和 Windows。
- IDE: VSCode 版本 1.96.0 或更高
- Node.js: 版本 20.0.0 或更高。
實現過程:
- 安裝 Ollama
在運行 DeepSeek R1 之前,你需要在系統上安裝 Ollama。
-
對於 macOS(使用 Homebrew),輸入命令以安裝 Ollama:
brew install ollama
-
對於 Windows 和 Linux: 請訪問 Ollama 的官網以查看平台特定的安裝指導。
- 下載 DeepSeek R1 模型
一旦安裝了 Ollama,下載 DeepSeek R1 模型:
ollama pull deepseek-r1
默認情況下,這會下載主要 DeepSeek R1 模型(較大)。如果你需要較小的版本,請使用標籤指定大小,例如:
ollama pull deepseek-r1:1.5b
這會獲得1.5B 蒸餾版本,該版本優化了性能。其他示例包括:
ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b-qwen-distill-q4_K_M
ollama pull deepseek-r1:1.70b-llama-distill-fp16
- 啟動 Ollama 伺服器
為確保 Ollama 已準備好運行 AI 模型,請在新的終端窗口中啟動其伺服器:
ollama serve
- 在本地運行 DeepSeek R1
現在,直接從終端交互模型:
ollama run deepseek-r1
要使用指定模型的版本,請用模型標籤(例如 7B):
ollama run deepseek-r1:7b
- 向模型發送查詢
現在你可以開始對 DeepSeek R1 進行提示:
ollama run deepseek-r1:7b "Who is Condia?"
目前所覆蓋的步驟涉及直接通過命令行與 DeepSeek R1 進行交互。然而,Ollama 還提供了一個 API(應用程式編程接口)選項,而不是直接輸入命令。
使用 Ollama API
以下步驟演示如何使用 curl 命令來運行, 這是發送需求到網站API的常用方式。
👾 例如,從你的終端生成文本,請輸入:
curl http://localhost:11434/api/generate -d '{
“model”: “deepseek-r1:7b”,
“prompt”: “write a Python function that reverses a given string.”
}'
🧑💻 使用 Ollama 的原因:
- 簡單明了的命令快速設置
- 所有操作均在您自己的機器上進行,確保數據完全私密
- 可以輕鬆根據需求在不同的 AI 模型間切換
最後的思考
理解生成型 AI 的優勢與劣勢,使你能夠構建出有效的 AI 助手。明確你的目標,從小任務開始測試,並保持你的知識庫更新。本指南向你展示了如何簡單地在本地運行 DeepSeek R1 使用 CodeGPT、LM Studio 和 Ollama。現在,你可以探索本地 LLM 的潛力。
自定義 DeepSeek R1 部署常見問題
Q: 誰擁有 DeepSeek?
A: DeepSeek 是一家在中國杭州的私人控股人工智能公司,由梁文鋒領導的高翔集團資助。
Q: 我該選擇哪個 DeepSeek R1 模型?
A: 在擁有強大硬體的設備上為達到最大性能,使用主要 DeepSeek R1 模型。在有限資源上,選擇像 1.5B 或 14B 的蒸餾版本以獲得更快速的生成效果。
Q: 這些自定義選項是否免費提供?
A: Ollama 和 LM Studio 是免費的開源軟件。DeepSeek R1 的許可通常允許自由使用,包括商業用途。至於雲服務的調優可能有費用。CodeGPT 具有免費賬戶,但有一定限制。
Q: 可以在遠程服務器或 Docker 中運行 DeepSeek R1 嗎?
A:是的,你可以在 Docker 容器中,在雲虛擬機上,或者在本地服務器上運行 DeepSeek R1,只要可以安裝 Ollama。
Q: 可以在手機上調校 DeepSeek 嗎?
A: 手機上直接調校通常不可行,因為需要強大的計算能力。不過,你可以使用手機來遠程訪問強大的電腦或者雲服務進行調校。
Q: 這些模型適合商業用途嗎?
A: 能夠,DeepSeek R1 系列模型受 MIT 許可,Qwen 蒸餾版本依據 Apache 2.0 許可。Llama 型蒸餾版本有它們的許可。請驗證具體的許可細節以滿足您的使用需求。
Q: 運行 DeepSeek R1 模型需要哪些硬件?
A: 硬件要求因型號尺寸而異:1.5B 型號可在8GB RAM的標準PC上運行。7-32B型號需要強大的GPU(8-24GB VRAM)和32-64GB RAM。70B+ 型號需要多GPU設置配備高VRAM和超128GB的RAM。