Linux 服務器上部署 DeepSeek

要在 Linux 服務器上部署 DeepSeek，可以按照以下步驟進行：

1. **安裝 Ollama 工具**：
   - 下載並安裝 Ollama 工具，這是一個開源大模型服務工具，用於簡化在本地運行大模型。
   - 執行以下命令來安裝 Ollama：
     ```bash
     curl -fsSL https://ollama.com/install.sh | sh
     ```
   - 安裝完成後，驗證安裝：
     ```bash
     ollama --version
     ```

2. **下載 DeepSeek R1 模型**：
   - 在 Ollama 的搜索框中找到 "DeepSeek R1" 模型。
   - 選擇適合你服務器配置的模型版本，例如 32B 或 70B。
   - 執行以下命令來下載並運行 DeepSeek R1 模型：
     ```bash
     ollama run deepseek-r1:32b
     ```

3. **測試 DeepSeek**：
   - 下載完成後，可以在終端與 DeepSeek 進行對話，例如輸入：
     ```bash
     ollama run deepseek-r1:32b
     ```

4. **API 接口遠程調用**：
   - 安裝 Ollama 的 Python 庫：
     ```bash
     pip install ollama
     ```
   - 確保服務器的 11434 端口處於開放狀態。
   - 修改 Ollama 配置文件 `/etc/systemd/system/ollama.service`，將 `Environment` 變量設置為：
     ```bash
     Environment="OLLAMA_HOST=0.0.0.0:11434"
     ```
   - 重新加載配置並重啟 Ollama 服務：
     ```bash
     sudo systemctl daemon-reload
     sudo systemctl restart ollama
     ```

5. **使用 Python 調用 DeepSeek API**：
   - 使用以下 Python 代碼來調用 DeepSeek 的 API 接口：
     ```python
     from ollama import Client

     client = Client(
         host='http://your_ip:your_port',
     )

     chat_completion = client.chat.completions.create(
         messages=[
             {
                 'role': 'user',
                 'content': '介紹杭州旅遊怎麼玩。'
             }
         ],
         model='deepseek-r1'
     )
     ```