使用ngnix进行负载均衡部署deepseek蒸馏版

一、安装及配置nginx

1.1.安装依赖：

使用以下命令安装必要的依赖包：

sudo apt install curl gnupg2 ca-certificates lsb-release ubuntu-keyring

1.2. 导入Nginx签名密钥

执行以下命令导入Nginx官方签名密钥，确保软件包的真实性：

curl https://nginx.org/keys/nginx_signing.key | gpg --dearmor | sudo tee /usr/share/keyrings/nginx-archive-keyring.gpg >/dev/null

1.3. 添加Nginx软件源

编辑/etc/apt/sources.list.d/nginx.list文件，添加以下内容：

 deb [signed-by=/usr/share/keyrings/nginx-archive-keyring.gpg] https://nginx.org/packages/ubuntu/ $(lsb_release -cs) nginx

1.4. 更新软件包列表并安装Nginx

执行以下命令更新软件包列表并安装Nginx：

sudo apt update
sudo apt install nginx -y

1.5. 启动Nginx服务

启动Nginx并设置为开机自启：

sudo systemctl start nginx
sudo systemctl enable nginx

1.6. 验证安装

在浏览器中访问服务器的IP地址或域名，如http://your_server_ip，看到Nginx欢迎页 面表示安装成功。

1.7.修改配置文件，将自己的内容加进去

vi /etc/nginx/nginx.conf

比如自己的内容如下：

http {
   
upstream vllm_servers {
   
server localhost:5010;
server localhost:5011;
server localhost:5012;
server localhost:5013;