nginx分布式部署ai模型服务教程（多台机器）

nginx的安装

• 安装命令如下

sudo apt-get install nginx

• 启动 nginx 服务器

 systemctl start nginx

• 查看nginx进程

ps -ef|grep nginx

出现包含nginx进程表明成功

• 关闭nginx进程命令

killall nginx

部署AI模型服务

• 首先，需要将AI模型部署在多台服务器上，这里专门指在每台机上安装ai模型服务，也可以用docker来安装
• 按照上述步骤安装nginx，这里nginx只需要安装在一台机上即可。nginx可以与ai模型服务同一台机，也可以是不同的机器
• 配置nginx：在nginx配置文件（/etc/nginx/nginx.conf）中添加以下内容，以将请求转发到AI模型服务（在http中添加）

upstream ocr_services {
    server 192.168.203.103:6062 weight=1;
    server 192.168.203.106:6062 weight=3;
    
}
server {
    listen 80; #nginx默认使用的是80端口
    server_name 47.100.77.195;  #可以用服务器的ip当名字
    location / {
        proxy_pass http://ocr_services/ocr;
        client_max_body_size 50m;
    }
     }

• AI模型调用接口

url = 'http://[安装nginx服务器的IP]'

例如

url = 'http://47.100.77.195'