nginx基本配置参数

#定义Nginx运行的用户和用户组
#user  nobody;

#nginx进程数,建议设置为等于CPU总核心数
worker_processes  1;

#全局错误日志定义类型,[ debug | info | notice | warn | error | crit ]
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#进程文件
#pid        logs/nginx.pid;

#一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数(系统的值ulimit -n)与nginx进程数相除,但是nginx分配请求并不均匀,所以建议与ulimit -n的值保持一致。
worker_rlimit_nofile 65535;

events {
	#参考事件模型,use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; 
	#use epoll;
	
#	epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型,如果跑在FreeBSD上面,就用kqueue模型。window下不指定。
#	补充说明:
#		与apache相类,nginx针对不同的操作系统,有不同的事件模型。
#	A)标准事件模型
#		Select、poll属于标准事件模型,如果当前系统不存在更有效的方法,nginx会选择select或poll
#	B)高效事件模型
#		Kqueue:使用于FreeBSD 4.1+, OpenBSD 2.9+, NetBSD 2.0 和 MacOS X.使用双处理器的MacOS 	X系统使用kqueue可能会造成内核崩溃。
#		Epoll:使用于Linux内核2.6版本及以后的系统。
#		/dev/poll:使用于Solaris 7 11/99+,HP/UX 11.22+ (eventport),IRIX 6.5.15+ 和 Tru64 UNIX 5.1A+。
#		Eventport:使用于Solaris 10。 为了防止出现内核崩溃的问题, 有必要安装安全补丁。

    
	#单个进程最大连接数(最大连接数=连接数*进程数)
    worker_connections  1024;
}


http {

	#隐藏Nginx版本信息
    server_tokens off;
    #server_tokens在打开的情况下会使404页面显示Nginx的当前版本号。这样做显然不安全,
    #因为×××会利用此信息尝试相应Nginx版本的漏洞,只需要在nginx.conf中http模块设置server_tokens off即可。
	
	#文件扩展名与文件类型映射表
    include       mime.types;
	
	#默认文件类型
    default_type  application/octet-stream;

	#charset utf-8; #默认编码
    server_names_hash_bucket_size 128; #服务器名字的hash表大小
	
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

	autoindex off;#开启目录列表访问设置为on,合适下载服务器,默认关闭。

    sendfile on; #开启高效文件传输模式,sendfile指令指定nginx是否调用sendfile函数
	#来输出文件,对于普通应用设为on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络I/O处理速度,降低系统的负载。注意:如果图片显示不正常把这个改 成off。
	
    #tcp_nopush     on; #防止网络阻塞
	#tcp_nodelay on; #防止网络阻塞

    client_header_buffer_size 32k; #指定了保存请求头的缓冲区大小,默认1k。如果客户端发送的请求头过大,超过了这个缓冲区的大小,Nginx会返回“Request Header Or Cookie Too Large”错误。因此,根据实际需求,我们可能需要调整这个值。

    client_max_body_size 16M; #默认1M,表示客户端请求服务器最大允许大小,若超过所设定的大小,返回413错误
	
	keepalive_timeout  6; ##给客户端分配keep-alive链接超时时间。服务器将在这个超时时间过后关闭链接。我们将它设置低些可以让ngnix持续工作的时间更长,单位是秒
    client_header_timeout 6;
	#设置读取客户端请求头超时时间,默认为60s,如果在此超时时间内客户端没有发送完请求头,则响应408(RequestTime-out)状态码给客户端。
	
    client_body_timeout 6;    #设置客户端读请求的超时时间,默认是60s  
	#设置读取客户端内容体超时时间,默认为60s,此超时时间指的是两次成功读操作间隔时间,而不是发送整个请求体的超时时间,如果在此超时时间内客户端没有发送任何请求体,则响应408(RequestTime-out)状态码给客户端。
	
    reset_timedout_connection on; #在客户端停止响应之后,允许nginx服务器关闭连接,释放socket关联的内存  
    send_timeout 6;     #设置发送响应到客户端的超时时间,默认为60s,此超时时间指的也是两次成功写操作间隔时间,而不是发送整个响应的超时时间。如果在此超时时间内客户端没有接收任何响应,则Nginx关闭此连接。

	#gzip模块设置
    gzip on; #开启gzip压缩输出
    gzip_min_length 1k; #最小压缩文件大小 
    gzip_buffers 4 16k; #压缩缓冲区,大小为4个16k缓冲区
    gzip_http_version 1.0; #压缩版本(默认1.1,前端如果是squid2.5请使用1.0) 
    gzip_comp_level 2; #压缩等级 
    gzip_types text/plain text/css application/json application/x-javascript application/javascript text/xml application/xml application/xml+rss text/javascript image/jpeg image/png image/gif; 
	#gzip_types指令指定了需要进行压缩的HTTP响应类型,其中text/plain代表纯文本类型,text/css代表CSS样式表类型,application/json和application/javascript代表JSON和JavaScript类型,text/xml、application/xml和application/xml+rss代表XML类型,text/javascript代表JavaScript类型,image/jpeg image/png image/gif代表相关图片类型。
    #压缩类型,默认就已经包含textml,所以下面就不用再写了,写上去也不会有问题,但是会有一个warn。
    gzip_vary on; 
    #limit_zone crawler $binary_remote_addr 10m; #开启限制IP连接数的时候需要使用
	
	#负载均衡配置
	upstream server-pool {
        server 192.168.3.30:8325 fail_timeout=10 max_fails=20;#被动健康检查max_fails 机制
        server 192.168.3.30:8326 fail_timeout=10 max_fails=20;
		#如果请求后端 upstream peer出现一些错误,当错误的累计次数达到 max_fails,那么该 upstream peer 会被 Nginx 摘掉 fail_timeout 时间,在这个时间内,这个 upstream peer 节点禁止对外提供服务。需要重点注意的是 fails是一个区间内失败的累加值,也就是在fail_timeout的这个时间区间内,两个错误之间即使有成功的请求,fails 也依然会进行累加计算
		
		#主动健康检查
		#check interval=2000 rise=2 fall=5 timeout=1000 type=http;
		#interval检测间隔时间,单位为毫秒,rsie请求2次正常的话,标记此realserver的状态为up,fall表示请求5次都失败的情况下,标记此realserver的状态为down,timeout后端健康请求的超时时间,单位为毫秒。健康检查包的类型为http请求
		
		#check_http_send "GET /monitor/index.html HTTP/1.0";
		#通过http HEAD消息头检测realserver的健康
		
		#check_http_expect_alive http_2xx http_3xx;
		#该指令指定HTTP回复的成功状态,默认为2XX和3XX的状态是健康的
    }
	
	#负载均衡配置
	upstream finance-pool {
        server 192.168.3.30:8325 fail_timeout=10 max_fails=20;
        server 192.168.3.30:8326 fail_timeout=10 max_fails=20;
		#check interval=2000 rise=2 fall=5 timeout=1000 type=http;
    }
	
	server {
		listen       9002;
        server_name  localhost;
		
		proxy_connect_timeout 1;
		
		location / {
            root   html;
            index  index.html index.htm;
        }
		
		location /test {
            proxy_pass http://finance-pool/;
        }
	}

	
	server {
		listen       9001;
        server_name  localhost;
		
		proxy_connect_timeout 2;
		proxy_read_timeout 7;
		proxy_send_timeout 5;
		
		location / {
            root   html;
            index  index.html index.htm;
        }
		
		location /test {
            proxy_pass http://localhost:8325/;
        }
	}

    server {
	
        listen       80;#侦听的80端口
        server_name  localhost;#域名可以有多个,用空格隔开

		#client_header_buffer_size 4k;客户端请求头部的缓冲区大小。这个可以根据你的
        #系统分页大小来设置,一般一个请求的头部大小不会超过1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。分页大小可以用命令getconf PAGESIZE取得。
		
		client_max_body_size 300m; 
		#允许客户端请求的最大单文件字节数(这里如果设置小了话可能让某些网站后台不能传附件及在nginx使用过程中,上传文件的过程中,通常需要设置nginx报文大小限制。避免出现413 Request Entity Too Large)
		
		client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数
        
		
        proxy_connect_timeout 5; #nginx跟后端服务器连接超时时间(代理连接超时,单位秒)
		#很重要!!!如果配置了负载均衡,这个值就需要设置较小,否则如果一个服务宕机,则需要等待此时间后才会切换到另一个服务访问
        
        proxy_read_timeout 60; #连接成功后,后端服务器响应时间(代理接收超时,单位秒)
		#定义从被代理服务器读取响应的超时。超时设置仅在两个连续的读取操作之间,而不是整个响应的传输。如果代理服务器在这段时间内没有传输数据,连接将被关闭。
        
        proxy_send_timeout 60; #后端服务器数据回传时间(代理发送超时,单位秒)
		#设置将请求传输到被代理服务器的超时时间。只在两个连续的写操作之间设置超时,而不是整个请求的传输。如果代理服务器在这段时间内没有收到数据,连接将被关闭。
        
		#proxy_next_upstream error | timeout;
		#失败重试机制设置error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 | http_403 | http_404 | non_idempotent | off ... :配置什么情况下需要向上游服务器进行重试。默认为:error timeout。error表示读写出错;timeout表示超时;invalid_header表示头信息有误;non_idempotent表示RFC-2616定义的非幂等HTTP方法(POST、LOCK、PATCH),也可以在失败后重试(默认幂等方法GET、HEAD、PUT、DELETE、OPTIONS、TRACE);off表示禁用重试。不建议关闭,会导致nginx的容错能力下降
		
		#proxy_next_upstream_tries 0;
		#设置重试次数,默认 0 表示无限制,该参数包含所有请求 upstream server 的次数,这里的次数包含第一次请求,即如果设置为1,则只请求一次,失败重试
		
		#proxy_next_upstream_timeout
		#设置重试最大超时时间,默认 0 表示不限制,该参数指的是第一次连接时间加上后续重试连接时间,不包含连接上节点之后的处理时间
		
        proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
        
        proxy_buffers   4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
		
        proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
        
        proxy_temp_file_write_size 64k; 
		#设定缓存文件夹大小,大于这个值,将从upstream服务器传

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
			
			proxy_pass      http://11.33.22.56:8080/hone;
			proxy_set_header X-Real-IP $remote_addr;    # 获取客户端真实IP
			proxy_set_header REMOTE-HOST $remote_addr;  # 获取客户端浏览器的主机名
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # 获取代理者的真实ip
			proxy_set_header Host $host:$server_port;
			access_log  logs/nginx/access-hone.log main; #单独生成访问hone服务日志
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }

    server {
        listen       443 ssl; # 监听443端口,启用SSL
        server_name  test.domain.com;

        ssl_certificate      /var/opt/ssl/test.domain.com.pem;# 证书文件路径
        ssl_certificate_key  /var/opt/ssl/test.domain.com.key;# 私钥文件路径

        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;

		ssl_protocols TLSv1.2 TLSv1.3; # 支持的协议版本
        ssl_prefer_server_ciphers  on; # 优先使用服务器端的加密套件
		ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384; # 加密套件

        location / {
            root   html;
            index  index.html index.htm;
        }
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

Nginx快速入门:nginx各类转发、代理配置详解|location、proxy_pass参数详解

### 大模型对齐微调DPO方法详解 #### DPO简介 直接偏好优化(Direct Preference Optimization, DPO)是一种用于改进大型语言模型行为的技术,该技术通过结合奖励模型训练和强化学习来提升训练效率与稳定性[^1]。 #### 实现机制 DPO的核心在于它能够依据人类反馈调整模型输出的概率分布。具体来说,当给定一对候选响应时,DPO试图使更受偏好的那个选项具有更高的生成概率。这种方法不仅简化了传统强化学习所需的复杂环境设置,而且显著增强了模型对于多样化指令的理解能力和执行精度[^2]。 #### PAI平台上的实践指南 为了便于开发者实施这一先进理念,在PAI-QuickStart框架下提供了详尽的操作手册。这份文档覆盖了从环境配置直至完成整个微调流程所需的一切细节,包括但不限于数据准备、参数设定以及性能评估等方面的内容。尤其值得注意的是,针对阿里云最新发布的开源LLM——Qwen2系列,文中给出了具体的实例说明,使得即使是初次接触此类工作的用户也能顺利上手。 ```python from transformers import AutoModelForCausalLM, Trainer, TrainingArguments model_name_or_path = "qwen-model-name" tokenizer_name = model_name_or_path training_args = TrainingArguments( output_dir="./results", per_device_train_batch_size=8, num_train_epochs=3, ) trainer = Trainer( model_init=lambda: AutoModelForCausalLM.from_pretrained(model_name_or_path), args=training_args, train_dataset=train_dataset, ) # 假设已经定义好了train_dataset trainer.train() ``` 这段代码片段展示了如何使用Hugging Face库加载预训练模型并对其进行微调的过程。虽然这里展示的例子并不完全对应于DPO的具体实现方式,但它提供了一个基础模板供进一步定制化开发之用[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值