接入层Nginx架构及模块介绍分享

最新推荐文章于 2024-04-24 11:08:33 发布

原创最新推荐文章于 2024-04-24 11:08:33 发布 · 329 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nginx #java #linux #分布式 #python

本课程深入讲解Nginx的架构、特点和应用场景，涵盖Nginx的框架模型、内部流程、反向代理、模块开发等内容，包括upstream模块、动态upstream、日志回放压测等高级特性，适合提升对Nginx的全面理解。

课程目标：

1）帮助大家对Nginx有一定的认识
2）熟悉Nginx有哪些应用场景
3）熟悉Nginx特点和架构模型以及相关流程
4）熟悉Nginx定制化开发的几种模块分类

课程大纲：

Nginx简介及特点
Nginx应用场景
Nginx框架模型介绍
Nginx内部流程介绍
Nginx自定义模块开发介绍
Nginx核心时间点模块介绍
Nginx分流模块介绍
Nginx动态upstream模块介绍
Nginx query_upstrem模块介绍
Nginx query_conf模块介绍
Nginx 共享内存支持redis协议模块介绍
Nginx 日志回放压测工具介绍

1. Nginx简介以及特点

Nginx简介:

Nginx (engine x) 是一个高性能的web服务器和反向代理服务器，也是一个IMAP/POP3/SMTP服务器

俄罗斯程序员Igor Sysoev于2002年开始
Nginx是增长最快的Web服务器，市场份额已达33.3％
全球使用量排名第二2011年成立商业公司

Nginx社区分支：

Openresty作者 @agentzh(章宜春)开发的，最大特点是引入了ngx_lua模块，支持使用lua开发插件，并且集合了很多丰富的模块，以及lua库。
Tengine主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
Nginx官方版本，更新迭代比较快，并且提供免费版本和商业版本。

Nginx源码结构：

代码量大约11万行C代码
源代码目录结构
- core （主干和基础设置）
- event （事件驱动模型和不同的IO复用模块）
- http （HTTP服务器和模块）
- mail （邮件代理服务器和模块）
- os （操作系统相关的实现）
- misc （杂项）

Nginx特点：

反向代理，负载均衡器
高可靠性、单master多worker模式
高可扩展性、高度模块化
非阻塞
事件驱动
低内存消耗
热部署

2. Nginx应用场景

场景如下：

静态文件服务器
反向代理，负载均衡
安全防御
智能路由(企业级灰度测试、地图POI一键切流)
灰度发布
静态化
消息推送
图片实时压缩
防盗链

3. Nginx框架模型介绍

进程组件角色：

master进程
- 监视工作进程的状态
- 当工作进程死掉后重启一个新的
- 处理信号和通知工作进程

worker进程
- 处理客户端请求
- 从主进程处获得信号做相应的事情

cache loader进程
- 加载缓存索引文件信息，然后退出

cache manager进程
- 管理磁盘的缓存大小，超过预定值大小后最少使用数据将被删除

框架模型：

框架模型流程：

4. Nginx内部流程介绍

4.1 框架模型流程

4.2 master初始化流程

4.3 worker初始化

4.4 worker初始化流程

4.5 静态文件请求IO流程

4.6 http请求流程

4.7 http请求11个阶段

4.8 upstream模块

访问第三方Server服务器
底层HTTP通信非常完善
异步非阻塞
上下游内存零拷贝，节省内存
支持自定义模块开发

4.8.1 upstream框架流程

4.8.2 upstream内部流程

4.9 反向代理流程

5. Nginx定制化模块开发

5.1 Nginx的模块化设计特点

高度抽象的模块接口
模块接口非常简单，具有很高的灵活性
配置模块的设计
核心模块接口的简单化
多层次、多类别的模块设计

5.1 内部核心模块

5.2 handler模块

接受来自客户端的请求并构建响应头和响应体。

5.3 filter模块

过滤（filter）模块是过滤响应头和内容的模块，可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后，向用户发送响应之前。

5.4 upstream模块

使nginx跨越单机的限制，完成网络数据的接收、处理和转发，纯异步的访问后端服务。

load_balance：

负载均衡模块，实现特定的算法，在众多的后端服务器中，选择一个服务器出来作为某个请求的转发服务器。

5.3 ngx_lua模块

脚本语言
内存开销小
运行速度快
强大的 Lua 协程
非阻塞
业务逻辑以自然逻辑书写

5.4 定制化开发Demo

Handler模块：

编写config文件
编写模块产生内容响应信息

#配置文件：
server {
...
location test {
test_counter on;
}
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{
ngx_int_t rc;
ngx_buf_t *b;
ngx_chain_t out;
ngx_http_test_conf_t *lrcf;
ngx_str_t ngx_test_string = ngx_string("hello test");
lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
if ( lrcf->test_counter == 0 ) {
return NGX_DECLINED;
}
/* we response to 'GET' and 'HEAD' requests only */
if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
return NGX_HTTP_NOT_ALLOWED;
}
/* discard request body, since we don't need it here */
rc = ngx_http_discard_request_body(r);
if ( rc != NGX_OK ) {
return rc;
}
/* set the 'Content-type' header */
/*
*r->headers_out.content_type.len = sizeof("text/html") - 1;
*r->headers_out.content_type.data = (u_char *)"text/html";
*/
ngx_str_set(&r->headers_out.content_type, "text/html");
/* send the header only, if the request type is http 'HEAD' */
if ( r->method == NGX_HTTP_HEAD ) {
r->headers_out.status = NGX_HTTP_OK;
r->headers_out.content_length_n = ngx_test_string.len;
return ngx_http_send_header(r);
}
/* set the status line */
r->headers_out.status = NGX_HTTP_OK;
r->headers_out.content_length_n = ngx_test_string.len;
/* send the headers of your response */
rc = ngx_http_send_header(r);
if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
return rc;
}
/* allocate a buffer for your response body */
b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
if ( b == NULL ) {
return NGX_HTTP_INTERNAL_SERVER_ERROR;
}
/* attach this buffer to the buffer chain */
out.buf = b;
out.next = NULL;
/* adjust the pointers of the buffer */
b->pos = ngx_test_string.data;
b->last = ngx_test_string.data + ngx_test_string.len;
b->memory = 1; /* this buffer is in memory */
b->last_buf = 1; /* this is the last buffer in the buffer chain */
/* send the buffer chain of your response */
return ngx_http_output_filter(r, &out);
}

6. Nginx核心时间点模块介绍

解决接入层故障定位慢的问题，帮助OP快速判定问题根因，优先自证清白，提高接入层高效的生产力。

7. Nginx分流模块介绍

特点：
实现非常灵活的动态的修改策略从而进行切流量。
实现平滑无损的方式进行流量的切换。
通过秒级切换流量可以缩小影响范围，从而减少损失。
按照某一城市或者某个特征，秒级进行切换流量或者禁用流量。
容忍单机房级别容量故障，缩短了单机房故障的止损时间。
快速的将流量隔离或者流量抽样。
高效的灰度测试，提高生产力。