2018-09-25

12.17 Nginx负载均衡
[root@localhost ~]# vim /usr/local/nginx/conf/vhost/load.conf 
upstream qq   //可自定义
{
    ip_hash;   //每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器
    server 61.135.157.156:80;
    server 125.39.240.113:80;
}
server
{
    listen 80;
    server_name www.qq.com;
    location /
    {
        proxy_pass      http://qq;    //与前面upstream相同
        proxy_set_header Host   $host;
        proxy_set_header X-Real-IP      $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
[root@localhost ~]# yum install -y bind-uitls
[root@localhost ~]# dig qq.com   //查看域名解析到几个服务器
12.18 ssl原理
  1. 浏览器发送一个https的请求给服务器;
  2. 服务器要有一套数字证书,可以自己制作(后面的操作就是阿铭自己制作的证书),也可以向组织申请,区别就是自己颁发的证书需要客户端验证通过,才可以继续访问,而使用受信任的公司申请的证书则不会弹出>提示页面,这套证书其实就是一对公钥和私钥;
  3. 服务器会把公钥传输给客户端;
  4. 客户端(浏览器)收到公钥后,会验证其是否合法有效,无效会有警告提醒,有效则会生成一串随机数,并用收到的公钥加密;
  5. 客户端把加密后的随机字符串传输给服务器;
  6. 服务器收到加密随机字符串后,先用私钥解密(公钥加密,私钥解密),获取到这一串随机数后,再用这串随机字符串加密传输的数据(该加密为对称加密,所谓对称加密,就是将数据和私钥也就是这个随机字符串>通过某种算法混合在一起,这样除非知道私钥,否则无法获取数据内容);
  7. 服务器把加密后的数据传输给客户端;
  8. 客户端收到数据后,再用自己的私钥也就是那个随机字符串解密;
12.19 生成ssl密钥对
[root@localhost ~]# cd /usr/local/nginx/conf
[root@localhost ~]# openssl genrsa -des3 -out tmp.key 2048//key文件为私钥
[root@localhost ~]# openssl rsa -in tmp.key -out aminglinux.key //转换key,取消密码 
[root@localhost ~]# rm -f tmp.key
[root@localhost ~]# openssl req -new -key aminglinux.key -out aminglinux.csr//生成证书请求文件,填写相关信息,需要拿这个文件和私钥一起生产公钥文件
[root@localhost ~]# openssl x509 -req -days 365 -in aminglinux.csr -signkey aminglinux.key -out aminglinux.crt  //生成公钥
12.20 Nginx配置ssl
[root@localhost ~]# vim /usr/local/nginx/conf/vhost/ssl.conf
server
{
    listen 443;
    server_name aming.com;
    index index.html index.php;
    root /data/wwwroot/aming.com;
    ssl on;
    ssl_certificate aminglinux.crt;
    ssl_certificate_key aminglinux.key;
    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
}
[root@localhost ~]# /usr/local/nginx/sbin/nginx -t  //若报错unknown directive “ssl” ,需要重新编译nginx,加上--with-http_ssl_module;可用-V查看当前编译的信息
[root@localhost ~]# mkdir /data/wwwroot/aming.com
[root@localhost ~]# echo “ssl test page.”>/data/wwwroot/aming.com/index.html
12.21 php-fpm的pool
[root@localhost ~]# vim /usr/local/php/etc/php-fpm.conf
include = etc/php-fpm.d/*.conf
[root@localhost ~]# mkdir /usr/local/php/etc/php-fpm.d/
[root@localhost ~]# cd /usr/local/php/etc/php-fpm.d/
[root@localhost ~]# vim www.conf
[www]
listen = /tmp/www.sock
listen.mode=666
user = php-fpm
group = php-fpm
pm = dynamic
pm.max_children = 50
pm.start_servers = 20
pm.min_spare_servers = 5
pm.max_spare_servers = 35
pm.max_requests = 500
rlimit_files = 1024
[root@localhost ~]# vim aming.conf
[aming]
listen = /tmp/aming.sock
listen.mode=666
user = php-fpm
group = php-fpm
pm = dynamic
pm.max_children = 50
pm.start_servers = 20
pm.min_spare_servers = 5
pm.max_spare_servers = 35
pm.max_requests = 500
rlimit_files = 1024
[root@localhost ~]# /usr/local/php/sbin/php-fpm –t
[root@localhost ~]# /etc/init.d/php-fpm restart
12.22 php-fpm慢执行日志
[root@localhost ~]# vim /usr/local/php-fpm/etc/php-fpm.d/www.conf
...
request_slowlog_timeout = 1   //超过一秒记录日志
slowlog = /usr/local/php-fpm/var/log/www-slow.log
...
[root@localhost ~]# vim /data/wwwroot/test.com/sleep.php
<?php
echo “test slow log”;
sleep(2);
echo “done”;
?>
[root@localhost ~]# curl -x127.0.0.1:80 test.com/sleep.php 
[root@localhost ~]# cat /usr/local/php-fpm/var/log/www-slow.log
12.23 open_basedir

将PHP所能打开的文件限制在指定的目录树中

[root@localhost ~]# vim /usr/local/php/etc/php.ini //对所有网站限制
open_basedir "/data/wwwroot/123.com:/tmp/"
[root@localhost ~]# vim /usr/local/php-fpm/etc/php-fpm.d/aming.conf  //针对不同的pool配置
php_admin_value[open_basedir]=/data/wwwroot/aming.com:/tmp/

日志设置

[root@localhost ~]# vim /usr/local/php/etc/php.ini
display_errors = Off //错误信息不显示
log_errors = On  //日志开启
error_log = /tmp/php_errors.log //日志目录
error_reporting = E_ALL & ~E_DEPRECATED & ~E_STRICT //错误日志级别
12.24 php-fpm进程管理
[root@localhost ~]# vim /usr/local/php-fpm/etc/php-fpm.d/aming.conf 
...
pm = dynamic  //动态进程管理,也可以是static
pm.max_children = 50 //最大子进程数,ps aux可以查看
pm.start_servers = 20 //启动服务时会启动的进程数
pm.min_spare_servers = 5 //定义在空闲时段,子进程数的最少数量,如果达到这个数值时,php-fpm服务会自动派生新的子进程。
pm.max_spare_servers = 35 //定义在空闲时段,子进程数的最大值,如果高于这个数值就开始清理空闲的子进程。
pm.max_requests = 500  //定义一个子进程最多处理的请求数,也就是说在一个php-fpm的子进程最多可以处理这么多请求,当达到这个数值时,它会自动退出
...

扩展
ssl相关
https://coding.net/u/aminglinux/p/nginx/git/blob/master/ssl/ca.md
https://coding.net/u/aminglinux/p/nginx/git/blob/master/ssl/ssl.md
负载均衡
https://coding.net/u/aminglinux/p/nginx/git/blob/master/proxy/lb.md
nginx算法分析https://blog.whsir.com/post-1482.html
root和alias
http://www.ttlsa.com/nginx/nginx-root_alias-file-path-configuration/

转载于:https://www.cnblogs.com/2KP2/p/9711318.html

任务描述 基于数据清洗后的深圳通刷卡数据集(存放在/data/workspace/myshixun/Datas/SZcardDatas.csv),对地铁各线路的收益进行统计。 数据集说明 清洗之后的数据集字段没有改变,依旧是11个字段,字段说明如下: 字段名 字段类型 含义 card_no String 卡号 deal_date String 交易日期时间 deal_type String 交易类型 deal_money String 实际交易金额/分为单位 deal_value String 票价/分为单位 equ_no String 设备编码 company_name String 公司名称 station String 线路站点 car_no String 车牌号 conn_mark String 联程标记 close_date String 结算日期 数据中无列名 部分数据展示如下: FHEGHDGDC,2018-09-01 07:52:39,地铁入站,0,0,265025119,地铁七号线,福民,进AGM25-26,0,2018-09-01 00:00:00 FHFCCEIDF,2018-09-01 07:41:05,巴士,120,200,227000076,金华南巴士,332(蛇口),粤BU2975,0,2018-09-01 00:00:00 CBCGCDJDJ,2018-09-01 07:34:23,巴士,160,200,227000038,金华南巴士,331(松岗),粤BU2355,0,2018-09-01 00:00:00 CBIEHFGCB,2018-09-01 07:50:14,地铁出站,380,400,268016106,地铁一号线,世界之窗站,OGT-106,0,2018-09-01 00:00:00 DDABDEEDD,2018-09-01 07:01:08,巴士,160,200,227000175,金华南巴士,M433(福永),粤BW2968,0,2018-09-01 00:00:00 CBAEHADJA,2018-09-01 07:45:45,地铁入站,0,0,265026113,地铁七号线,皇岗口岸,进AGM18-19,0,2018-09-01 00:00:00 FFGAIJJBJ,2018-09-01 07:57:52,地铁出站,285,300,261016120,地铁三号线,水贝,AGM-120,0,2018-09-01 00:00:00 FIJIJFJFA,2018-09-01 07:56:51,地铁入站,0,0,261021116,地铁三号线,丹竹头,AGM-116,0,2018-09-01 00:00:00 FHIBEGJBD,2018-09-01 07:54:44,地铁入站,0,0,265011117,地铁七号线,西丽湖,进AGM24-25,0,2018-09-01 00:00:00 BIGFGGFAG,2018-09-01 07:49:56,地铁入站,0,0,265014107,地铁七号线,珠光,进AGM17-18,0,2018-09-01 00:00:00 FIJCEEDIB,2018-09-01 07:50:30,地铁出站,380,400,260027108,地铁二号线,香蜜,IGT-108,0,2018-09-01 00:00:00 MySQL 数据库 szcard 连接方式: url:jdbc:mysql://127.0.0.1:3306/szcard?useUnicode=true&characterEncoding=utf-8; 用户名:root; 密码:123123。 tb_subway_line_income 表结构: 字段名 数据存储类型 字段含义 subway_line varchar(255) 地铁线路 subway_line_income float(20,2) 地铁线路的收益(元) 编程要求 1.根据清洗之后的数据集进行地铁线路收益分析。 筛选出deal_type 字段为 地铁出站 的数据; 数据中 company_name 的值为地铁线路名称,deal_money 为实际交易金额,将交易金额以分为单位转换成以元为单位,统计该值,为地铁各线路的收益。 2.将查询结果存储到 MySQL 数据库 szcard 的 tb_subway_line_income(表已经提前创建)。 MySQL 查询到的数据格式示例如下: tb_subway_line_income 表中的数据: subway_line subway_line_income 地铁五号线 338649.5 地铁十一号线 126988.35 地铁二号线 146091.65 地铁四号线 117323.9 地铁一号线 306612.3 地铁七号线 93256.5 地铁三号线 275816.05 地铁九号线 78589.6 注意事项 1.任务完成后请点击"测评"按钮,验证统计结果是否正确,程序未通过的情况下,可以点击测试集查看具体问题; 2.此项目是Maven项目,pom.xml如下 <dependencies> <!--scala--> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <!--Spark SQL--> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>${spark.version}</version> </dependency> <!--解析IP地址--> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> </dependency> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>3.14</version> </dependency> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.14</version> </dependency> <!--MySQL 驱动--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependency> </dependencies> 程序中已经导入了部分类,如果需要用到其他类请自行导入或自行编写pom.xml文件。 评测时间较长,请耐心等待一会 考核点说明 1.是否掌握对字符进行转换操作; 2.最后计算出的收益是否将原本以分为单位的交易金额转换成以元为单位。 2.是否将分析后的数据存入 szcard 数据库 tb_subway_line_income 表中。 测试说明 点击评测后,平台会对您提交代码进行测试验证,若测试结果与预期输出一致,则算通关。
05-28
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值