躺平的花卷-优快云博客

原创 Python爬虫案例八：抓取597招聘网信息并用xlutils进行excel数据的保存

（1）构造一个字典，如 data = { '表名': ['张三', '18', '本科'] }'姓名': ['张三', '李四', '王五', '赵六'],'年龄': ['18', '19', '20', '21'],'住址': ['广州', '青岛', '南京', '重庆']---------A、覆盖数据----------------------B、追加数据---------['姓名', '年龄', '性别'],['张三', '19', '男'],['李四', '20', '女'],

2024-11-22 23:42:27 692

原创 Python爬虫案例七：抓取南京公交信息数据并将其保存成excel多表形式

header_new = ('线路名称', '线路类型', '运行时间', '参考票价', '公交公司', '最后更新', '公交路线-正向', '公交路线-反向')header = ('线路名称', '线路类型', '运行时间', '参考票价', '公交公司', '最后更新', '公交路线-正向', '公交路线-反向')tynm_list = ['江南线路(1-399)', '江北线路(400-699)', '江宁线路(700-999)']wb.save(r'./公交线路数据.xls')

2024-09-13 16:52:34 3508 2

原创 Python爬虫案例六：抓取某个地区某月份天气数据并保存到mysql数据库中

insert into 天气数据 values ("{}", "{}", "{}", "{}", "{}")self.commit_close() # 也可在此处调用提交函数请求一个月份，解析一个月份，然后提交数据库。测试链接：https://lishi.tianqi.com/guangzhou/202003.html。最高气温 varchar (50),最低气温 varchar (50),日期 varchar (50),天气 varchar (50),风向 varchar (50)

2024-09-13 16:31:32 1240

原创部署k8s基础环境

分支 manual-installation-v1.28.x 设置为跟踪来自 origin 的远程分支 manual-installation-v1.28.x，分支 manual-installation-v1.28.x 设置为跟踪来自 origin 的远程分支 manual-installation-v1.28.x。Master 需要⽣成 --certificate-key：kubeadm init phase upload-certs --upload-certs。

2024-09-13 16:24:28 2583

原创【无标题】

root@k8s-node01 ~]#yum install docker-ce dockerce-cli containerd.io -y # 安装Docker和containerd。[root@k8s-node01 ~]# systemctl enable --now kubelet # 允许开机⾃启kubelet。[root@k8s-master ~]#kubectl get node # 可看到master、node01的信息。4. 关闭安全及 swap 分区。2. 配置 yum 源。

2024-09-05 20:06:41 1195 1

原创 K8S环境的部署之k8s-master的配置

root@k8s-master ~]# containerd config default | tee /etc/containerd/config.toml # 读取containerd的配置并保存到/etc/containerd/config.toml。[root@k8s-master ~]# yum install docker-ce dockerce-cli containerd.io -y # 安装Docker和containerd，如果出现冲突就先卸载之前的docker。

2024-09-04 19:26:33 1444

原创 docker部署project-exam-system项目（haproxy代理nginx）

即nmt服务，涉及到的服务有：nginx、mysql、tomcat。

2024-09-02 21:06:24 1562 4

原创 Python爬虫案例五：将获取到的文本生成词云图

--------7、建立词云图样式------------------------# ------------------5、文本变字符串-------------# --------6、添加一个背景图片------------------# --------2、jieba切割-----------# -------8、添加数据---------------#--------9、生成本地效果-------------# --------1、读文本-------------

2024-09-01 20:29:35 1399

原创 Python爬虫案例四：爬取某个博主的所有文章保存成PDF格式

pdfkit.from_file('csdn正文.html', f'{title}.pdf', configuration=kit)with open('测试.pdf', 'wb') as f: f.write(pdf_data) print('ok')title = A.xpath('//h1/text()')[0] # 标题是h1标签，不一定全是title标签。# --------css取正文-----------# ------xpath取标题-----------# 2、准备空白的PDF页面。

2024-09-01 18:39:24 3318

原创 docker部署project-exam-system项目

上传项目并移动资源文件，application.properties和Project_ExamSystem-V1.0.0.war，先上传到/root下，再移动到dokcer中。使用基础的docker指令来创建镜像，实现项目的发布，使用Dockderfile，docker compose编排容器。# 设置域名劫持，在真机的hosts文件中添加域名来实现登录的时候请求的域名ks.tangpin.huajuan。# 测试成功，但出现问题，实现登录的时候出现后端异常，因为还没部署后端。

2024-09-01 17:45:02 1495

原创安装部署harbor及docker-compose的实例

1、docker compose 是 docker 官⽅的开源项⽬，负责实现对 docker 容器集群的快速编排(容器，依赖，⽹络，挂载)。compose 是 docker 公司推出的一个工具软件，可以管理多个 docker 容器组成的应⽤。2、核心概念：Docker-compose 将管理的容器分为三层：⼯程（project）、服务（service）、容器（container）工程：运行compose 的⽬录下所有的⽂件，包括 dockercompose.yml、extends。

2024-08-30 13:23:24 1122

原创拉取私有镜像仓库、跨主机间的通信及主从控的配置

安装前是没有docker0的网卡的,bridge,默认nat,所有容器连接到桥就可以使⽤外⽹，使⽤nat让容器可以访问外⽹，使⽤ ip a s指令查看桥，所有容器连接到此桥，ip地址都是 172.17.0.0/16⽹段，桥是启动docker服务后出现，在centos使⽤ bridge-utils安装，docker启动会生成新的虚拟网卡。搭建etcd数据库规定ip地址的范围，搭建flannel连通etcd数据库实现容器ip地址的规定范围分配，etcd是一个数据库，flannel负责ip的分配。

2024-08-29 11:07:00 1021

原创 Docker file介绍及私有仓库

1、背景：在Docker file中定义所需要执⾏的指令，使⽤ docker build创建镜像，过程中会按照dockerfile所定义的内容进⾏打开临时性容器，把 docker file中命令全部执⾏完成，就得到了⼀个容器应⽤镜像，每⼀⾏命令都会出现容器，都会使⽤docker commit进⾏提交⼀个临时性的镜像。注意执⾏的命令越多，镜像体积越⼤，所以需要优化镜像。2、Docker file关键字1）FORM 指定基础镜像为该镜像的最后修改版本。

2024-08-27 18:31:46 1053

原创容器的ip地址不稳定问题、联合文件系统、核对时间、制作基础镜像

如用户基于基础镜像来制作各种不同的应用镜像，这些镜像共享一个基础镜像，提高了存储效率，此外，当用户改变了一个Docker镜像则会创建一个新的镜像，因此用户不用替换整个原镜像或重新建立，只需要添加新层即可。当我们pull⼀个镜像之后 /va r/lib/docker/overlay2下就有⼀个新的目录，这个⽬录就是cenonos的基础⽬录，这个新的⽬录就是镜像，就是不可读的层；# 重新拉取一个基础镜像，即出现一个新的目录，此目录即为centos的基础目录，即镜像。

2024-08-26 20:01:31 1436

原创 Python爬虫案例三：获取天天基金网的数据并使用pandas保存成excel数据

df.to_excel('天天基金网.xlsx', index=False)self.dic['单位净值'].append(jz)self.dic['时间'].append(sj)df.to_excel('第一个.xlsx', index=False)'姓名': ['张三', '李四', '王五', '赵六'],'性别': ['男', '女', '男', '女']self.dic['单位净值'] = []'年龄': [18, 19, 20, 21],self.dic['时间'] = []

2024-08-26 11:17:15 3269 5

原创 Docker中镜像文件的打包传输、容器导出镜像及虚拟机端口映射的实现

2、容器启动之后，容器中可以运⾏⼀些⽹络应⽤，通过-p或-P参数来指定端⼝映射。/3、宿主机的⼀个端⼝只能映射到容器内部的某⼀个端⼝上，⽐如: 8080->80之后，就不能8080->81。docker run -it --name c0 -p80:80/tcp centos:httpd /bin/bash //将容器中的80端⼝映射到宿主机（docker主机）80端⼝。4、容器内部的某个端⼝可以被宿主机的多个端⼝映射,⽐如: 8080- >80，8090->80，8099->80。

2024-08-23 21:32:42 1318

原创 Docker的概述及如何启动docker的镜像、远程管理宿主机的docker进程

1、Docker 是什么？Docker 是⼀个开源的应⽤容器引擎，可以实现虚拟化，完全采用“沙盒”机制，容器之间不会存在任何接口。2、Docker 和虚拟机的区别：1）启动速度：Docker 启动速度⾮常快，属于秒级别，⽽虚拟机通常需要⼏分钟去启动。2）资源消耗：Docker 需要的资源更少，它直接运⾏在宿主机的内核上，以⼀系列进程的结合形式存在。⽽虚拟机则需要消耗更多的资源，因为它在操作系统级别进⾏虚拟化。

2024-08-22 18:45:21 1466

原创 roles、通过roles实现lamp及lnmp、数据库的高可用和负载均衡的实现

roles(⻆⾊): 就是通过分别将variables, tasks及handlers等放置于单独的⽬录中,并可以便捷地调⽤它们的⼀种机制。假设我们要写⼀个playbook来安装管理lamp环境，那么这个playbook就会写很⻓。所以我们希望把这个很⼤的⽂件分成多个功能拆分, 分成apache管理,php管理,mysql管理，然后在需要使⽤的时候直接调⽤就可以了，以免重复写。就类似编程⾥的模块化的概念，以。

2024-08-22 17:11:54 1237

原创 Playbook剧本案例实战

script模块⽤于在远程机器上执⾏本地脚本。# 在master上准备⼀个脚本[root@m0 ~]#vim test.shmkdir /tmp/threetouch /tmp/three/testecho 'i am echo,is used write' > /tmp/three/test[root@m0 ~]#source test.sh# 在group02的远程机器⾥都执⾏master上的/tmp/test.sh 脚本（此脚本不⽤给执⾏权限)[root@m0 ~]#ansible group02 -

2024-08-19 17:35:44 767

原创 Python爬虫案例二：获取虎牙主播图片(动态网站)

params不能写在__init__()里面，因为__init__()只执行一次，params是变化的。'iPageNo': '{}'.format(i), # i是字符串。print('ok 第{}张--{}'.format(self.no, name))1.异步数据（即先返回HTML，再返回目标的数据，只是触发了JSON请求），不在HTML中。os.mkdir('../虎牙')测试链接：https://live.huya.com/# 构造7页的params。2.不能刷新网页，直接翻页。

2024-08-19 15:26:53 1971

原创 Python爬虫案例一：获取古诗文并按用户输入的作者名进行数据保存

1、什么是爬虫？也称为网页蜘蛛（Web Spider），通俗来说，解放人的双手, 去互联网获取数据, 以数据库, txt, excel, csv, pdf, 压缩文件, image, video, music保存数据。本质: 模拟浏览器, 向服务器发送网络请求, 接受服务器返回的数据,并保存数据。2、爬虫的分类？A、通用爬虫(根据目标获取选项): 百度, google, 搜狗 bing ... 搜索引擎B、聚焦爬虫: 根据指定的目标，指定的内容，获取数据, 保存数据3、网址的构成（了解）

2024-08-19 10:17:09 1481

原创自动化运维之ansible的重要模块

drwx------. 3 root root 17 8月 16 10:25 systemd-private-a33925d16cd14fc5bc9b8f0fe5c23f27-chronyd.service-5wcjuI。公司的服务器越来越多, 维护⼀些简单的事情都会变得很繁琐。drwx------. 3 root root 17 8月 16 10:25 systemd-private-1d58301c85934a19910d218cdd2c7a70-chronyd.service-6vUQVK。

2024-08-16 17:34:22 762

原创 python管理mysql（实现读写分离）及如何用Mycat读写分离

bash: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/jdk/bin: 没有那个文件或目录。drwxr-xr-x. 7 root root 85 8月 15 15:20 /usr/local/mycat/-rwxr-xr-x. 1 root root 219 8月 15 15:20 version.txt。# __init__ 初始化函数，构造函数，在这个类被实例的时候，执行__init__函数。

2024-08-15 20:31:06 880

原创 Haproxy的配置及监控 HAProxy负载均衡双主mysql数据库及基于python代码层级的读写分离

100 stats realm hapadmin #统计页面密码框上提示文件，默认为haproxy\statistics。stats realm hapadmin #统计页面密码框上提示文件，默认为haproxy\statistics。99 stats admin if TRUE #如果认证通过就做管理功能，可以管理后端服务器。stats admin if TRUE #如果认证通过就做管理功能，可以管理后端服务器。# 查看文件名称和文件位置。

2024-08-14 19:35:11 998

原创 LVS服务的搭建之NAT模式、DR模式的搭建实战

该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；linux virtural server的简称，也就是linxu虚拟机服务器，使用lvs可以达到的技术目标是：通过linux达到负载均衡技术和linux操作系统实现一个高性能高可用的linux服务器集群，他具有良好的可靠性，可延展性和可操作性，从而以低廉的成本实现最优的性能，Lvs是一个实现负载均衡集群开源软件项目，lvs从逻辑上可以分为调度层，

2024-08-13 16:17:06 1048

原创 LVS的简单配置及对Mysql主从复制的补充

正常来说应该配置两个不同的网段的ip，一个对外ip，一个对内的ip，现在只要使用nat的网络模式，可以配置桥接模式对外，nat对内，但也可将两个ip的网络模式均设置为vm2【nat】模式，并且保证物理机都能Ping通这两个ip。3)添加的新的slave或者发⽣故障时，需要将master身份或者⻆⾊迁移到slave上时，都需要考虑哪⼀个⼆进制⽇志以及哪个position值，极⼤简化了相关操作。3. 如果数据⽐较少，可以通过跳过当前语句的⽅式解决，但是如果从服务器写⼊的数据⽐较多，架构必须重新搭建。

2024-08-12 19:34:17 987

原创 Python管理myql、搭建frp服务上线mysql数据库、Python生成可执行文件及python模块发布web服务

((1, '花卷', '女'), (2, '张三', '男'), (3, '莎莎', '女'))((1, '花卷', '女'), (2, '张三', '男'), (3, '莎莎', '女'))((1, '花卷', '女'), (2, '张三', '男'), (3, '莎莎', '女'))中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/阿里云 http://mirrors.aliyun.com/pypi/simple/1 2 张三男。

2024-08-09 17:42:02 888

原创 Python3的安装及基础指令

>> dic={'name': 'huajuan', 'age': '21', 'gender': ' 女' 'phone': '1888'}{'name': 'huajuan', 'age': '21', 'gender': '女', 'phone': '1888'}>>> d={'id': 1001, 'name': '花卷', 'age': 21, 'gender': '女'}>>> lista=['李四', '张三', '王五']字典中的每个k-v组成元组，这些元组组成一个新的列表。

2024-08-08 17:46:22 1148

原创 MySQL 基本语句、常见函数、触发器及MySQL基本优化操作

all：表示所有权限，可替换为其他权限库.*：表示某个数据库下所有数据表⽤户@客户机地址：表示希望给予哪个用户权限，前⾯的⽤户是临时⾃建⽤户，当客户机登录时，⽤该⽤户登录'密码'：临时⾃建⽤户的密码，也是临时⾃写的。⽐如：集合A={a,b}，集合B={0,1,2}，则集合A和B的笛卡尔积为{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)所以，交叉连接也被称为笛卡尔连接。触发的动作：指的激发触发程序的语句类型<insert,update,delete>（插⼊、更新、删除表或数据等）；

2024-08-07 18:59:52 842

原创 Mysql glibc版本数据库主从复制的实现

保持master和slave端初始数据一致；⼊职企业，发现企业架构为一主多从，但是两台从服务器和主库不同步，但是每天会全库北方主服务器上的数据到从服务器，由于数据量不是很大，所以没有人处理主从不同步的问题。slave端的io线程获取到内容，依次写到slave端relay log（中继日志）并把master端的binlog文件名和位置记录到master。slave端的sql线程检测到relaylog中的内容更新，就会解析relaylog中的更新内容，并执行这些操作，从而达到和master端数据一致。

2024-08-07 10:11:46 1022

原创【无标题】

保持master和slave端初始数据一致；⼊职企业，发现企业架构为一主多从，但是两台从服务器和主库不同步，但是每天会全库北方主服务器上的数据到从服务器，由于数据量不是很大，所以没有人处理主从不同步的问题。slave端的io线程获取到内容，依次写到slave端relay log（中继日志）并把master端的binlog文件名和位置记录到master。slave端的sql线程检测到relaylog中的内容更新，就会解析relaylog中的更新内容，并执行这些操作，从而达到和master端数据一致。

2024-08-06 18:45:31 826

原创 Mysql glibc版本的安装与配置、密码安全策略、角色及权限

1.远程登录前提条件是mysql.user表中的host属性为%，如果是localhost就不允许远程登录，update mysql.user set host="%"[root@mysql01 ~]# mysql -h127.0.0.1 -P3306 -uroot -proot密码。[root@mysql01 ~]# mysql -h127.0.0.1 -P3306 -uroot -proot密码。-rw-r--r--. 1 root root 570 6月 8 2017 /etc/my.cnf。

2024-08-05 20:55:08 1038

原创 centos7 中安装 mysql 8.x以及对数据库的管理（数据库、表的增删改查、插入删除数据）

4.依次安装libs，client，common，server4个包。9.登录管理，将复制的密码粘贴到输入密码的区域实现登录。[root@mysql ~]#fg # 退出指令。8.获得初始化密码，复制时前后都不能复制空格。5)修改表(新增列、修改列名、删除列)7.开机启动mysql服务。5.初始化配置mysql。1)数据库系统 DBMS。3.卸载mariodb。6.启动mysql服务。4)记录 record。5)字段 feild。

2024-08-02 17:19:25 779

原创 tomcat10环境的搭建及发布一个动态服务

可执行文件，在window和linux通用，即在win10上优化后上传到linux只需要添加权限即可，win对应的文件的扩展名为bat，又称批处理文件；3)nginx 默认的路径/usr/local/nginx/html,也可以在server中；2)ROOT是默认的项目目录，在实际开发中，我们可以将将程序打包成ROOT.war或者将目录名称修改为ROOT就可以直接发布；3)使用10.1.1.20:8080直接访问的页面是ROOT目录下的。1)每个目录即为一个项目，但不一定每个项目都能发布出来；

2024-08-01 19:23:05 1098

原创基于域名的虚拟主机、多虚拟主机的配置、基于ip的虚拟主机及上线静态的前端系统（商城系统）

，但是要注意要设置读写权限，取消只读，设置权限，如果还不行，就直接创建新的host文件覆盖掉。在host文件中新增一行，-rw-------. 1 root root 1419 5月 25 23:22 anaconda-ks.cfg。-rw-r--r--. 1 root root 728647 7月 31 21:22 package-lock.json。-rw-------. 1 root root 322 7月 31 21:26 nohup.out。

2024-07-31 21:59:42 1065

原创 nginx配置属性监控、nginx代理动态服务器、nginx访客IP黑名单、负载均衡、平滑升级及tomcat安装与配置

同一个资源多次请求，可能会到达不同的服务器上，导致不必要的多次下载，缓存命中率不高，以及一些资源时间的浪费。这样，当来自某一个IP的用户在后端Web服务器A上登录后，再访问该站点的其他URL，能保证其访问的还是后端web服务器A。解决服务器的高并发压力，提高应用程序的处理性能；# 使用老的nginx进程创建新的进程，此时会出现两套master进程，这个时候处理客户请求的就是新的nginx服务了。简述：即把请求转发给连接数较少的后端服务器，解决轮询导致后端负载较高的问题，可以达到更好的负载均衡效果。

2024-07-30 18:59:59 1100

空空如也

空空如也