- 博客(24)
- 收藏
- 关注
RSS订阅原创 python爬虫，从中国天气网站爬取天气信息
该代码使用Python爬取中国天气网的深圳天气数据。通过requests库发送HTTP请求，BeautifulSoup解析HTML内容，提取日期、天气状况和温度信息，并将结果保存为CSV文件。主要步骤包括：1)设置请求头访问天气页面；2)使用CSS选择器定位天气数据；3)处理响应异常；4)将数据写入CSV文件。代码展示了基本的网页爬取流程，但需注意目标网站结构变化可能导致解析失败。输出包含日期、天气和温度三列数据。
2025-06-26 15:47:48
151
原创 Hadoop Streaming任务，MapReduce统计指定目录下各个文件的行数
该摘要介绍了一个Hadoop MapReduce作业的实现，用于统计HDFS文件中行数。mapper脚本（count_dir_file_lines_mapper.py）获取输入文件名并计算每块行数，reducer脚本（count_dir_file_lines_reducer.py）汇总各文件总行数。run_hadoop.sh部署脚本包含：1）通过pyinstaller打包Python脚本；2）配置Hadoop作业参数（内存、压缩、任务重试等）；3）运行MapReduce作业（设置300个map任务和1个re
2025-06-26 15:30:55
210
原创 Navicat连接我的linux系统上Mysql server报错
错误码 1130 Host xxxxx is not allowed to connect to this Mysql server。错误码 2003，can't connect to mysql server on xxxx。在linux机器上登录mysql，修改mysql的user表。问题原因：mysql未开启mysql远程访问权限。以上两个问题解决后，重新连接Mysql，OK。（1）#查看端口开放情况。（2）#开放3306端口。（1）查询需要修改的记录。
2023-08-04 09:56:33
295
1
原创 ansible学习笔记
ansible websrvs -m user -a 'name=app uid=88 system=yes home=/app groups=root shell=/sbin/nologin password="$1$zfVojmPy$ZILcvxnXljvTI2PhP2Iqv1"' 创建用户。ansible appsrvs -m hostname -a 'name={{name}}{{mark}}{{http_port}}' ansible调用变量。
2023-07-26 20:51:05
481
1
原创 centos虚拟机和宿主机时间同步
在虚拟中输入如下命令：# sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。如果不使用 clock -w 写入cmos ，计时电路就不能使用新的时间。开机后，时间还是不对的。Hardware Clock to System Time，把系统时间设成和硬件时钟一致。由于这个动作将会造成系统全面更新文件的存取时间，所以最好在系统启动时就执行它。与时间服务器同步,下面ntpdate只要有一条执行成功即可。点击设置后，选择选项。
2023-07-10 16:52:36
1033
1
原创 虚拟机ping不通外网：ens33:＜NO-CARRIER,BROADCAST,MULTICAST,UP＞
检查了其他一切虚拟机配置没有问题后，发现是自己本机的VMware服务的net服务没有开启，应该是之前自己不小心关闭之后忘记重新开启了，大家点击我的电脑，右键点击管理进入计算机管理，然后点击服务和应用程序，点击服务，找到以VMware开头的程序服务，确认都开启了。
2023-07-10 16:40:12
5547
8
原创 docker运行redis镜像失败：闪退
后面查了多方资料，意识到可能是我的Linux环境和docker环境可能不支持最新版本的redis，因为我拉取的redis版本是7.0+，所以我打算拉取redis：5.0版本的镜像试一下，后面发现5.0版本的镜像可以正常运行。解决方法：换一个与环境匹配的redis镜像版本即可。
2023-07-05 09:57:32
9633
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人