- 博客(5)
- 收藏
- 关注
RSS订阅原创 使用Python爬虫获取天气信息并保存到CSV文件
在这篇文章中，我们介绍了如何使用Python编写一个简单的爬虫，从中国天气网获取天气信息并保存到CSV文件中。这只是一个简单的示例，您可以根据自己的需求进一步扩展和定制这个爬虫。希望这篇文章能对你有所帮助！
2023-10-15 13:01:12
1574
1
原创 python爬取租房网站数据
为什么我们要爬取租房网站的数据呢？在贝壳的页面上找的话，我们需要一个个点开房源信息，这样太浪费时间。并且平时又比较忙，没有的太多的时间去现地看房。能不能尽快地帮助我们找到符合要求的房源，快速筛选出3-5个最佳的选项。利用python爬虫就可以实现这个功能。一、打开PyCharm工具，创建python文件，导入以下模块二、创建文件夹用来保存爬取的数据# 如果'file'文件不存在就创建#os.path.exists()检查目录是否存在# 打开'file'下的'house.csv'文件。
2023-10-15 12:57:03
774
1
原创 hadoop：配置环境变量时出错
当我们配置好hadoop的环境变量，更新环境变量后，验证hadoop是否安装成功时，显示hadoop:command not found，如下图。然后用 source /etc/profile 更新环境变量，再用 hadoop version 验证是否安装成功，可以看见安装成功了！我们可以重新打开我们的环境变量在第二句的后面加上:$HADOOP_HOME/sbin，如图所示。
2023-10-07 20:56:57
857
1
原创 python爬取二手房网站数据，进行全国房价数据分析
我们打开二手房价网站，例如（58同城:https://quanguo.58.com/ershoufang/?PGTID=0d100000-0221-8af0-e247-a41467723324&ClickID=4）F12,打开管理员模式，进入查看相应元素，并找到数据接口。` 提示：这里我们采用PyCharm 2023.2.1。
2023-09-24 16:02:01
1201
1
原创 hadoop集群的搭建（上）
Hadoop是一个开源的分布式计算框架，由Apache基金会开发和维护。它起源于Google的MapReduce和Google File System（GFS）的研究论文，并由Doug Cutting和Mike Cafarella于2005年创建提示：以下是本篇文章正文内容，下面案例可供参考。
2023-09-10 12:35:47
288
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人