- 博客(2)
- 收藏
- 关注
原创 人类有史以来的航天器发射统计数据爬取(附源码)
其中'人类航天器发射总结_copy1'可以替换为自己创建的表的名称,其中序号应设置为自增,其他均设置为字符串。可以在源代码中发现的数据,所以我们只需要拿到源代码并对数据进行解析,就可以拿到清洗过的数据.3. 因数据量大 (7000条)所以需要在程序中设置程序延迟,防止对网站正常使用产生干扰.1. 从网站爬取到每一次发射的航天器名称,发射时间,状态,发射地点,发射编号,发射公司.解析数据,拿到(航天器名称,发射时间,状态,发射地点,发射编号,发射公司)4.将爬取到的数据进行存储,以数据库存储为例.
2025-02-22 23:59:55
342
原创 豆瓣读书TOP250全数据爬取(教程) 附带源码
shuju 应该包括作者,出版社,出版时间,价格 ,一共是四项(对于外国作品(作者,译者,出版社,出版时间,价格),一共是五项),明确这个,在之后数据的遍历时会更加清晰。第二步:了解数据类型和数据所在位置后,可以发现数据就在页面的原代码中,所以使用python中的requests库进行网络请求,获取源代码。运行代码:发现并不能获取到页面原代码,简单的思路是网站具有一定的反爬机制,可以在请求时携带请求头来反反爬。创建一个函数用于数据的获取,并进行数据的解析,最后将数据整理为列表并发送数据。
2025-02-14 22:04:03
1053
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人