Python爬虫(4)获得所有Top250部电影的信息并存入数据库

上次我们完成了单页电影的获取并保存到了Excel文件中,不知道小伙伴们都完成了没?有没有把Top250部电影都保存下来的?在编写这些代码过程中遇到什么问题了没?如果遇到但是没有解决,或是解决了但不知道原因的请在公众号中发消息给小编,一起讨论,共同进步。

OK,今天继续把所有的电影都获取并保存下来,不过这次保存的位置我们做一些改动,通常情况下,这样有规则的信息我们都保存到数据库中,毕竟Excel文件还是仅限于个人数据存放,而真正的数据库才是相对通用的数据存储办法,好处太多,比如,存储和查询方便,数据的完整性和有效性都更有保障等等。

 

  1. 公布所有电影信息的获取代码

我们已经获取了一页的所有需要的信息,那么再来9页的信息几乎一点困难都没有,不就是通过一个For循环就能搞定吗?

不过,回顾一下我们之前写的代码,虽然功能都实现了,但是整个代码写下来有点流水账的感觉,阅读性和维护性相对较差,如果能以结构化的方式书写,在今后问题排查或是功能扩展都会带来不少便利。所以在这里我们把一些功能单独抽出来写成函数。如下截图:

这样我们把抓取网页信息以及保存信息到数据库或文件分成了几个块,这样我们这个Python文件的程序阅读和维护起来就会非常方便。

首先看AskURL这个函数,通过传参url就可以获取url所指定网页页面信息,而这个信息就是需要我们接下来通过GetData对这些信息进行解析拆分存储到一个列表返回,然后让SaveDataToD

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值