爬取目标网址:豆瓣Top250
可以看到进入每条电影的详细链接后,显示的内容会更加详细一点
因此我们需要先利用爬虫技术从主页爬取到每条电影的链接,再分别遍历每条电影的链接,获取它的详细内容,这里仅展示一部分代码
利用BeautifulSoup库爬取数据
请求头:
获取每个网页的链接:
再获取相关数据,最终构造成字典数据,并写进csv文件
爬取目标网址:豆瓣Top250
可以看到进入每条电影的详细链接后,显示的内容会更加详细一点
因此我们需要先利用爬虫技术从主页爬取到每条电影的链接,再分别遍历每条电影的链接,获取它的详细内容,这里仅展示一部分代码
利用BeautifulSoup库爬取数据
请求头:
获取每个网页的链接:
再获取相关数据,最终构造成字典数据,并写进csv文件