python利用requests和lxml库爬取豆瓣top250的电影信息并保存到csv文件中

最新推荐文章于 2024-06-06 18:25:37 发布

一笑程序猴

最新推荐文章于 2024-06-06 18:25:37 发布

阅读量6.9k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：技术人生苦短，我用python 文章标签： python 豆瓣top250 爬虫 csv requests

本文链接：https://blog.youkuaiyun.com/lixiaosenlin/article/details/90769932

该博客介绍了如何在Python 3.7环境下，使用requests和lxml库抓取豆瓣Top250电影信息，并将其存储到CSV文件中。首先，通过设置user-agent和发送HTTP请求获取网页源码，然后利用XPath解析获取所需内容，最后将数据以字典形式存入列表，并遍历写入CSV文件。

准备

开发环境：windows 7

开发工具：pycharm

python版本：python 3.7

用到的库：requests，lxml，csv

requests，和lxml库是第三方库需要自行安装，安装方法：pip install requests，pip install lxml

csv库为python自带库不需安装

关键步骤

确定url，设置请求头user-agent，利用requests库请求并得到网页源码
分析返回的源码，利用xpath解析源码得到想要获取的内容并以字典的方式存到列表中
遍历列表将数据写入csv文件中

实现代码

# coding = utf-8
# Author:'Alvin'
# Date: '2018/8/10'
 
import requests
from lxml import html
import csv
 
#step1 确定url，设置请求头user-agent，利用requests库请求并得到网页源码
def get_content():
    url = 'https://movie.douban.com/top250'
    user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    headers = {
        "User_Agent": user_agent
    }
    response = requests.get(url, headers=headers)
    get_movie_list(response.content)
 
#setp2 分析返回的源码，利用xpath解析源码得到想要获取的内容并以字典的方式存到列表中
def get_movie_list(so