利用requests库和Xpath爬取猫眼电影榜单【Python】

最新推荐文章于 2021-12-23 14:33:00 发布

每天都要学Python

最新推荐文章于 2021-12-23 14:33:00 发布

阅读量1.4k

点赞数 2

分类专栏：网络爬虫文章标签：猫眼电影爬虫 Xpath requests

本文链接：https://blog.youkuaiyun.com/weixin_42358077/article/details/95735154

版权

博主的前几篇有关定向网络爬虫的博客，在解析HTML界面时，都是运用了BeautifulSoup和re库进行解析，这篇博客写一下怎么用Xpath语法进行HTML界面解析，从而得到我们想要的结果。

说明

爬取猫眼历史电影榜单，并将结果写入到文件中。
放弃使用re和BeautifulSoup，采用Xpath语法进行解析页面。

脚本如下

'''
@Author: Guo Yingwei
@Date: 2019-07-12 00:51:35
@E-mail: willgyw@126.com
@Description:  
'''

import requests
from lxml import etree
import codecs
import time

def get_page(url):
    try:
        kv = {
   'User-Agent':'Mozilla/5.0'}
        r = requests.get(url, headers = kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding