网页爬虫小笔记

最新推荐文章于 2024-05-02 11:08:45 发布

细雨春风

最新推荐文章于 2024-05-02 11:08:45 发布

阅读量154

点赞数

文章标签： Python 学习

本文链接：https://blog.youkuaiyun.com/coolsen133/article/details/86678527

版权

本文分享了使用Python和XPath语法爬取猫眼电影榜单的实践经验，详细解析了如何通过requests库获取网页内容及利用lxml解析HTML，成功抓取电影名称。文中还提到了header设置的重要性，以模拟浏览器访问，确保数据抓取顺利。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: UTF-8 -*-

import requests
from lxml import etree

import sys



def getOnePage(n):
    url = f'https://maoyan.com/board/6?offset={n}'

    header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
    r = requests.get(url, headers=header)

    #print(r)
    return r.text
#getOnePage(10)

def parse(text):
    html = etree.HTML(text)
    names = html.xpath('//div[@class="movie-item-info"]/p[@class="name"]/a/@title')
    print(names)


t1 = getOnePage(20)
parse(t1)

爬取猫眼电影的名称，开始的时候总是报错，后来发现要把第一个函数里的print 改成 return才行。

其中主要是应用了xpath的语法和 requests 获取网页内容，header 主要是模拟浏览器访问，避免无法抓取；不过那个r.text还是感觉怪怪的，可能了解更多后就熟悉了吧。