豆瓣爬虫

最新推荐文章于 2023-10-23 00:00:00 发布

原创最新推荐文章于 2023-10-23 00:00:00 发布 · 264 阅读

0 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

5 篇文章

订阅专栏

本文通过使用Python的requests和lxml库，展示了如何从豆瓣网站抓取正在上海上映的电影列表。代码首先发送HTTP请求获取网页内容，然后利用XPath解析HTML，最后提取每部电影的标题，形成一个包含所有当前上映电影的列表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from lxml import etree
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.96 Safari/537.36',
        'Host': 'movie.douban.com'
        }
url = "https://movie.douban.com/cinema/nowplaying/shanghai/"
response = requests.get(url,headers=headers)
text = response.text
html = etree.HTML(text)
ul = html.xpath("//ul[@class='lists']")[0]
#print(etree.tostring(ul, encoding="utf-8").decode("utf-8"))
lis = ul.xpath("./li")
movies = []
for li in lis:
    title = li.xpath("@data-title")[0]
    movie = {
        "title":title
            }
    movies.append(movie)
print(movies)


[{'title': '流浪地球'}, {'title': '疯狂的外星人'}, {'title': '飞驰人生'}, {'title': '熊出没·原始时代'}, {'title': '一吻定情'}, {'title': '新喜剧之王'}, {'title': '今夜在浪漫剧场'}, {'title': '小猪佩奇过大年'}, {'title': '廉政风云'}, {'title': '神探蒲松龄'}, {'title': '白蛇：缘起'}, {'title': '密室逃生'}, {'title': '蓝色生死恋'}, {'title': '朝花夕誓'}, {'title': '五十米之恋'}, {'title': '瑞雪兆丰年'}, {'title': '大黄蜂'}, {'title': '钢铁飞龙之奥特曼崛起'}, {'title': '死侍2：我爱我家'}, {'title': '掠食城市'}, {'title': '养家之人'}, {'title': '蜘蛛侠：平行宇宙'}, {'title': '一条狗的回家路'}]