《小白爬虫之豆瓣》

已于 2025-01-08 15:31:46 修改
阅读量1.3k 收藏 18
点赞数 13
分类专栏： python爬虫学习 文章标签： 爬虫 python
于 2025-01-08 00:48:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_64053773/article/details/144995537
版权

目录

前言

一、爬虫是什么？

二、爬虫的主要功能

 三、实践

1.简介

 2.所需库(如果安装失败，可以选择去Settings里去手动安装)

前言

新手小白如何成功实现第一次爬虫，从0到1。豆瓣作为必爬之路

一、爬虫是什么？

爬虫（Web Crawler），也称为网络爬虫、网络蜘蛛（Web Spider）或网络机器人（Web Robot），是一种自动化程序，用于在互联网上自动抓取、分析和收集数据。它们按照预定的规则或算法，遍历网页上的链接，从一个页面跳转到另一个页面，收集并存储所需的信息。

二、爬虫的主要功能

  1. 数据收集：爬虫可以收集网页上的文本、图片、视频、链接等各种类型的数据。

  2. 搜索引擎索引：搜索引擎使用爬虫来发现和索引互联网上的新网页，以便用户能够通过搜索查询找到这些网页。

  3. 数据挖掘：企业和研究机构利用爬虫从大量网页中提取有价值的信息，用于市场分析、竞争情报、价格监测等。

  4. 内容聚合：一些网站和应用程序使用爬虫来聚合来自不同来源的内容，如新闻聚合网站、社交媒体聚合应用等。

  5. 网站监控：网站管理员可以使用爬虫来监控网站的状态、性能以及内容的变化。

  6. 发送请求：爬虫向目标网站发送HTTP请求，请求访问网页。

  7. 接收响应：目标网站接收到请求后，返回网页的HTML代码或其他格式的数据。

  8. 解析网页：爬虫使用解析器（如BeautifulSoup、lxml等）来解析网页内容，提取所需的数据。

  9. 存储数据：提取的数据被存储到数据库、文件或其他存储介质中。

  10. 遍历链接：爬虫从当前网页中提取出其他链接，并重复上述过程，直到满足停止条件（如达到预设的抓取深度、时间限制或抓取到足够的数据）。

 三、实践

1.简介

目标网站: https://movie.douban.com/top250
需求: 爬取电影中文名、英文名、电影详情页链接、导演、主演、上映年份、国籍、类型、评分、评分人数, 并保存到csv文件当中
目标url: https://movie.douban.com/top250

 2.所需库(如果安装失败，可以选择去Settings里去手动安装)

     （1）request  

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

        (2)  lxml

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lxml

 打开终端输入上两行代码即可安装成功

3.阶段实现代码

import csv
import requests
from lxml import etree
#目标url
url = "https://movie.douban.com/top250"
# 添加请求头信息
head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0" }
#发送请求 获取响应
response = requests.get(url,headers=head)
print(response.text)

# 网页源码
html = response.text
# 实例化etree对象
tree = etree.HTML(html)

# 利用xpath找到<div class="info">这个标签
divs = tree.xpath('//div[@class="info"]')
# print(divs)
for div in divs:
    # title = div.xpath('./div[@class="hd"]/a/span/text()') #这句话需要理解
    # print(title)
    title_cn= div.xpath('./div[@class="hd"]/a/span/text()')[0]
    title_en = div.xpath('./div[@class="hd"]/a/span/text()')[1].strip('\xa0/\xa0')
    print(title_cn,title_en)
    break

# 获取电影链接
for div in divs:
    links = div.xpath('./div[@class="hd"]/a/@href')[0]
    print(links)
    break

# 获取导演，主演等信息
for div in divs:
    #导演
    director = div.xpath('./div[@class="bd"]/p/text()')[0].strip().split('导演: ')[1].split('主演: ')[0]
    print(director)
    #主演
    try:
        act = div.xpath('./div[@class="bd"]/p/text()')[0].strip().split('导演: ')[1].split('主演: ')[1]
        print(act)
    except IndexError as e:
        print("无主演信息")
    print(act)
    # 上映年份
    Release_year = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[0]
    print(Release_year)
    # 国籍
    nationality = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[1].strip()
    print(nationality)
    # 类型
    genre = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[2].strip()
    print(genre)
    break

for div in divs:
    # 评分
    score = div.xpath('./div[@class="bd"]/div/span[2]/text()')[0]
    print(score)
    # 评分人数
    num_score = div.xpath('./div[@class="bd"]/div/span[4]/text()')[0]
    print(num_score)
    # moive_list.append(dic)
    break

for page in range(1, 11):
    # 目标url
    url = f'https://movie.douban.com/top250?start={(page - 1) * 25}&filter='

    # 发送请求, 获取响应
    res = requests.get(url, headers=head)
    # 打印响应信息
    print(res.text)

4.完整代码

#导入模块
import requests
from lxml import etree
import csv

# 请求头信息
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

moive_list = []

for page in range(1, 11):
    # 目标url
    url = f'https://movie.douban.com/top250?start={(page - 1) * 25}&filter='

    # 发送请求, 获取响应
    res = requests.get(url, headers=headers)
    # 打印响应信息
    # print(res.text)
    # 网页源码
    html = res.text
    # 实例化etree对象
    tree = etree.HTML(html)

    divs = tree.xpath('//div[@class="info"]')
    # print(divs)
    for div in divs:
        dic = {}
        title = div.xpath('./div[@class="hd"]/a/span[@class="title"]/text()')
        # 电影中文标题
        title_cn = ''.join(title).split('\xa0/\xa0')[0]
        dic['电影中文名'] = title_cn
        # 电影英文标题
        title_en = div.xpath('./div[@class="hd"]/a/span[2]/text()')[0].strip('\xa0/\xa0')
        dic['电影英文名'] = title_en
        # 电影详情页链接
        links = div.xpath('./div[@class="hd"]/a/@href')[0]
        dic['电影详情页链接'] = links
        # print(links)
        # 导演
        director = div.xpath('./div[@class="bd"]/p/text()')[0].strip().split('导演: ')[1].split('主演: ')[0]
        dic['导演'] = director
        # print(director)
        # 主演
        try:
            act = div.xpath('./div[@class="bd"]/p/text()')[0].strip().split('导演: ')[1].split('主演: ')[1]
            # print(act)
        except IndexError as e:
            print(end='')
        dic['主演'] = act
        # 上映年份
        Release_year = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[0]
        # print(Release_year)
        dic['上映年份'] = Release_year
        # print(Release_year)
        # 国籍
        nationality = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[1].strip()
        if len(nationality[0].encode('utf-8')) == 1:
            nationality = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[2].strip()
        else:
            nationality = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[1].strip()
        # print(nationality)
        dic['国籍'] = nationality
        # print(title_cn, nationality)
        # 类型
        genre = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[2].strip()
        if len(div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[1].strip()[0].encode('utf-8')) == 1:
            genre = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[3].strip()
        else:
            genre = div.xpath('./div[@class="bd"]/p/text()')[1].strip().split('/')[2].strip()
        dic['类型'] = genre
        # print(genre)
        # 评分
        score = div.xpath('./div[@class="bd"]/div/span[2]/text()')[0]
        dic['评分'] = score
        # print(score)
        # 评分人数
        num_score = div.xpath('./div[@class="bd"]/div/span[4]/text()')[0]
        dic['评分人数'] = num_score
        # print(dic)
        moive_list.append(dic)
        # print(len(moive_list))  # 检查数据是否全部爬取成功
    print(f'*****************第{page}页爬取完成*****************')
print('*****************爬虫结束*****************')
# 数据保存
with open('豆瓣电影Top250.csv', 'w', encoding='utf-8-sig', newline='') as f:
    # 1. 创建对象
    writer = csv.DictWriter(f, fieldnames=('电影中文名', '电影英文名', '电影详情页链接', '导演', '主演', '上映年份', '国籍', '类型', '评分', '评分人数'))
    # 2. 写入表头
    writer.writeheader()
    # 3. 写入数据
    writer.writerows(moive_list)

5.将csv文件转化为xlsx

import pandas as pd

def csv_to_xlsx_pd():
    csv = pd.read_csv('豆瓣电影Top250.csv', encoding='utf-8')
    csv.to_excel('豆瓣电影Top250.xlsx', sheet_name='data')

if __name__ == '__main__':
    csv_to_xlsx_pd()

6.数据展示 

豆瓣爬虫
Ustiniany的博客
01-03 2246
1.获取你要爬虫的数据代理：user-Agent 2.然后对request头进行封装： python def DouBanSpide(i): url = "https://movie.douban.com/top250?start="+str(i*9) user_agent = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "} req = request.R
网络爬虫（以豆瓣为例）
weixin_45644861的博客
04-13 2834
网络爬虫（以豆瓣为例） 1，应用pip install 命令语句安装环境。该步骤主要是在python原环境之后为自己提供一个比较和谐以及习惯的环境。如果习惯python原环境或是其他操作环境的朋友和忽略此操作，或是安装自己喜欢的环境进行操作。完成环境安装操作之后进入控制台根目录下输入jupyter notebookb并按下回车键后便可进行网络爬虫的具体操作了。注：新手朋友需注意一个小细节，控制台不...
Python爬虫—爬取豆瓣TOP250电影数据
最新发布
2301_78096295的博客
03-28 875
接下来，我们定义一个函数，用于爬取每一页的电影信息。# 查找包含电影信息的div元素列表# 提取电影名称# 提取电影链接（注意这里可能需要拼接完整的URL）# 提取电影评分# 提取评价人数（可选）# 注意：这里的解析可能需要根据实际网页结构进行调整# 例如，如果评价人数和评分在同一个span标签内，需要用不同的方法提取# 这里假设评价人数在评分后面的括号内# 如果评价人数存在，则提取括号内的数字；
使用Python爬取豆瓣电影 Top 250
qq_51652382的博客
01-10 7898
目录 前言 一、大致思路 1.导入第三方库 2.简单需求分析 二、代码解析 三、代码实现 四、总结一下 实现Python爬虫的基本思路： 1. 确定需求 2. 网站分析 3. 单一数据提取 4. 提取大量数据 5. 函数封装，简化代码 前言 本博客主要叙述了Python爬虫中xpath解析的实际应用以及如何将解析好的数据保存为.csv格式，这里以豆瓣电影 Top 250 一、大致思路 1.导入第三方库 我这里用了几个比较简单的第三方库，大家环境里没有的话需要下载一下：..
豆瓣电影信息爬虫【2024年6月】教程
No_Name_Cao_Ni_Mei的博客
06-11 2764
豆瓣电影院爬虫，更新于2024年6月，可联系我更新。qq:812190146
爬虫：爬取豆瓣电影
Cosophia的博客
05-08 4320
上篇我们将到如何利用xpath的规则，那么这一次，我们将通过案例来告诉读者如何使用Xpath来定位到我们需要的数据，就算你不懂H5代码是怎么个嵌套或者十分复杂的嵌套也没有关系，我们可以利用一些工具来帮助大家过渡这个艰难的过程。到这里基本就是拿下了可以看到这些电影对应的评分，赶快去尝试把，如果xpath记不住就多查资料巩固巩固。
基于Python爬虫的豆瓣电影小工具（课程设计）.zip
04-15
基于爬虫的豆瓣电影小工具（课程设计）.zip基于爬虫的豆瓣电影小工具（课程设计）.zip基于爬虫的豆瓣电影小工具（课程设计）.zip基于爬虫的豆瓣电影小工具（课程设计）.zip 【备注】 1、该资源内项目代码都经过测试...
基于HTML爬虫的豆瓣小组API(Python版本)详细文档+资料齐全.zip
11-28
基于HTML爬虫的豆瓣小组API(Python版本)详细文档+资料齐全.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的...
爬虫项目之豆瓣电影排行榜前10页
前景
01-20 4260
豆瓣电影排行榜前十页数据抓取（详细分析讲解）
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影
2401_84009698的博客
04-21 1254
而在a标签下的第二个span标签中包含的文本内容是电影的英文标题，所以我们只需要将span[1]改成span[2]就可以获取到电影的英文标题。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。定位到a标签，要取其属性href的值需要在该路径后加上/@href 即可。将这些信息打印看一下是否获取到正确信息：我们已经获取到了第一部电影的中英文标题和详情页链接，它们都各自存放在一个列表中。
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影(1)
2401_84009626的博客
04-21 1564
前面说过，每个li标签下都是一部电影的信息，一个页面有25部电影，那么就应该有25个li标签，我们可以通过li标签的下标定位获取到不同的li标签。以上就是我们获取一部电影数据的过程，接下来要获取一个页面的全部电影信息，然后通过循环翻页，获取不同页面的电影信息。需要嵌套循环，第一层循环通过改变data参数中的start的值来实现翻页，第二层循环则是遍历每个页面中的li标签，获取该页面每一部电影的数据。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。
Python爬虫实战：爬取豆瓣电影
weixin_45145684的博客
02-19 1710
网络爬虫是一种自动化程序，能够从互联网上抓取数据。它通过模拟浏览器请求，访问网页并提取所需的信息。发送HTTP请求：向目标网站发送请求，获取网页内容。解析HTML：从网页中提取有用的数据。存储数据：将提取的数据保存到本地或数据库中。本文通过一个简单的豆瓣电影Top250爬虫实例，介绍了Python爬虫的基本流程。我们从发送HTTP请求、解析HTML到存储数据，逐步实现了一个完整的爬虫程序。此外，我们还探讨了如何处理分页和动态内容，以及应对常见的反爬虫策略。
爬虫练习-豆瓣读书
测试游记
03-19 318
昨晚使用不熟悉的xpath语法解析百度新闻页面碰到了好多坑，今天继续通过简单的豆瓣图书进行练习1.分析页面进入豆瓣首页https://www.douban.com/在第一...
Python豆瓣爬虫详解
bagell的博客
01-10 1710
有没有过周末为看什么电影焦虑，今天手把手教学爬取豆瓣电影评分！0，当我们打开一个网站的时候这个时候网站给到我们一个cookies，这个cokkies可能是多个参数或一个参数，然后我们再浏览其他的页面的时候网站会校验cookies等信息确认是不是还是一个同一个用户再访问。那么再说模拟登录的时候我们获取到验证码怎么让他再登录的时候也认为是我们就是拿验证码的人呢，就用到会话保持，但是又一些公司为了方式爬虫会禁止sess传递cookies。那么怎么搞了。这里留个彩蛋大家自己研究研究之后有了好案例我再更。
豆瓣爬虫python_python豆瓣的简单爬虫
weixin_39747630的博客
12-04 721
https://movie.douban.com/直奔主题，给个要爬取的豆瓣电影地址，爬取热门电影名字。右键选择查看网页源码，我们可以发现在网页静态源码里，是找不到‘来电狂想’这些关键字的。通过检查网页，查看network下的XHR，我们可以找到对应的信息。说明我们想要爬取的这部分内容是通过Ajax从后台拿到的json数据。copy link address得到访问的url：https://mov...
scrapy豆瓣爬虫
qq_62943420的博客
11-28 1038
当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie。当COOKIES_ENABLED没有注释，设置为False的时候scrapy默认使用了settings里面的cookie。当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie。这个时候scrapy已经得到了正确的值。实际上是继承上文的xpath。这时候已经追踪到了豆瓣的评分。
爬取豆瓣电影的数据-----爬虫实战案例（爬取文字）
will be blogging
12-08 1631
我们爬取每个电影的一些信息。
app逆向分析案例-95分
weixin_41763171的博客
02-12 2029
先把justtrusmeplus打开设置好95分，开始抓包，得到结果为： https://www.95fenapp.com/api_goods/list/v3.0?is_all=1&keywords=%E7%A7%91%E6%AF%94& page=1&page_size=20 &publish_timestamp=0 &scene=2&scene_type=95fen_android_search_personal&sn=SearchList
使用Python爬虫爬取豆瓣影评
faxingzhongjian的博客
12-23 7913
首先，需要明确一点，爬虫的使用必须遵守法律法规和网站的使用协议，不可以随意抓取和使用网站内容。Python 爬虫介绍 | 菜鸟教程 (runoob.com)我们需要对网页的代码有一定的了解，方便我们寻找需要的代码块，请使用在正当途径上。希望这篇博文能对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值