爬虫学习 ----- 第二章爬取静态网站 ---------- 02 . re 模块学习 ---- 爬取豆瓣top250

最新推荐文章于 2023-11-09 09:56:25 发布

原创最新推荐文章于 2023-11-09 09:56:25 发布 · 292 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

爬虫学习专栏收录该内容

4 篇文章

订阅专栏

本文通过Python的re模块演示如何爬取豆瓣Top250书籍列表，从页面源代码中定位关键信息，提取书籍名称、出版年份等，并将数据保存到CSV文件，同时讨论了如何处理分页问题。

1. 【案例】re来爬取豆瓣top250

信息在页面源代码中，直接用 re 拿就行了。

拿着四了数据。

在这里插入图片描述

建议找到关键作为起始位置。。之后，往前找一下根目录，

在这里插入图片描述

在这里插入图片描述

然后再找年份

在这里插入图片描述

# -*- coding: utf-8 -*-
# @Time: 2021/5/5 14:05
# @Author: adam
# @File: demo2.py


import re
import requests
header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
url='https://movie.douban.com/top250'
res = requests.get(url=url,headers=header)
page_content = res.text
# 解析数据  re.S ,使得. 能够匹配包括换行在内的所有字符。
obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'
                 r'</span>.*?<p class="">.*?(?P<year>\d+).*?</p>'
                 r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'
                 r'.*?<span>(?P<people>\d+)人评价</span>',re.S)

# 开始匹配
result = obj.finditer(page_content)
for it in result:
    print(it.group("name"),end='    ')
    print(it.group("year").strip(),end='     ')   #  string.strip()
    print(it.group('score'),end='     ')
    print(it.group("people"))

然后是写入文件中去。

这个迭代器的it的groupdict就是每一个的以字典的形式返回。
然后
在这里插入图片描述

# 开始匹配
result = obj.finditer(page_content)
f = open('data.csv',mode="w",encoding='utf-8')
csvwriter = csv.writer(f)  # 有个 import csv
for it in result:
    # print(it.group("name"),end='    ')
    # print(it.group("year").strip(),end='     ')   #  string.strip()
    # print(it.group('score'),end='     ')
    # print(it.group("people"))
    dic = it.groupdict()
    dic['year'] = dic['year'].strip()
    csvwriter.writerow(dic.values()) # 输出所有value，因为key没用，是我们随便写的

f.close() # 养成好习惯！！
print('over!')

然后，如果某一个数值需要去掉括号的化，可以拿出来然后strip一下就好了。然后看一下data.csv，这个csv自动以逗号为分隔

在这里插入图片描述
但是25条只是这一片的。然后要换页。
调整参数就可以了

在这里插入图片描述

就是换url的参数。

最终的代码：

# -*- coding: utf-8 -*-
# @Time: 2021/5/5 14:05
# @Author: adam
# @File: demo2.py

import csv
import re
import requests
header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
}
url='https://movie.douban.com/top250'
res = requests.get(url=url,headers=header)
page_content = res.text
# 解析数据  re.S ,使得. 能够匹配包括换行在内的所有字符。
obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'
                 r'</span>.*?<p class="">.*?(?P<year>\d+).*?</p>'
                 r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'
                 r'.*?<span>(?P<people>\d+)人评价</span>',re.S)

# 开始匹配
result = obj.finditer(page_content)
f = open('data.csv',mode="w",encoding='utf-8')
csvwriter = csv.writer(f)  # 有个 import csv
for it in result:
    # print(it.group("name"),end='    ')
    # print(it.group("year").strip(),end='     ')   #  string.strip()
    # print(it.group('score'),end='     ')
    # print(it.group("people"))
    dic = it.groupdict()
    dic['year'] = dic['year'].strip()
    csvwriter.writerow(dic.values()) # 输出所有value，因为key没用，是我们随便写的

f.close() # 养成好习惯！！
print('over!')