通过Python爬取当当网，学正则表达式

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理

作者：啃书君  来源：掘金

原文链接：https://juejin.cn/post/6911667019435737101

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

 

准备工作

工欲善其事，必先利其器。写代码也同样是如此，所以在开始之前请先安装好requestst、pandas库。如果没有安装，请先安装好。

# 安装requests
pip install requests

# 安装pandas
pip install pandas

复制代码

需求分析

本次我们需要提取出当当网TOP500的图书名称、初版时间、价格和作者姓名。

获取书籍名称

首先打开开发者工具，使用选择器定位到书籍名称。

从上图可以看到，书籍名称在title属性值上。

具体正则表达式如下所示：

pattern_name = re.compile('li.*?<div class="name">.*?title="(.*?)".*?</a>', re.S)
复制代码

获取作者姓名

从上图可以看到作者姓名在a标签的文本中，具体正则表达式代码如下所示：

 pattern_author = re.compile('li.*?<div class="publisher_info">.*?<a .*?target="_blank">(.*?)</a>', re.S)
复制代码

获取出版日期

从上图可以看到，出版日期在span标签内。具体正则表达式如下所示：

 pattern_time = re.compile('li.*?<div class="publisher_info">.*?<span>(.*?)</span>', re.S)
复制代码

获取价格

和出本日期一样，都是在span标签内，但是要注意它们之间的区别。具体正则表达式如下所示：

pattern_price = re.compile('li.*?<div class="price">.*?<span class="price_n">(.*?)</span>', re.S)
复制代码

翻页处理

打开网页你会发现并不是所有的的图书都在同一个页面，TOP500共有25页，每页20本书。所以接下来需要分析翻页时URL的变化规律。

# 第一页
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1
# 第二页
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-2
# 第二十五页
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-25
复制代码

从上面不难看出变化的内容是最后一个数字，并且每一次都按加1的操作。

功能实现

获取每一页的URL地址

    def get_url(self, page):
        url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-{page}'
        return url
复制代码

可以通过循环的方式，将1-25传值给page

获取每一页的网页信息

    def get_html(self, url):
        html = self.session.get(url).content.decode('gb2312', 'ignore')
        return html
复制代码

将信息保存至csv文件

    def get_info(self, html):
        pattern_name = re.compile('li.*?<div class="name">.*?title="(.*?)".*?</a>', re.S)
        pattern_author = re.compile('li.*?<div class="publisher_info">.*?<a .*?target="_blank">(.*?)</a>', re.S)
        pattern_time = re.compile('li.*?<div class="publisher_info">.*?<span>(.*?)</span>', re.S)
        pattern_price = re.compile('li.*?<div class="price">.*?<span class="price_n">(.*?)</span>', re.S)
        name = re.findall(pattern_name, html)
        author = re.findall(pattern_author, html)
        print('清洗前：',author)
        # author = [i for i in author if '出版社' not in i]
        if page == 3:
            author = [i for i in author if '出版社' not in i]
        if page == 14:
            author = [i for i in author if '机械工业出版社' not in i]
        print('清洗后：',author)
        print(len(author))
        time = re.findall(pattern_time, html)
        price = re.findall(pattern_price, html)
        price = [i.replace('&yen;', '￥') for i in price]
        df = pd.DataFrame({
            'book_name': name,
            'author': author,
            'edition_time': time,
            'price': price
        })
        print(list(df['author']))
        return df
复制代码

在这里我需要说两个坑，也就是上面代码的两个if语句。

这两个坑是这样的，当匹配到第三页和第第十四页的时候，分别有一本书会出现两个作者信息，一个是作者，一个是出版社信息。那这样就会出现21个作者，20本书21个作者显然是不合理的，所以我使用两个if语句将这两个多余内容清理掉。

最后

本次爬取当当网的内容分享到这里就结束了，你将正则表达式学会了吗？

如果你看到这里，相信本文对你还是有些许帮助的，这也是我写文章的初衷。