本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有,如有问题请及时联系我们以作处理
作者:啃书君 来源:掘金
原文链接:https://juejin.cn/post/6911667019435737101
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
准备工作
工欲善其事,必先利其器。写代码也同样是如此,所以在开始之前请先安装好requestst、pandas库。如果没有安装,请先安装好。
# 安装requests
pip install requests
# 安装pandas
pip install pandas
复制代码
需求分析
本次我们需要提取出当当网TOP500的图书名称、初版时间、价格和作者姓名。
获取书籍名称
首先打开开发者工具,使用选择器定位到书籍名称。
从上图可以看到,书籍名称在title属性值上。
具体正则表达式如下所示:
pattern_name = re.compile('li.*?<div class="name">.*?title="(.*?)".*?</a>', re.S)
复制代码
获取作者姓名
从上图可以看到作者姓名在a标签的文本中,具体正则表达式代码如下所示:
pattern_author = re.compile('li.*?<div class="publisher_info">.*?<a .*?target="_blank">(.*?)</a>', re.S)
复制代码
获取出版日期
从上图可以看到,出版日期在span标签内。具体正则表达式如下所示:
pattern_time = re.compile('li.*?<div class="publisher_info">.*?<span>(.*?)</span>', re.S)
复制代码
获取价格
和出本日期一样,都是在span标签内,但是要注意它们之间的区别。具体正则表达式如下所示:
pattern_price = re.compile('li.*?<div class="price">.*?<span class="price_n">(.*?)</span>', re.S)
复制代码
翻页处理
打开网页你会发现并不是所有的的图书都在同一个页面,TOP500共有25页,每页20本书。所以接下来需要分析翻页时URL的变化规律。
# 第一页
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-1
# 第二页
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-2
# 第二十五页
http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-25
复制代码
从上面不难看出变化的内容是最后一个数字,并且每一次都按加1的操作。
功能实现
获取每一页的URL地址
def get_url(self, page):
url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-{page}'
return url
复制代码
可以通过循环的方式,将1-25传值给page
获取每一页的网页信息
def get_html(self, url):
html = self.session.get(url).content.decode('gb2312', 'ignore')
return html
复制代码
将信息保存至csv文件
def get_info(self, html):
pattern_name = re.compile('li.*?<div class="name">.*?title="(.*?)".*?</a>', re.S)
pattern_author = re.compile('li.*?<div class="publisher_info">.*?<a .*?target="_blank">(.*?)</a>', re.S)
pattern_time = re.compile('li.*?<div class="publisher_info">.*?<span>(.*?)</span>', re.S)
pattern_price = re.compile('li.*?<div class="price">.*?<span class="price_n">(.*?)</span>', re.S)
name = re.findall(pattern_name, html)
author = re.findall(pattern_author, html)
print('清洗前:',author)
# author = [i for i in author if '出版社' not in i]
if page == 3:
author = [i for i in author if '出版社' not in i]
if page == 14:
author = [i for i in author if '机械工业出版社' not in i]
print('清洗后:',author)
print(len(author))
time = re.findall(pattern_time, html)
price = re.findall(pattern_price, html)
price = [i.replace('¥', '¥') for i in price]
df = pd.DataFrame({
'book_name': name,
'author': author,
'edition_time': time,
'price': price
})
print(list(df['author']))
return df
复制代码
在这里我需要说两个坑,也就是上面代码的两个if语句。
这两个坑是这样的,当匹配到第三页和第第十四页的时候,分别有一本书会出现两个作者信息,一个是作者,一个是出版社信息。那这样就会出现21个作者,20本书21个作者显然是不合理的,所以我使用两个if语句将这两个多余内容清理掉。
最后
本次爬取当当网的内容分享到这里就结束了,你将正则表达式学会了吗?
如果你看到这里,相信本文对你还是有些许帮助的,这也是我写文章的初衷。