爬取当当网python类书籍的信息(存储在mysql中)

我爬取到的数据是存储在mysql数据库中的,没有需要安装。

本文设计到的python库有:bs4、scrapy、pymysql、

首先在cmd命令行输入下图(1)的命令,显示下图(2)中的内容时,项目创建成功,然后用pycharm打开这个项目。

没有安装scrapy框架的建议用anaconda安装,然后在anacomda prompt输入(1)的命令

使用pycharm打开项目后目录结构如下(在spiders中新建mySpider.py、book下新建run.py):

然后分析当当网的图书数据进行分析,打开当当网,在搜索中输入python,看到如下页面:

此时的地址为:http://search.dangdang.com/?key=python&act=input

分析html代码的结构,我们看到每本书都是一个<li>的项目,而它们的结构是完全一样的,这些

<li>包含在一个<ul>中,我们只关心图书的名称title、作者author、出版时间date、出版社publisher、

价格price和内容简介detail。下面对提取这些信息的代码做一个分析:

1、title = li.xpath("./a[position()=1]/@title").extract_first()

<li>中有多个<a>标签,从html代码中可以看到书名信息包含在一个<a>的title属性中,因此通过position()=1

找出第一个<a>,然后取出title属性值就是书名title。

2、price = li.xpath("./p[@class='price']/span[@class='search_now_price']/text()").extract_first()

价格包含在<li>中的class='price'的<p>元素下面的class='search_now_price'的span元素的文本中

3、author = li.xpath("./p[@class='search_book_author']/span[position()=1]/a/@title").extract_first()

作者包含在<li>下面的class='search_book_author'的<p>

评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值