python爬虫爬取豆瓣书籍信息并生成表格

学了没多长时间python就开始接触爬虫(被一名学长带进了爬虫的坑,感谢学长的指导),看了网上的一些视频,简单的了解了python的requsts库,bs4,就可以实现一个网页的最简单的爬虫(其实就是用几行代码把某个网页的html抓取下来,生肉(滑稽)),然后当然还需要对网页的元素进行处理,提取出有效的信息,所以,发现了bs4的强大,我个人到目前一直用的是select,还没使用find_all,将来还要学习,然后加上skimage可以爬到网页上的图片,最后加上pandas,就可以将爬取到的信息生成表格形式,还可以生成Excel文件,方便后期对数据进行处理。
这里发表我的第一个实战爬虫,爬取豆瓣网书籍目录信息,并将书籍信息存放到一个Excel文件中

#爬虫爬取豆瓣书目录
import requests
from bs4 import BeautifulSoup
import json
import pandas #该库用于对爬取的信息进行表格性操作
from skimage import io#该库用于打印爬取到的照片

url = 'https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&\
        utm_medium=pc_web&page={}&page_num=20&'
#该函数式用来返回一个列表存放含有书籍信息的字典
def bookList(url): 
    newurl = requests.get(url)
    soup = BeautifulSou
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值