学了没多长时间python就开始接触爬虫(被一名学长带进了爬虫的坑,感谢学长的指导),看了网上的一些视频,简单的了解了python的requsts库,bs4,就可以实现一个网页的最简单的爬虫(其实就是用几行代码把某个网页的html抓取下来,生肉(滑稽)),然后当然还需要对网页的元素进行处理,提取出有效的信息,所以,发现了bs4的强大,我个人到目前一直用的是select,还没使用find_all,将来还要学习,然后加上skimage可以爬到网页上的图片,最后加上pandas,就可以将爬取到的信息生成表格形式,还可以生成Excel文件,方便后期对数据进行处理。
这里发表我的第一个实战爬虫,爬取豆瓣网书籍目录信息,并将书籍信息存放到一个Excel文件中
#爬虫爬取豆瓣书目录
import requests
from bs4 import BeautifulSoup
import json
import pandas #该库用于对爬取的信息进行表格性操作
from skimage import io#该库用于打印爬取到的照片
url = 'https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&\
utm_medium=pc_web&page={}&page_num=20&'
#该函数式用来返回一个列表存放含有书籍信息的字典
def bookList(url):
newurl = requests.get(url)
soup = BeautifulSou