菜小白的博客

最近因为女票的可视化作业快要交了，平时我在公司实习，就趁着实习的间隙抓紧给她做了一些皮毛，因为是研究生的课程作业，也没有往很深的方向去走。选的课程方向是爬取网易云音乐某首歌曲的用户评论内容和评论时间，观察每天哪个时间段的评论信息最多，每周哪天的评论信息最多。然后分析该歌曲的用户性别分布和年龄分布。所以首先需要通过爬虫来爬取评论信息和用户信息，然后通过可视化方法来统计该信息。由于网易云音乐有官方...

Python 爬虫简单入门实践爬虫简单入门实践1：爬取明星美图，使用的基本库有urllib,bs4,os通过urllib中的request进行发送请求，通过bs4库进行网页解析。class mx_spider(object): url="http://www.mingxing.com/tuku/index?" def __init__(self,start_page,end_...

Python多线程爬虫因为使用了多线程，所以要使用的库包括threading,requests,json和etree。所使用的网站用例，仍然是之前的明星网站，但是这次采用了三个采集线程和三个解析线程进行采集和解析。一、创建爬去的网页队列和待存储的数据队列二、创建采集线程和解析线程三、开始采集线程，和解析线程四、结束子线程五、结束主线程首先是创建队列的过程，这一部分要将我们爬去的网页...