qq_45645521的博客

好久不更爬虫与数据分析系列的文章了最近学妹拜托我帮她完成了一份爬虫大作业借着这个机会，更一期的爬虫与数据分析主题是非常常见的爬取豆瓣读书与豆瓣电影博主发现一个非常有意思的现象，去年学习爬虫的时候，练手豆瓣读书与豆瓣电影时，爬取还挺容易的，反爬措施也没有那么强~今天我在爬取的时候，大概只请求了几次，好家伙直接给我IP封了，像这样：IP代理的话，我还在学习，不太会整，然后用了一个非常巧妙的fake-UserAgent库随机产生请求头，模拟浏览器的请求，欺骗豆瓣的后台，这样果真可以实现数据的爬取

大家新年好！这是第二期的爬虫与数据分析啦，很高兴新年里与大家再次见面！本次要实现的爬虫功能是：爬取bilibili的弹幕，并把爬取的弹幕写入到excel中首先，上B站找一个自己喜欢的视频，且弹幕量比较多的（博主最近迷上了星辰大海，so……理所当然了，哈哈哈哈哈，真的很好听！）视频的地址：https://www.bilibili.com/video/BV1my4y1n7fw?from=search&seid=12597893681774837581好家伙！足足有756条的弹幕，看的出来，

利用爬虫获取某地1月份的天气情况（最高温度和最低温度），并作出相关的曲线图实现思路：1.首先，利用requests模块对url发送请求# 定义url和请求头url = 'http://tianqihoubao.com/lishi/xian/month/202101.html'headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch