
爬虫
wujiajia2017scnu
硕士研究生,微信公众号[python案例教学]
展开
-
爬虫系列之新浪微博
爬虫方式:1 爬取某个话题的所有的评论2 爬取某个博主的所有微博的评论3 爬取某个博主的所有粉丝的用户信息,位置信息微博评论爬虫难点:获取max_id 和 max_id_type 参数以“迪丽热巴的微博”为案例,爬取热巴的所有微博,所有微博评论,所有粉丝的用户信息,并对所有的粉丝进行位置分析,在地图上显示粉丝分布。1requests_weibo.py功能:爬取迪丽热巴的所有的微博,微博内容的text保存在excel中,包括微博id2requests_weibo_...原创 2020-06-21 13:38:16 · 698 阅读 · 0 评论 -
爬虫系列之大众点评
本文以获取大众点评网的店铺评论内容为案例,对爬虫的基本流程进行讲解。全文共分为:准备工作、爬虫流程、爬虫代码三个部分。声明:代码仅供学习交流,不能进行商业活动。如有侵权,请联系删帖。原创 2020-06-19 22:29:28 · 1665 阅读 · 0 评论 -
百度翻译爬虫仅供学习
百度翻译爬虫要满足以下几点:1 登录自己的百度账号,需要cookie 信息2 使用chrome手机浏览模式3 熟悉post请求4 这个是练手的爬虫训练,后续后补上面向对象的代码。# 第一版本的百度翻译爬虫,非面向对象import requestsimport execjs # 执行js代码import jsonimport sys# headers...原创 2019-06-25 16:11:59 · 1557 阅读 · 0 评论