- 博客(3)
- 收藏
- 关注
RSS订阅原创 腾讯视频热评爬虫（fiddler抓包js文件）
目标：爬取腾讯视频（三生三世十里桃花电视剧）热评 链接：https://v.qq.com/detail/j/j6cgzhtkuonf6te.html 因为f12源代码无法找到关于热评信息的代码，推测是存储在js文件，只能抓包获取 左键查看更多（触发网络请求） 查找对应的js文件，解码并对比热评 完全一致，开始研究网页规律，并校验 发现网页的reqnum字段的值是评论个数 增大这个值相当于...
2019-11-15 21:41:44
1911
原创 scrapy爬取当当网商品信息
目标：利用scrapy框架爬取多页当当网商品标题，链接和评论数信息并保存在本地数据库中 首先创建爬虫项目和爬虫模板文件 爬取商品标题 商品链接 商品评论 创建容器容纳他们 查看网页源代码，找到规律 通过ddname定位a标签 a标签下的 title属性的值是商品标题 href属性是链接 文本是评论数 开始网址设置为第一页 设置不遵循robot协议限制 开启pipeline调用DAN...
2019-11-04 11:59:33
962
原创 糗事百科成人版段子爬虫实战
糗事百科成人版的段子爬虫 因此正则表达式可以写成 然后观察网址规律，发现格式是…page/n，n是页数 因此可以自己构造url访问多页 最后是针对某些反爬机制 可以自己添加用户代理池和ip代理池然后随机调用代理池（这个糗事百科没什么反爬机制可以不写） 常用用户代理池 https://blog.youkuaiyun.com/wangqing84411433/article/details/896003...
2019-10-10 16:15:32
41662
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人