
python爬虫
葉_蕖
放弃不难,但坚持一定很酷
展开
-
python爬取某个博主微博动态
以chrome为例微博页数的显示只有网址后面的page在变化,这个就很容易获取到每页动态的网址,当然直接get是获取不到的,记得带上cookie最主要的是微博是网页分段加载的,没有办法一次性获取到全部内容,那么就要找到它中途又发送了那些请求可以看到这个新的url,也就是我们需要的url然后可以发现,区别就在于这个pagebar,pagebar的值在为0和1时分别又加载了...原创 2019-08-29 21:09:18 · 2240 阅读 · 1 评论 -
python爬取网易云音乐歌曲评论
以魏如萱为例,爬取热门前50首歌曲的评论首先因为js异步加载的原因,直接获取源代码只能得到脚本自动生成的代码,因此我用的是selenium+chromdriver来访问,这样就可以得到加载好的框架代码,然后找到各首歌曲对应的链接就好之后,在network(以chrome为例)刷新页面,就能看到network的动作我们可以发现,点击下一页评论,只有评论会刷新,而页面的URL却不会...原创 2019-08-29 21:35:06 · 689 阅读 · 0 评论