selenium爬取魔方公寓, 利用鼠标中轴滚动动态拿到魔方公寓评论数据

     最近看到有兄弟们爬取魔方公寓受阻了,虽然能爬取房源信息但是爬取不到评论信息,而且接口是加密的, 用selenium的模拟滚动条滚动也不能让评论下翻,最后只能拿到十几条数据,读者最后试了几遍, 用了很多方法都没法实现,但是最后还是被小编攻破了, 一起来看一下吧!

    首先我是按照常规写法, 模拟滚动条滚动,但是最后得到的却是主页面的滚动而评论页纹丝不动, 后来发现评论页原来整体是一个div标签,所以我们得换个思路了.

现在换个思路, 我们在点开全部评论的时候鼠标滑动评论是可以自动向下加载的,但是为什么到最后模拟滚动的时候不行呢,小编就想着是不是把鼠标移动到这个全部评论上就可以让评论向下加载呢, 于是我就模拟鼠标点击其中一个评论, 使得鼠标停放到评论上,然后

模拟滚动,本来信心满满的小编又受打击了.不过咱们继续

     最后我要发大招了, 狠心钻研下我终于发现方法了, 还有selenium鼠标第三方库这种好东西呢,  selenium鼠标操作有个移动鼠标的操作

move_by_offset(x,y)   移动到坐标为(x, y)的位置

但是仅仅移动到整个div更多评论上还不够, 滚动的其实还是整个window页面, 那我们就得再换换思路了, 其实仔细想想,我们在拉动评论下滚的时候到底是怎么向下滚动的呢? 最后我想到应该可以模拟鼠标