follow_sunshine的博客

用爬虫爬取某个网站的数据时，如果用一个IP频繁的向该网站请求大量数据，那么你的ip就可能会被该网站拉入黑名单，导致你不能访问该网站，这个时候就需要用到IP动态代理，即让爬虫爬取一定数据后更换IP来继续爬取。这个时候就需要代理IP池，当然，人民币玩家可以直接购买专业的IP代理服务，但是像我这种不想花钱的玩家，就只能通过爬取免费的代理网站上能用的IP来勉强维持生活。             现在我...

每次下拉浏览器界面的document.body.scrollHeight参数都会发生变化，selenium拉到最底部时该参数将不会改变，以此来判断是否到了最底部，方法如下：def pulldown(): t = True i = 1 while t: check_height = browser.execute_script("return documen...