XerCis的博客

微软、亚马逊、美国国家安全局都在用的库

Sources→XHR/fetch Breakpoints→取消勾选（没有也行）先点Activate breakpoints，再点Pause script execution

问题描述微博 https://m.weibo.cn/u/1648282412命令行启动scrapy shellscrapy shell https://m.weibo.cn/u/1648282412查看响应内容是未被JavaScript渲染的In [1]: view(response)解决方案在某个Spider xxx的parse()中添加代码，再启动爬虫scrapy craw...

问题描述有些网页的反爬虫做得比较好，href="javascript:void(0);"或href="javascript:;"，含义是留在原处不跳转此时无法直接从href中获取链接，链接直接写进监听事件里，从.js文件中也无从（难以）获取解决方案使用Selenium模拟用户点击网页进行爬取import timefrom selenium import webdriverfrom s...

问题描述获取页面1的一批超链接，循环跳转进超链接后，再跳转回来容易引发StaleElementReferenceException异常selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page do...

首先使用find_element_xxx定位到元素，再选择以下三种方法其一：定位元素from selenium import webdriverdriver = webdriver.Chrome()a = driver.find_element_by_class_name('xxx')实现点击click()# 方法1：直接调用click()a.click()# 方法2：调用e...

Fiddler 是一款 C# 实现的浏览器抓包和调试工具，Fiddler 启动后作为浏览器和服务器之间的代理，从中监测浏览器和服务器之间的 http/https 级别的网络交互。