- 博客(7)
- 收藏
- 关注
RSS订阅原创 Pyppeteer设置headless=True的一系列问题
一、设置userDataDir参数问题1、设置userDataDir的值为相对路径如果将userDataDir参数的值设置为相对路径，比如：userDataDir="./myUserDataDir"，在我的pyppeteer（0.0.25）版本中，程序将会卡在await browser.newPage()这里，这个问题的解决办法就是将路径设置为绝对路径，有两种方案，一种是直接写明绝对路径，比如windows下为：F:\\python\\crawler\\temp，另一种方案为使用Path模块的resol
2020-09-02 20:13:19
2839
1
原创 pyppeteer自定义驱动浏览器以及设置userdatadir
一、自定义启动浏览器设置executablePath参数，代码如下：browser = await launch(executablePath='C:\\Users\\Administrator\\AppData\\Local\\Google\\Chrome\\Application\\chrome.exe', headless=False)二、设置userdatadir参数设置userdatadir参数的目的是使用我们日常使用的chrome浏览器的用户数据，比如网页cookie、登陆的账号密码等
2020-08-30 14:34:58
5810
原创 隐藏webdriver
webdriver检测这个问题最明显的就是淘宝登录，当我们使用不加任何隐藏处理的selenium和pyppeteer模拟登陆时，淘宝登录时的人机验证将会返回一个错误信息，其实很多其他网站的反爬机制也会检测这一条。所以我们使用selenium和pyppeteer这种库时就需要做webdriver的隐藏处理。网上大多数处理这种问题就是使用js注入，但这种处理方法明显就是掩耳盗铃，认真思考后就会知道这种方案不可行，因为这些js注入都是在打开网页后进行的，网页早已检测到你是通过webdriver进行的网页访问。所
2020-08-29 22:28:38
1095
原创 selenium问题记录
selenium问题记录一、设置cookie技巧在selenium中，我们通常使用函数get_cookies()来得到当前driver的cookie值组，之所以说是组，是因为某些在大多数网站所得到的cookie值都有多个，所以我们通过函数get_cookies()得到的通常是一个列表，列表中的元素是字典。每一个字典为一组cookie值，其中包括name、value、expiry等字段。通常我们保存cookie值是为了去绕过某些网站的账号密码检测，对某些页面实现免密访问，保存cookie值建议使用pic
2020-08-28 14:21:04
258
原创 C语言GETS函数和Scanf函数在终止输入时的区别
C语言GETS函数和Scanf函数在输入字符串时的区别首先我们来看一个例子，代码如下：int main(){ char str[50],ch1[50]; scanf("%s",ch1); gets(str); printf("ch1的值为："); puts(ch1); printf("str的值为："); puts(str); ...
2020-03-25 14:19:04
3645
原创 ELF文件格式
0x01 ELF文件简介常用的一般为下面三种： * 可重定位文件（.o）：用于与其他目标文件连接生成可执行文件或共享目标文件（.so）的数据与代码； * 可执行文件（.exe）：包含一个可执行程序，并且此文件规定exec()进程如何创建一个程序的进程映像； * 共享目标文件（.so）：包含可在两种上下文中链接的代码与数据。首先链接编辑器可以将它与可重定位文件和其他共享目标文件一起处理，生...
2018-08-12 13:10:21
1106
原创 Android studio 3.0 （CMake）编写cydia脚本hook native
在anndroid studio 2.2 后，只用它编写native代码只可以支持用CMake进行，然后我正在准备用Cydia Substrate 来 hook native代码的时候，发现网上没有用CMake方法来编写cydia脚本的，然后就只有自己动手了，下面用一个小案例记一下大致流程，也方便后来的朋友。创建一个目标程序1. 用android studio创建一个ndk程序，这里很...
2018-07-05 11:39:54
1393
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人