zcawesome的博客

使用mysql来存最后的ip池，这个版本是本来已经使用单线程的方式爬取过一定数量的ip过后为了加快速度，利用已有的代理ip使用多进程+多线程快速爬取自己的ip池，应为西刺代理可分为4个板块所以每一个板块一个进程，每一个进程里面在开多个线程数据库3个字段 id ip_address port可以继续优化的点：可以再加上一个字段，统计有多少次这个代理ip不能用要是达到一定次数直接删掉...

1）可以使用 concurrent.futures ProcessPoolExecutor（与多线程threadpoolExecutor一个包）通过线程池来获取对象(使用pool.submit提交任务过后都会返回future对象) 2）重载multiprocessing.Process类（重载run方法） （对比多线程threading.Thread ） 1.（注意调用start只是调...

1）可以使用 concurrent.futures 包里的ThreadPoolExecutor，(使用pool.submit提交任务过后都会返回future对象) 2）重载Thread Process类（重载run方法）（注意调用start只是调用了一个方法而已，调用start是开启线程默认会调用run） 3）使用函数创建多线程ThreadPoolExecuto...

python的函数中和全局同名的变量，如果你有修改变量的值就会变成局部变量，在修改之前对该变量的引用就会出现没定义这样的错误了，如果确定要引用全局变量，并且要对它修改，必须加上global关键字。 flag=0 def index_page(self, response): global flag if(flag==0): ...

从某段路径（文件夹中）取出一个文件，读取内容，进行处理，报错：SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape原来的文件路径是：file_path = 'C:\Users\zzuzh\Desktop\fl...