zlc1990628的博客

scrapy 信号：https://blog.youkuaiyun.com/fiery_heart/article/details/82229871https://www.cnblogs.com/c491873412/p/7845635.html

SQL: ON DUPLICATE KEY比 REPLACE 好用多了，优势和注意点也多！REPLACE 实际操作是：根据索引判断都否存在唯一数据，没有就新增；如果有索引数据，就先删除，在新增。随着数据不断增多，频繁删除索引数据，操作速度会越来越慢。应用场景：针对一行或多行数据，进行数据新增 或 替换。（都是全新的数据，可以理解为 “格式化安装”）如果担心数据被污染，需要以目前数据为基准，可以使用 replace 操作ON DUPLICATE ...

转载自：https://www.cnblogs.com/huchong/p/11044238.html当我们分析爬虫时，有时候会遇到一些加密参数，这个时候就需要我们逆向分析jspython执行js有一些第三方库https://www.jianshu.com/p/2da6f6ad01f0因为我用的Python3，所以没用PyV8（安装网上的方法，也没有安装好，可能我太笨了 - -！ 如果有会的麻烦指点一下）我用的比较多的就是js2py和execjs有一次在分析js时，我已经找到了.

针对数据进行MD5加密逆向时。发现于站长MD5可以将结果加密后得出正确的结果。python加密后，部分数据加密结果不正确！找了很多帖子，发现都没有解决我遇到的问题。后来经过很多次，很多次测试后。发现居然时因为 \\ 的问题！！！例如：{\"data\":\"values\"}站长加密后的结果和python的就时不一样！站长结果：AE900C591208B2B5B17A6E5F24DC7BE1python结果：6EB3AFC8F7588E21A4EA4176596F8151.

requests.exceptions.SSLError: HTTPSConnectionPool

一、安装rediscentos安装方法：CENTOS7下安装REDIS第一步：下载redis安装包wget http://download.redis.io/releases/redis-4.0.6.tar.gz第二步：解压压缩包tar -zxvfredis-4.0.6.tar.gz第三步：yum安装gcc依赖yum install gcc第四步：跳转到red...

Setting设置# -*- coding: utf-8 -*- # Scrapy settings for yangguang project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settin...

数据获取途径注意：robots.txt1、浏览器版Chrome2、手机版Chrome3、合作网站（猪队友网站）、子网站   请求方式requests.get(url,headers = headers,verify=False,proxies = proxies);requests.post(url,data=data,headers = headers,verify=False,proxies ...