天黑不算黑-优快云博客

原创【NodeJs】Linux部署nodejs环境调用jsdom

下载：Download | Node.js下载下来后是一个后缀为xz的压缩包，我们把这个包上传到 Linux 系统中的cd到相应目录，解压tar -xvf node-v14.17.0-linux-x64.tar.xz修改名字，并移动到/usr/local/bin/mv node-v14.17.0-linux-x64 /usr/local/node然后进入到node文件夹里面的bin目录下，查看是否有node和npm建立软链接，这一步是为了可以在任...

2021-10-10 11:38:43 707

原创【NodeJs】部署到windows并调用jsdom

下载：Download | Node.js安装到C盘根路径：C:/nodejs/一直next到安装完成检查是否安装成功，运行cmdnode -vnpm -v默认安装完毕nodejs会自动添加默认的环境变量，这个需要删掉，之后我们自行配置删除默认的【用户】环境变量，打开环境变量的配置页面【用户变量】> 【一般在最后一个】> 【删除】查看并设置全局模块路径，和缓存路径获取全局模块安装路径npm config get prefix获取缓存路

2021-10-10 11:32:33 2351

原创【Python爬虫】Linux下selenium设置启动参数过掉检测/抹掉特征

写在前面因为知乎的登录有滑块，所以是用selenium登录拿cookie(需要过掉检测，下面会讲)，然后放到cookie池，Windows下是没有什么问题，但是最后还是要放到服务器上去执行的。这就涉及到linux上的谷歌游览器安装以及配置过掉各种网站对selenium的检测，在启动的时候附加启动参数，给它一个端口，例如windows下的相应操作windows下先cd到chrome的安装目录，然后输入如下命令：C:\Program Files\Googl...

2021-10-05 15:15:18 699

转载【Error】安装MongoDB成功，启动的时候提示找不到共享库文件libcrypto.so.10

转载改老哥的：安装MongoDB成功，启动的时候提示找不到共享库文件libcrypto.so.10_MichaelWashington的博客-优快云博客安装完成后启动mongodb/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/mongodb.conf系统提示找不动共享库文件通过yum what provides libcrypto.so.10命令查看哪个包下有共享库文件执行安装命令yum -y install compat-openssl10-

2021-10-01 22:41:34 1298

原创【Error】Request.url is not modifiable, use Request.replace() instead

遇到在一个scrapy_redis的项目中，需要对url进行过滤去重，于是自定义了一个去重类简单暴力的直接照搬源码，然后重写request_seen，改变逻辑，原先是直接赋值会报标题的这个错 def request_seen(self, request): temp_request = request if "ref" in temp_request.url: # 这里报错，不能直接赋值 temp_request

2021-09-30 21:18:34 618

原创【Error】解决curl: command not found

本来服务器上之前是能用curl命令的，突然一天不知道干了什么操作就不能用了，于是折腾一番重新安装，发现正常安装操作会报如下错误：error:select TLS backend(s) or disable TLS with --without-ssl于是找这个报错的解决办法，在这个步骤的时候加上--with-wolfssl./configure --prefix=/usr/local/curl/ --with-wolfssl全步骤如下：# 下载去curl官网下载安装包# 解压

2021-09-28 18:24:44 4496

原创【Error】EOF occurred in violation of protocol (_ssl.c:877)

在linux上安装项目的时候报错，requsts中和ssl相关的问题。查阅一番后发现是requests版本问题，最新版会有问题，解决办法如下：pip install requests==2.24.0

2021-09-27 21:58:24 1781

原创【Error】Unverified HTTPS request is being made

问题如下：解决办法：在顶部加上禁用警告的代码即可import urllib3urllib3.disable_warnings()

2021-09-22 12:31:10 272

原创【Linux】用linux搭建代理服务器

安装yum install tinyproxy配置vi /etc/tinyproxy/tinyproxy.confPort 8888 //预设是8888 Port,你可以更改Allow 127.0.0.1 // 允许的IP地址, 将127.0.0.1改成你自己的IP //Allow 192.168.1.0/24 #表示一个网络的IP//例如你的IP 是1.2.3.4,你改成Allow 1.2.3.4,那只有你才可以连上这个Proxy//若你想任何IP都可以连到Proxy

2021-09-21 00:59:30 7052

原创【Error】Error running process: CreateProcess failed. Code 2

重新安装了pycham发现在pycharm里打不开控制台窗口了解决办法：在file -->setting --> Tools --> Terminal里把Shellpath从powershell.exe改为 cmd.exe

2021-09-15 00:23:27 7744 6

原创【Python爬虫】之西瓜视频地址解密20210822

目录前言代码前言最近找工作需要看一些面试看，无意间看到有个题说是要获取一个链接里面的视频地址。链接：https://www.ixigua.com/i6704446868685849092兴趣来了，抵挡不住这股冲动，点进去链接一看，= =！居然是小猪佩奇！！罢了，小猪佩奇就小猪佩奇吧，整就完事了。先右键检查元素看一眼http://v9-xg-web-s.ixigua.com/1b92afae1bebac684f789947b67997f7/612222...

2021-08-22 19:03:11 7045 2

原创【Python爬虫】tensorflow + muggle_ocr最快的安装教程

1、安装Python首先是得有python环境，这里可以自行安装python 3.8或者3.9 ，安装的时候要记得配置环境变量 https://www.python.org/downloads/2、安装pycharmpycharm也不用多说，直接到官网安装社区办就ok3、Anaconda下载与安装当以上都完事的时候，就可以安装Anaconda了，Anaconda下载网址：https://www.anaconda.com/distribution/，根据自己的系统，以及系统的位数，选...

2021-08-12 22:26:55 2389

原创【Python爬虫】之百度翻译sgin解密

Fiddler配合谷歌游览器抓取数据首先发现百度翻译是先对输入的词进行查询语言类别，通过这个地址https://fanyi.baidu.com/langdetect其次还发现了对提交的数据进行了url编码，输入的“我是超人”，查询返回的是"lan":"zh"，到目前为止还没有发现有加密的地方，咱们继续往下看真正发送请求的链接谷歌游览器调试https://fanyi.baidu.com/v2transapi?from=zh&to=en 这个链接才是真正发送请求的链接。...

2021-07-26 23:17:50 725 2

qq_33516409的博客