
无
浩哥爱吃肉
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
服务器端口占用处理
1查看已知的端口是否被占用:netstat -anp |grep 8089 1.1、查看服务器已使用的所有端口情况命令:netstat -nultpProto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:22 0.0.0.0:* ...原创 2020-10-15 09:36:03 · 469 阅读 · 0 评论 -
scrapy-redis相关配置,cookie池
一、scrapy-redis的一些配置#启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler"#确保所有的爬虫通过Redis去重DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"#默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS:这玩意儿2.X的可以用。3.X的不能用#SCHEDULER_SERIALIZER = "scrapy_re原创 2020-07-12 17:39:03 · 648 阅读 · 0 评论 -
python执行js代码
import execjsjsFunc = ''' function add(x,y){ return x+y; }'''jscontext = execjs.compile(jsFunc)a = jscontext.call('add',3,5)print(a)# 可识别字符串,元组,字典,列表等1,首先通过,get_js方法,读取本地的 des_rsa.js 文件。2,调用 execjs.compile() 编译并加载 js 文件内容。3,使用call()调..原创 2020-06-23 15:44:58 · 264 阅读 · 0 评论 -
shell脚本
一、编写最简单的重启脚本#!/bin/bashps aux|grep cron_news.py|awk '{print $2}'|xargs kill -9sleep 1.5ulimit -n 65535nohup python3 cron_news.py &ps aux|grep cron_news.py|head -3原创 2020-06-08 11:38:44 · 218 阅读 · 0 评论 -
ocr图像识别
调用百度接口进行识别 baidu-aippip install b-aipaidu安装# File: ocr_testfrom aip import AipOcrAPP_ID = 'your APP_ID 'API_KEY = 'your API_KEY 'SECRET_KEY = 'your SECRET_KEY 'client = AipOcr(APP_ID, A...原创 2019-06-14 14:58:58 · 1162 阅读 · 0 评论 -
mysql中key 、primary key 、unique key 与index区别
索引被用来快速找出在一个列上用一特定值的行。没有索引,MySQL不得不首先以第一条记录开始并然后读完整个表直到它找出相关的行。表越大,花费时间越多。如果表对于查询的列有一个索引,MySQL能快速到达一个位置去搜寻到数据文件的中间,没有必要考虑所有数据。如果一个表有1000行,这比顺序读取至少快100倍。注意你需要存取几乎所有1000行,它较快的顺序读取,因为此时我们避免磁盘寻道。所有的...原创 2019-06-05 20:07:28 · 1909 阅读 · 0 评论 -
Ubuntu——anaconda虚拟环境设置
实验室用到服务器,在使用服务器的过程中遇到一系列问题,后来发现,anaconda相当强大.之前只是用anaconda搭建环境。安装程序时可能会需要各种依赖模块,比如我用theano时,要求gcc是5.x版本或以下的,cudnn要求5.x版本。为了解决依赖问题。首先,可以使用:module list 查看当前有哪些模块module unload 移除不需要的模块比如:module unloa...原创 2018-09-23 22:56:53 · 4870 阅读 · 0 评论 -
pyspider常见问题
一、post请求处理 (pyspider默认url去重) def index_page(self, response): detail_url = 'http://news.cqcoal.com/manage/newsaction.do?method:getNewsAddonarticle' dict_list = response.json['rows'] ...原创 2018-12-06 19:00:24 · 953 阅读 · 0 评论 -
requests小技巧
中文文档:http://docs.python-requests.org/zh_CN/latest/api.html1 安装 pip install requests 或者 python -m install requests2 RequestsCookieJar转换为cookie字典requests.utils.dict_from_cookiejar(resp.cookies)...原创 2018-12-14 18:30:35 · 444 阅读 · 0 评论 -
反扒请求报错HTTP 599: SSL certificate problem 或者requests.exceptions.SSLError: HTTPSConnectionPool
前提有些网页,一开始用脚本语言(python)去访问的时候会遇到这样问题。 一般这样的网站用浏览器去访问的时候,会弹出这样的警告“您的链接不是私密链接”。内容大多出自于崔大神书籍。本菜结合书中内容做了自己的阐述。简单解释这里是由于这个网页的证书没有被官方CA机构信任,所以这里会出现证书验证的错误。 这样的url典型有https://www.12306.cn如下使用代码的时候,就...原创 2018-12-24 16:13:05 · 985 阅读 · 0 评论 -
docker入门
docker常用命令:sudo docker images // 查看本机已有的镜像docker rmi IMAGE [IMAGE...]Remove one or more images // 先要删除对应容器,才能删除镜像$ docker ps // 查看所有正在运行容器$ docker stop containerId // containerId 是容器的ID 只是st...原创 2019-01-14 22:44:23 · 366 阅读 · 0 评论 -
打码接口使用
云打码接口使用import http.client, mimetypes, urllib, json, time, requests######################################################################class YDMHttp: apiurl = 'http://api.yundama.com/api....原创 2019-05-21 16:18:35 · 1340 阅读 · 0 评论 -
liunx上传文件服务
一、模块式使用import paramikot = paramiko.Transport(('x.x.x.x',22)) # 设置SSH连接的远程主机地址和端口t.connect(username='xxx',password='xxx') # 设置登陆用户名和密码等参数chan=t.open_session() # 连接成功后打开一个channelchan.settim...原创 2019-05-23 11:04:30 · 286 阅读 · 0 评论 -
Pycharm快捷键
1、编辑(Editing)Ctrl + Space 基本的代码完成(类、方法、属性) Ctrl + Alt + Space 快速导入任意类 Ctrl + Shift + Enter 语句完成 Ctrl + P 参数信息(在方法中调用参数) Ctrl + Q 快速查看文档 Shift + F1 外部文档 Ctrl + 鼠标 简介 Ctrl + F1 显示错误描述或警告信息 Alt...原创 2018-03-20 15:21:52 · 167 阅读 · 0 评论