
经验分享
文章平均质量分 66
口袋里的小小哥
菜鸡互啄
展开
-
精简scrapy日志冗余占较大内存
Scrapyd运行时会输出日志到本地,导致日志文件会越来越大,这个其实就是Scrapy控制台的输出。但是这个日志其实有用的部分也就是最后那几百行而已,如果出错,去日志查看下出错信息就好了推荐写一个脚本,来定时更新日志文件,将最后的100行保存下来。dir=/root/logs#这里是scrapylog日志存放的地方,根据自身scrapy情况修改。temp=$(tail-100$file)#默认最新100行日志。viclean.sh#创建任务脚本。......原创 2022-08-01 15:31:02 · 681 阅读 · 0 评论 -
AES.CBC 解密,python通用模板
from Crypto.Cipher import AESdef parse_data(content): """ AES解密,模式cbc,去填充pkcs7 :param content: 16进制编码的加密字符串 :return: 返回解密后的字符串 """ iv = '0123456789ABCDEF'#偏移量 key = 'jo8j9wGw%6HbxfFn'#密钥 key = bytes(key, encoding='utf-8'.原创 2022-05-25 08:41:27 · 2732 阅读 · 2 评论 -
pandas实用
import pandas as pd# data=pd.read_csv('缺失预处理数据22222.csv',index_col=0) # 把第0列作为索引# #显示所有列# pd.set_option('display.max_columns', None)# #显示所有行# pd.set_option('display.max_rows', None)# #设置value的显示长度为100,默认为50# pd.set_option('max_colwidth',100)# pd.se原创 2020-08-04 08:45:14 · 332 阅读 · 0 评论 -
svn可视化操作工具
https://www.runoob.com/svn/tortoisesvn-intro.html菜鸟内容详细,很好用原创 2020-08-04 08:40:14 · 3884 阅读 · 1 评论 -
ubuntu jdk的安装2020年5月16号(附jdk压缩包)
cd homesudo mkdir /javacd javasudo mv '/Desktop/jdk-8u221-linux-x64.tar.gz' javasudo tar -zxvf jdk-8u121-linux-x64.tar.gzsudo vi /etc/profile尾行加上export JAVA_HOME=/home/java/jdk1.8.0_221 # 根据自己路径改export JRE_HOME=/home/java/jdk1.8.0_221/jreex..原创 2020-05-14 10:41:00 · 504 阅读 · 0 评论 -
day 8.2 PCA重要接口 inverse_transform
from sklearn.datasets import fetch_lfw_peoplefrom sklearn.decomposition import PCAimport matplotlib.pyplot as pltimport numpy as np# 导数据faces = fetch_lfw_people(min_faces_per_person=60) # 每个人取...原创 2020-04-02 15:04:43 · 1202 阅读 · 1 评论 -
day 8.1 PCA人脸识别 重要属性components_
from sklearn.datasets import fetch_lfw_peoplefrom sklearn.decomposition import PCAimport matplotlib.pyplot as pltimport numpy as npfaces = fetch_lfw_people(min_faces_per_person=60) # 每个人取出60张图...原创 2020-04-02 15:03:38 · 1806 阅读 · 0 评论 -
day 8.0 降维算法 PCA
# PCA和SVDfrom sklearn.decomposition import PCA# PCA(n_components=None# , copy=True# , whiten=False# , svd_solver='auto'# , tol=0.0# , iterated_power='auto'# , random_s...原创 2020-04-02 15:02:28 · 163 阅读 · 0 评论 -
docker配置 基本
1. 在Ubuntu中安装Docker更新ubuntu的apt源索引sudo apt-get update安装包允许apt通过HTTPS使用仓库sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common...原创 2019-02-21 11:32:34 · 170 阅读 · 0 评论 -
处理进程占用
sudo apt-get install mongodb (或者是安装其他的软件)E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)E: 无法锁定管理目录(/var/lib/dpkg/),是否有其他进程正占用它?处理方法:查看当前正在占用的资源进程:python@ubuntu:~ $ ps -e | grep apt 3...原创 2018-07-12 11:10:56 · 184 阅读 · 0 评论 -
五种网络io模型
首先,介绍几种常见的I/O模型及其区别,如下:blocking I/Ononblocking I/OI/O multiplexing (select and poll)signal driven I/O (SIGIO)asynchronous I/O (the POSIX aio_functions)不管Linux的IO模型的阻塞同步分类是如何分类,几种IO模型的具体实现是确定的。这里借用《Uni...转载 2018-07-12 00:41:59 · 186 阅读 · 0 评论 -
工厂模式
# 球,基类(抽象产品类)class Ball: def walk(self): pass# 篮球(具体产品)class Basketball(Ball): def walk(self): print("我是篮球")# 足球(具体产品)class Soccer(Ball): def walk(self): ...原创 2018-07-17 17:23:31 · 134 阅读 · 0 评论 -
机器视觉与Tesseract
机器视觉从 Google 的无人驾驶汽车到可以识别假钞的自动售卖机,机器视觉一直都是一个应用广 泛且具有深远的影响和雄伟的愿景的领域。重点介绍机器视觉的一个分支:文字识别,介绍如何用一些 Python库来识别和使用在线图片中的文字。我们可以很轻松的阅读图片里的文字,但是机器阅读这些图片就会非常困难,利用这种人类用户可以正常读取但是大多数机器人都没法读取的图片,验证码 (CAPTCHA)...原创 2018-07-17 13:54:08 · 221 阅读 · 0 评论