口袋里的小小哥的博客

原创 AES.CBC 解密，python通用模板

from Crypto.Cipher import AESdef parse_data(content): """ AES解密，模式cbc，去填充pkcs7 :param content: 16进制编码的加密字符串 :return: 返回解密后的字符串 """ iv = '0123456789ABCDEF'#偏移量 key = 'jo8j9wGw%6HbxfFn'#密钥 key = bytes(key, encoding='utf-8'.

原创 python读取excel，傻瓜式

res.append(table.cell(row_index,col_index).value) # 遍历所有的cell的值。

原创 python写入excel,(二) 言简意赅傻瓜式写法

info = ['name', 'age', 'address'] #表头。# 写入excel文件 如果path路径的文件不存在那么就会自动创建。import openpyxl # openpyxl引入模块。# 数据结构1Excel 中sheet 的名字。# 实例化一个workbook对象。sheetStr = '这是数据结构1'# 添加表头（不需要表头可以不用加）# 数据结构1 path 文件的路径。# 为sheet设置一个title。print('写入成功')# 激活一个sheet。

原创 centos带宽测速——下载，上载速度

centos带宽测速

原创 python读pdf

这里layout是一个LTPage对象,里面存放着这个page解析出的各种对象,一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal等等,想要获取文本就获得对象的text属性，for page in PDFPage.create_pages(doc): # doc.get_pages() 获取page列表。# 创建一个PDF解释器对象,对文档编码，解释成Python能够识别的格式：PDFPageInterpreter。# 需要写出编码格式。

原创 python获取dos窗口/cmd/pycharm Terminal命令返回详情

python获取dos窗口/cmd/pycharm Terminal命令返回详情

原创 RSA通用模板 python，简单易懂

RSA+python

原创 selenium 区域截图

selenium指定位置截图

原创 python切割图片

图片切割

原创 背景图片拼接，两张图片拼接

拼接方法有了，其他的自己看jy验证码

原创 解决Python3 No module named ‘_sqlite3‘错误

_sqlite3错误解决

原创 ModuleNotFoundError: No module named ‘_lzma‘

centos ModuleNotFoundError: No module named ‘_lzma‘ 解决

原创 精简scrapy日志冗余占较大内存

Scrapyd运行时会输出日志到本地，导致日志文件会越来越大，这个其实就是Scrapy控制台的输出。但是这个日志其实有用的部分也就是最后那几百行而已，如果出错，去日志查看下出错信息就好了推荐写一个脚本，来定时更新日志文件，将最后的100行保存下来。dir=/root/logs#这里是scrapylog日志存放的地方，根据自身scrapy情况修改。temp=$(tail-100$file)#默认最新100行日志。viclean.sh#创建任务脚本。......

原创 python写入excel（言简意赅最好用）

import xlwtbook = xlwt.Workbook() #创建Excelsheet = book.add_sheet('sheet1') #创建sheet页data = [ ["A",99,100,98.5], ["B",90,30.5,95], ["C",67.5,49.6,88] ]title = ['姓名','语文成绩','数学成绩','英语成绩'] #把表头名称放入list里面#循环把表头写入row = 0for t in title.

原创 python 将二维码转真实url

二维码转链接import requests from pyzbar.pyzbarimport decodefrom PIL import Imagefrom io import BytesIO# 传入二维码图片链接，返回扫码后的真实urldef get_url(url): res=requests.get(url=url).content bio = BytesIO(res) img = Image.open(bio) barcodes = d...

原创 centos装python3.7

Centos7安装Python3.7说明全部操作都在root用户下执行1.安装编译相关工具yum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-develyum install lib

原创 &#x 加密解密

1. 电话号码code_list='򈊷򈊻򈊼򈊹򈊷򈊸򈊼򈊽򈊽򈊽&#x882b7'2. 要转换为16进制，需要把&#替换为0# 替换&#为0，用于后面直接转换为10进制数code_list=code_list.replace("&#

原创 mongodb查询

for i in collection.find({"raw":{"$exists":True},"raw3":{"$exists":False}},no_cursor_timeout=True).batch_size(100):

原创 退出xshell保持程序进程不断开----screen

下载安装yum install screen创建进程screen -S 进程名进入进程 screen -r 进程名返回主界面保持进程挂着不断 ctrl +A+ D找找自己挂着哪些进程 screen -ls进入 进程 就是 screen -r 进程名...

原创 pandas实用

import pandas as pd# data=pd.read_csv('缺失预处理数据22222.csv',index_col=0) # 把第0列作为索引# #显示所有列# pd.set_option('display.max_columns', None)# #显示所有行# pd.set_option('display.max_rows', None)# #设置value的显示长度为100，默认为50# pd.set_option('max_colwidth',100)# pd.se

原创 svn可视化操作工具

https://www.runoob.com/svn/tortoisesvn-intro.html菜鸟内容详细，很好用

原创 pandas 新增sheet，不覆盖原来已经保存的sheet（亲测管用）

#以前的sheet数据很重要，又要新增sheet，很难受，看了一堆帖子没一个回答在点子上，找到了方法，分享给大家import openpyxlimport pandas as pdweatherfile = "0317.xlsx" #路径writer = pd.ExcelWriter(weatherfile,engine='openpyxl')pd_data=pd.DataFrame(数据) #writer = pd.ExcelWriter(weatherfile,...

原创 ubuntu jdk的安装2020年5月16号（附jdk压缩包）

cd homesudo mkdir /javacd javasudo mv '/Desktop/jdk-8u221-linux-x64.tar.gz' javasudo tar -zxvf jdk-8u121-linux-x64.tar.gzsudo vi /etc/profile尾行加上export JAVA_HOME=/home/java/jdk1.8.0_221 # 根据自己路径改export JRE_HOME=/home/java/jdk1.8.0_221/jreex..

原创 细究 tensorflow 常用函数+ 常用参数

import numpyimport tensorflow as tf# 创建全为0的张量# tf.zeros(维度) 1维直接写个数 2维[行，列] ，多维[n,m,j]# tf.zeros([2,4])# tf.ones(4)# tf.fill([2,2],9)# tf.random.uniform(维度，minval=最小值，maxval=最大值)# tf.rand...

原创 找遍全网最简单的使用git

2、进行基础配置，作为 git 的基础配置，作用是告诉 git 你是谁，你输入的信息将出现在你创建的提交中，使用下面两条命令：　　git config --global user.name"你的名字或昵称"　　git config --global user.email"你的邮箱"3.、在你自己人员文件夹中执行下面命令，完成初始化 git init ...

原创 调参优化

import tensorflow as tfimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt(train_image, train_lable), (test_image, test_label) = tf.keras.datasets.fashion_mnist.load_data()trai...

原创 tensorflow简单小结

# 连续的值 直接输出结果# 二分类 输出层 做一个sigmoid运算# 多分类　输出做一个 softmax 得到概率分布# 学习速率（超参数） learning rate（lr）： 对梯度进行缩放的参数被称为学习速率# 常见的优化函数# 优化器 optimizer 是编译模型所需的俩个参数之一# model.complie() 来调用# SGD：随机梯度下降优化器# RMS...

原创 softmax 独热编码

import tensorflow as tfimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt# fashion_mnist = tf.keras.datasets.fashion_mnist.load_data()(train_image, train_lable), (test_image, ...

原创 分类问题的时候用交叉熵损失函数会更有效

# 分类问题的时候用交叉熵损失函数会更有效# binary_crossentropy 来计算二元交叉熵import tensorflow as tfimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv('credit-a.csv', header=None)# ...

原创 tensorflow 激活函数，多层感知器

# 激活函数# 1.relu 屏蔽掉 为0的# 2.sigmoid 输出范围 x轴靠近0，梯度变化大，，远离0的时候，就变化很小# 3.tanh 范围-1 到 +1# 4.leak reluimport tensorflow as tfimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltda...

原创 初探 TensorFlow

import tensorflow as tfimport pandas as pdimport matplotlib.pyplot as pltdata = pd.read_csv('TensorFlow学历与收入预测.csv')# print(data)plt.scatter(data.Education, data.Income)# plt.show()# 单变量线性回归...

原创 day 9.2 逻辑回归-案例-评分卡制作

import numpy as npimport pandas as pdpd.set_option('display.max_columns', None)from sklearn.linear_model import LogisticRegression as LRdata = pd.read_csv('评分卡模型数据.csv')# print(data.head())# ...

原创 day 9.1 逻辑回归-二元回归与多元回归

# todo 重要参数 solver & multi_class# multi_class 输入告知模型，我们要处理分类问题的模型# 1. 输入 'ovr' 处理二分类，或者让模型使用‘一对多’的形式来处理多分类问题# 2.'multinomial' 处理多分类，这种输入在参数solverwe是linlinear时不可用# 3.'auto' ...

原创 day 9.0 逻辑回归- 梯度下降

# max_iter 控制步长# max_iter越大，步长越小，迭代次数大，模型时间长，反之from sklearn.linear_model import LogisticRegression as LRfrom sklearn.datasets import load_breast_cancerimport numpy as npimport matplotlib.pyplot ...

原创 万能 　随机森林回归　补缺函数

＃＃＃＃＃ｔｏｄｏ　　只对一列数据含有缺失，另外的数据都不含缺失值的数据有效def fill_missing_rf(X, Y, to_fill): """ 使用随机森林填补一个特征的缺失值的函数 :param X: 要填补的特征矩阵 :param Y: 完整的，没有缺失值的标签 :param to_fill: 字符串，要填补的那一列的名称 :r...

原创 逻辑回归 求解器简介

原创 day 8.6 逻辑回归-特征过程

# 方法1.自己分析# ＰＣＡ　和　ＳＶＤ　一般用不上# 方法2. 统计方法可以使用，但没必要# todo: 高效的嵌入法from sklearn.linear_model import LogisticRegression as LRfrom sklearn.datasets import load_breast_cancerimport numpy as npimport...

原创 day 8.5 逻辑回归-正则化参数

# linear_model.LogisticRegression 逻辑回归回归分类器（又叫logit回归，最大熵分类器）# linear_model.LogisticRegressionCV 带交叉验证的逻辑回归分类器# linear_model.logistic_regression_path 计算Logistic回归模型以获得正则化参数的列表# linear_model....

原创 day 8.3 PCA 降噪

from sklearn.datasets import load_digits # 一个蛮好的系统自带手写数据集from sklearn.decomposition import PCAimport matplotlib.pyplot as pltimport numpy as npdigits = load_digits()# print(digits.data)# pri...

原创 day 8.2 PCA重要接口 inverse_transform

from sklearn.datasets import fetch_lfw_peoplefrom sklearn.decomposition import PCAimport matplotlib.pyplot as pltimport numpy as np# 导数据faces = fetch_lfw_people(min_faces_per_person=60) # 每个人取...