tutu96177的博客

原创 目标检测_YOLO V4

YOLOV4Paper:https://arxiv.org/abs/2004.10934GitHub:https://github.com/AlexeyAB/darknet跑通官方代码：# 创建虚拟环境conda create -n py37_yolo python=3.7source activate py37_yolo# 安装 opencvpip install opencv-pyth...

原创 labelme_unbuntu 安装 labelme

卸载 enum34 :pip uninstall enum34安装 labelme:pip install labelme -i https://pypi.tuna.tsinghua.edu.cn/simple启动 labelme:labelme

原创 Kafka_python 下使用 kafka

Kafka 架构：

原创 linux_查看 Nvidia 驱动版本、Cuda、Cudnn 版本号

查看 Nvidia 显卡利用率：显存占用和算力情况。# 0.5 秒更新一次显卡利用情况，并查看 NVIDIA 驱动版本watch -n 0.5 nvidia-smi2. 查看 Cuda 版本：cat /usr/local/cuda/version.txt查看 Cudnn 版本：cat /usr/local/cuda/include/cudnn.h | grep CUDN...

原创 linux_安装 Anaconda 后使其新打开的终端自动进入 python 的 base 环境

1.打开一个终端 ，输入命令：gedit ～/.bashrc2.在 .bashrc文件最后面添加命令：conda activate再重新打开终端即可看见base字样若在终端中输入conda deactivate，也可消除base字样，但是一次性的，再次打开终端依然存在base字样。在.bashrc文件添加命令：conda deactivate可以永久消除base字样。...

原创 数据预处理_数据标准化

处理时序数据或者非图像类数据时候，如果所选用的模型的数据假设是：数据特征分布是高斯分布，则在归一化时候采用 “均值-方差标准化”，标准化后的数据分布呈正太分布，均值为 0， 方差为 1 的正太分布。如果原始数据的分布可以近似为高斯分布，否则标准化的效果会变得很糟糕。在实际部署过程中，训练集和测试集是分开的，如果在训练集中使用了 Sklearn 中的 StandardScaler（），均值方差标...

原创 机器学习交叉验证选择模型

非时序和时序数据进行交叉验证方法# 设置交叉验证集的折数from sklearn.model_selection import cross_val_score, KFoldkf = KFold(n_splits=10, random_state=42, shuffle=False)# kf = KFold(n_splits=5, random_state=42, shuffle=False...

原创 python 去除 txt 文件中，周围检测框的重复框

去重 CV 检测框的 50 pix 像素值内的重复框：如果缺陷类型一样，有重复框则取检测分数最大的框；如果缺陷类型不一致，则保留两个框；思想：先找到每一个缺陷的几何中心 50 pix 内的所有框；按照框进行缺陷类型分组：做去重处理；删除位于同一范围内的缺陷；合并小于 50 像素值和大于 50 pix 的框；用法：依赖以下 3 个方法，直接调用第 3 个方法 remove_d...

原创 把 a.py 编译生成 a.pyc 文件

把 app.py 编译生成 app.pyc 文件import os, shutilimport py_compilecompile_dir = './'if(os.path.exists(compile_dir + 'app.py')): py_compile.compile(compile_dir + 'app.py') app_pyc_path = './__...

原创 pip 批量下载包到指定目录

pip download -r requirements.txt -d ./temp./temp 是下载包到目标目录requirements.txt 需要下载的包

原创 办公常用软件：PPT、excel、word、viso

PPT 辅助插件 islide 、美化大师

原创 ubuntu 操作_文件夹权限_复制文件夹_释放 GPU 显存

注销用户 xorg 界面：终端输入：htop 找到进程 pid 数，kill pid 数

原创 忽略弹出的 warnings_ workalendar(节假日时间处理)_进度条

import warningswarnings.filterwarnings('ignore')from workalendar.asia import China # 节假日计算包def cal_holiday(): cal = China() for i in cal.holidays(2019): # print(i[0]) print(i)cal_holiday()...

原创 python 操作 csv 编码问题，繁体字体乱码

# -*- coding: utf-8 -*-#import osimport pandas as pddef get_file(): work_dir = './人工可以区分除霜与非除霜_99/' file_list = os.listdir(work_dir) lk = pd.DataFrame() lk['file_name'] = file_lis...

原创 给时间戳加时间间隔，取时间间隔后的某个时间

https://www.cnblogs.com/xjh713/p/10235743.html

原创 python 创建多层感知机，神经网络

# 多层感知器, 神经网络from sklearn.neural_network import MLPRegressor# 设置交叉验证集的折数# 时间序列分割from sklearn.model_selection import TimeSeriesSplittscv = TimeSeriesSplit(max_train_size=None, n_splits=13)def cv...

原创 python 正则表达式取小括号里的字符串

import rep1 = re.compile(r'[(](.*?)[)]', re.S) #最小匹配freezer_kind = re.findall(p1, file_name)

原创 python 读取二进制 bin 文件，解析为数字信息, 缩放到某一范围且画图

# 读取数据 bin 文件import pandas as pdimport numpy as npimport osimport matplotlib.pyplot as pltimport structdef read_data(): file_dir = './' file_name = 'Raw Data-1-1Y520230404-10-14-03_8192...

原创 将机器学习模型部署为 REST API_搭建自己的 python 环境

说明：https://mp.weixin.qq.com/s/U0a44nY6oIOnrPLS1V1RWg参考代码：https://github.com/mnguyenngo/flask-rest-setup/tree/master/sentiment-clf

原创 python matplotlib 画图

import matplotlib.pyplot as plt# 设置画布大小plt.figure(1, figsize=(26, 13))# 获取坐标轴ax = plt.gca()for label in ax.get_xticklabels(): # 横轴标签旋转 30° label.set_rotation(30) label.set_horizontalalignmen...

原创 pandas 读取 excel 并分析出变量间的关系（相关性、和各个字段的信息）

import osimport pandas as pdimport pandas_profilingfile_dir = './'file_name = '201905301.csv'file_name_ = os.path.splitext(file_name)[0]file_path = os.path.join(file_dir, file_name)# 读取 excel...

原创 数据在处于正太分布的前提下，用箱型图进行正太分布检验

# 获取 list 上限和下限def get_up_limit(tem_list): tem_list = list(tem_list) percentile_temperature_end = np.percentile(tem_list, [0, 25, 50, 75, 100]) IQR_temperature_end = percentile_temperatur...

原创 检验一组数据是否是正太分布

python 检验一组数据是否处于正太分布https://www.jianshu.com/p/7356cc80a96f

原创 GBDT 多目标输出，网格搜索思想，寻找最优参数

# -*- coding: utf-8 -*-##-------------------------------------------------------------------------------# Name: 参数优化# Description: # Author: shichao# Date: 2019/2/7#-----...

原创 Adaboost 多目标输出, 网格搜索思想，寻找最优参数

# -*- coding: utf-8 -*-##-------------------------------------------------------------------------------# Name: 参数优化# Description: # Author: shichao， 联系方式： 961771865# Date: ...

原创 时序数据特征提取：用 pandas 进行上采样、下采样

# 对温度做分段常数逼近处理，下采样def constant_appro_low(df_data_by_date_tem): df_data_by_date_tem = df_data_by_date_tem.reset_index(drop=True) df_appro = pd.DataFrame() date_index = pd.date_range(end = ...

原创 机器学习建模步骤

需求分析：目标：需要做到什么，才能满足客户的需求。过程：来回、反复、沟通确认。数据探索：确定目标变量：y初步分析特征变量：X分析 y 的分布：正态性分布、对数转换等。分析 X 的相关性：分析 y 与 X 呈什么关系：线性、非线性等。特征工程：特征提取（特征较多时，提取主要特征）特征扩充（特征较少时，增加特征）特征处理：归一化、标准化、差分处理、特征变换等。目标变量处理：...

原创 时序数据做交叉验证，选择模型，选择参数，用以查看模型是否收敛

# 时间序列分割from sklearn.model_selection import TimeSeriesSplittscv = TimeSeriesSplit(max_train_size=None, n_splits=17)def cv_mae_(model, train_X, train_y): “” model: 模型对象 train_X: 训练集 train_y: ...

原创 机器学习，模型保存，模型加载

# 保存模型from sklearn.externals import joblibdef save_model(mult_model, model_save_path): """ :param mult_model: 待保存的模型对象 :param model_save_path: 保存路径，例如 "./model.pkl" :return: 没有返回值 ...

原创 多目标任务 Xgboost 参数优化，通过交叉验证方法选择最优参数（一次输出多个 y ）

import osimport numpy as npimport pandas as pdimport timefrom sklearn.multioutput import MultiOutputRegressorimport matplotlib.pyplot as plt# 核心代码，设置显示的最大列、宽等参数，消掉打印不完全中间的省略号pd.set_option('dis...

原创 pycharm 中控制台让 dataframe 显示更多一点

https://www.jianshu.com/p/a93fe1423bc5在 pycharm 中没有省略号显示import pandas as pdpd.set_option('display.max_columns', 100) # 设置显示数据的最大列数，防止出现省略号…，导致数据显示不全pd.set_option('expand_frame_repr', False) # 当列...

原创 目标检测总结

尽量选择支持 VOC 格式的数据集的算法，目前仍然以两阶段为主，faster-rcnn-fpn 网络为 backubone 为主，以商汤 mmdetection 为代表。https://blog.youkuaiyun.com/hajlyx/article/details/83542167VOC 与 coco 数据集区别，coco 格式数据集作为输入会过滤掉没有目标的图片，会造成负样本大量减少。VOC 格...

原创 ubuntu_指定 CPU 或 GPU 运行代码

export CUDA_VISIBLE_DEVICES=2

原创 python时间字符串操作

字符串 ‘20180418’ 转换成时间 2018-04-18 00:00:00from dateutil.parser import parsedate_str = '20180418'date_str = parse(date_str)秒转换成日期 ，def secondsToStr(seconds): x = time.localtime(seconds) ...

原创 Python 记录异常和写日志

python 2 :try: my_fun()exception exceptions as e: print (e)python3:try: my_fun()exception Exception as e: print (e)

原创 linux_上传、下载文件

scp -r huipu@61.218.118.226:/workspaces/huipu/api/api/darknet.py workspace/project/AOI_1/从 61.218.118.226 上服务器上 用户名 为 huipu 的路径下 /workspaces/huipu/api/api/darknet.py下载到 本地服务器 上 workspace/project/A...

原创 linux下，anaconda python 相关操作

创建虚拟 python 环境# 创建名称为 py26 ,python 版本为 2.6 的虚拟环境conda create -n py26 python=2.6# 切换到 py26 环境source activate py26# 变比当前 py26 虚拟环境source deactivate py26...

原创 linux_常见命令（复制、删除、连接、查看、更改权限等操作）

删除文件或者文件夹：sudo rm -rf 文件夹或者文件名

原创 python3、DataFrame 操作（删除重复行、重置索引，纵向合并、）

删除重复行df = df.drop_duplicates()重置索引df = df.reset_index(drop=True)纵向合并 dfdf_1 = pd.DataFrame()df_2 = pd.DataFrame()df = pd.concat( [df_1, df_2], axis=0)

原创 python3 , opencv 在图像上标注检测 box 和文字