- 博客(60)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 Ubuntu / Linux 各种操作指南
Ubuntu 各种操作指南环境配置文件修改hosts文件并且重启安装提示缺少依赖包软件列表和包更新清理开root权限卸载包修改文件夹所属组和组名 （解决root创建的文件其他用户无法操作问题）定时任务恢复误删除的系统文件文件和文件夹权限修改AnacondaPytorchGPU监控GPU对应任务查找 *对应gpu索引, 适用于nvidia-smi找不到任务安装本地文件Ubuntu安装显卡驱动 （建议安装recommend的驱动）环境配置文件/etc/profile~/.bashrc~/.condarc
2020-08-14 14:28:07
1580
2
原创 基于face_recognition的人脸识别--打卡系统
face_recognition安装相关：https://github.com/ageitgey/face_recognition/issues/96https://blog.youkuaiyun.com/songqiu65/article/details/88116549https://blog.youkuaiyun.com/qq_15192373/article/details/786237411）安装V...
2019-11-22 21:19:09
1802
原创 查准率、召回率、敏感性、特异性和F1-score的计算及Matlab实现
查准率(Precision)：所有诊断为患病（1）样本中实际为患病的比率。召回率(Recall)：所有患病样本中被发现并诊断为患病的比率。查准率 = TP/(TP+FP)召回率 = TP/P = TP/(TP+FN)敏感性 = TP/P =TP/(TP+FN)特异性 = TN/N = TN/(TN+FP)F1-Score = 2*Precision*Recall/(P...
2018-04-28 11:31:01
16377
17
原创 Python 编程进阶经典算法逻辑编程 剑指Offer
1.找到数组中重复数字（字符），返回出现频次最多字典方法，时间复杂度O(N) +O(1)def maxf(x): a = dict() max = 0 for i in x: tem = str(i) a[tem] = a.get(tem,0) + 1 if max < a[tem]:...
2017-10-29 15:49:35
4360
原创 Matlab绘制ROC曲线并计算AUC面积
ROC曲线是根据在二分类时，设定不同的分类阈值得到的真阳性率（TPR）和伪阳性率（FPR)得到的。如图括号格式为（预测的标签，实际的标签）。(sensitivity) TPR=TP/(TP+FN)= (1,1)/((1,1)+(0,1))(1-specificity) FPR=FP/(FP+FN)= (1,0)/((1,0)+(0,0))F1 = 2TP/(2TP+FP+FN)...
2017-09-15 14:44:15
7112
7
原创 Matlab nii图像的读取处理保存 基于SPM
filename = spm_select(n,'image','choose the image'); %选择当前目录的文件V = spm_vol(filename);Y = spm_read_vols(V);Y_new = XXXXXX %Y_new为处理后V.fname = 'xxxx.nii'; %保存为的文件名称V.dt = [64,0];spm_write_vo...
2017-06-25 10:32:19
29039
23
原创 PyTorch .pth 权重文件名称不一致
比如初始权重key为module.fnet.conv1.weight，但是用另一种方式训练的模型不需要module，key名称把这些拿掉就行了# Performs input mapping such that stage 0 model can be loadedif os.path.exists(args.model): prop_saved = torch.load(args.model) from collections import OrderedDict prop_s
2022-01-24 15:19:44
1922
原创 Ubuntu ~/.bashrc 配置 for cuda torch
Ubuntu ~/.bashrc 配置 for cuda torchconvert xxx to your name# ~/.bashrc: executed by bash(1) for non-login shells.# see /usr/share/doc/bash/examples/startup-files (in the package bash-doc)# for examples# If not running interactively, don't do anything
2022-01-11 10:35:01
377
原创 Ubuntu 安装 Github Desk
sudo wget https://github.com/shiftkey/desktop/releases/download/release-2.9.3-linux3/GitHubDesktop-linux-2.9.3-linux3.deb# double click to install
2021-12-15 14:52:27
1394
原创 PIL Image P和L模式
通常RGB图像包含三个颜色通道，这些通道组合可以生成不同颜色。【P mode】但是对于Mask而言，每个颜色通常表示一个物体，而物体的种类是有限的，因此可以用P模式，P模式需要预定义好多个颜色的模板，_palette= [0, 0, 0, 128, 0, 0, 0, 128,…]，因此只需要一个通道存储index即可，（index可以从模板中取出对应的颜色），这样表达颜色个数上限是255但是足够了，而且只占用1/3数据存储空间。【L mode】同样只存储一个通道数据，但是代表的是灰度图的光照强度，而不是
2021-12-11 10:25:45
4914
原创 python 下载google文件
import godowngdown.download('https://drive.google.com/uc?id=1-QrceIl5sUNTKz7Iq0UsWC6NLZq7girr', output='../YouTube2018/valid.zip', quiet=False)
2021-11-22 14:48:02
1830
2
原创 Latex 各种tips
慢慢更新字体大小\tiny\scriptsize\footnotesize\small\normalsize\large\Large\LARGE\huge\Huge
2021-03-23 14:21:30
175
原创 torch tensor 改变尺寸操作
import torchtensor = torch.rand(2,3,224,224)tensor.is_contiguous() # must make sure is contiguoustensor.unsqueeze(0).shape # torch.Size([1, 2, 3, 224, 224])tensor.squeeze(0).shape # Only cut the dimention if it is 1tensor.view(-1,244,244).shape
2021-01-24 11:08:21
7298
原创 熵，交叉熵，相对熵与KL散度，JS散度。 直白易懂
一个简单的理解熵交叉熵相对熵 AKA KL散度JS散度熵随机事件的不确定性度量，也是衡量分布内样本所有要的信息编码长度，熵越大，不确定性越大。H(P)=ΣP(x)log1P(x)H(P) = ΣP(x)log\frac{1}{P(x)}H(P)=ΣP(x)logP(x)1交叉熵用其他分布q衡量分布p内样本所需要的信息编码长度。H(P,Q) >= H§H(P,Q)=ΣP(x)log1Q(x)H(P,Q) = ΣP(x)log\frac{1}{Q(x)}H(P,Q)=ΣP(x)log
2021-01-14 18:09:50
305
原创 Ubuntu 多用户分别使用不同版本CUDA (2021亲测可行)
参考链接：https://blog.youkuaiyun.com/qq_41202069/article/details/108286319https://www.cnblogs.com/yhjoker/p/10972795.html1. 下载想要的CUDA和对应版本CUDNN2. 如下图安装CUDA* 额外版本CUDA不要安装显卡驱动，不要添加软链接！* 路径可以使用自己目录 /home/xxx/cuda/ e.t.c.#..一堆协议说明...#直接按q退出协议说明.ac..
2021-01-09 17:47:42
1825
原创 Docker使用
这里写自定义目录标题Docker使用下载查看已有镜像Docker使用下载docker pull pytorch/pytorch 下载docker镜像到本地查看已有镜像docker images
2020-08-11 13:07:51
164
原创 Pytorch TensorboardX可视化
这里写自定义目录标题Pytorch TensorboardX可视化安装代码嵌入本地查看服务器日志可视化Pytorch TensorboardX可视化安装pip install tensorboardXpip install tensorboard代码嵌入from torch.utils.tensorboard import SummaryWriterw = SummaryWriter(‘runs/’)w.add_scalar('loss", loss, epoch)本地查看服务器日志可视化
2020-07-21 11:28:18
161
原创 检查pytorch是否都可导
1.from torch.autograd import gradcheck2. 如果计算图有一块不可导会报错3. torch.requires_grad检查
2020-07-09 16:10:04
1497
原创 LeetCode Python
[LeetCode] 3. Longest Substring Without Repeating Characters 最长无重复字符的子串Given a string, find the length of the longest substring without repeating characters.Example 1:Input: "abcabcbb"O...
2020-04-12 10:50:34
187
原创 Detectron2 Transforms
fvcore/transforms/transform.pydetectron2/data/transforms/transform.py + PIL提供底层实现。__all__ = [ "RandomBrightness", "RandomContrast", "RandomCrop", "RandomExtent", "RandomFlip...
2020-03-24 15:04:27
1307
原创 Pytorch Detectron2 图像预处理
detectron2/data/detection_utils.pydetectron2/data/transforms.pyfrom detectron2.config import get_cfgfrom detectron2.data import detection_utilsfrom detectron2.data import transforms as T#...
2020-03-23 23:14:25
1057
原创 Detectron2 Pytorch sampler 采样器
pytorch_cuda10.2_python3.6/lib/python3.6/site-packages/torch/utils/data/sampler.pysampler是最底层的类，像sequential_sampler都继承了此类。SequentialSampler 按顺序进行采样，from torch.utils.data.sampler import Sequent...
2020-03-23 14:06:48
1505
原创 Pytorch Detectron2 COCO PASCAL VOC Cityscapes Dataloader DatasetCatalog 数据注册
detectron2/data/datasets/builtin.py会把所有数据集进行注册，比如包含 coco -"coco_2014_train": ("coco/train2014", "coco/annotations/instances_train2014.json")其中register_all_coco实现数据的注册，会把每个要使用的数据名称(coco_2014_train...
2020-03-22 16:40:51
2364
原创 PyTorch NN 常用函数
1维卷积>>> input (batch, in_channel, length) --> filters (out_channel, in_channel, kernel_size)>>> torch.nn.functional.conv1d(inputs, filters)2维卷积>>> input (batch, in...
2020-03-18 16:59:37
2899
原创 Detectron2 测试用例 demo 代码注释
demo预测流程:args传参 -- cfg获取 -- VisualizationDemo模型建立 (元数据获取 -- \ DefaultPredictor预测模型 (元结构注册 -- 指定要评估 -- 元数据注册 -- 加载模型权重 -- 图像resize和BGR)) -- \ 预测数据读入 -- VisualizationDemo预测结果及可视化 (DefaultPredi...
2020-03-15 21:12:16
4708
7
原创 SIFT 尺度不变特征变换 简单易懂
很详细的一个英文博客：http://aishack.in/tutorials/sift-scale-invariant-feature-transform-introduction/SIFT （Scale-invariant feature transform, 尺度不变特征变换）是局部特征描述子，尺度不变性 尺度空间：所有尺度上的图像位置，高斯微分函数来识别潜在对于尺度和旋...
2019-12-24 12:16:53
363
原创 EM 期望最大化算法
EM 一种聚类算法 为每个样本随机赋予类别。 计算每个类别的分布。 根据分布重新为每个样本分配类别。 根据迭代后的样本&类别计算分布，并一直迭代下去。 马尔可夫分支：1. 马尔可夫网 （判别式，无项有环图）：1）Gibbs（玻尔兹曼机） 2）CRF条件随机场 3）马尔可夫随机场2.1 动态贝叶斯 （生成式，有向无环图）：1）卡尔曼滤波 2）HMM 隐马...
2019-12-23 14:34:30
202
原创 Windows + Tensorflow + Pycharm + CUDA + cuDNN + VS2017 + Anaconda 安装
由于最近没时间，花了一天搭了一下，个人总结了点小tipsMarkdown 直接粘过来的，包含了Vmware+Ubuntu搭配虚拟机（目前没用到个人配置 Win10 + VS2017 + CUDA9 + cuDNN7 + Py3.5 + tensorflow1.5 + keras2.1.4 + opencv最新 + Anaconda最新可以正常使用。安装顺序 VS2017 -- A...
2019-10-31 23:34:03
321
原创 python scrapy基本应用
#Scrap startproject news_scrapy 生成初始文件夹#修改 items.py#修改setting.py —> ROBOTSTXT_OBEY = False#创建main.pyFrom scrapy import cmdlinecmdline.execute(‘scrapy crawl toutiao_spider’...
2019-05-17 17:11:03
209
原创 Elasticsearch
ELK:Elasticsearch 搜索Logstash 日志kibana 可视化基于lucene实现的，lucene数据类型层次可以分为：Index索引，Segment片段，Document文章（index和search最小单位），field域（包括field name & field value), term（最小单位，分词后的词）倒排索引：...
2019-04-21 23:58:22
237
原创 ANOVA，T检验，秩和检验
ANOVA要求：多组样本比较，方差齐，正态性。不齐可以用Tamhane's T2。T检验要求：方差齐，正态性。不齐用矫正T检验。秩和检验：非参数检验。不满足上面做这个。...
2018-11-04 14:56:17
10143
原创 linux 基本操作指令
cd ~/XXXcd X 定位到指定目录cd .. 返回上一级目录cd ../.. 返回上两级目录ls 显示当前目录下所有文件python -version 显示软件的版本将软件拖入终端 显示软件的路径open X打开指定文件which python 显示python路径更新完PATH 后 source ~/.bash_profile (此文件存储path)...
2018-07-28 12:05:32
380
转载 基于SVD物品推荐
原文:https://www.cnblogs.com/lzllovesyl/p/5243370.html# -*- coding: utf-8 -*-"""Created on Wed Jul 25 15:41:48 2018@author: turnip"""#coding=utf-8from numpy import linalg as laimpor...
2018-07-25 16:02:58
540
原创 损失正则化简单易懂
模型思想（为什么要正则）：众所周知，同样表现下模型参数值（自变量系数）越小越好，因为y = 214124x1 + 24421x2 + 3x3 这样的x有轻微变化都会引起y剧烈抖动，在高维情况更为明显。因此，在损失函数后加入正则可以减少这个问题从而防止过拟合。正则：L0 正则，NP-hard问题，e.g. 想让100个参数里只有10个参数不为0，那么哪10个呢？这就是个即使联立方程...
2018-07-24 21:21:44
1971
原创 决策树和随机森林
决策树：ID3 (Iterative Dichotomiser 3)： 基于信息增益（Info Gain），即为属性划分前后信息差（entropy 前-后），对应于python的参数"entropy"，偏向取值较多的特征。CART (Classification and Regression Tree)：基于基尼系数（Gini），表示在样本集合中一个样本被份错的概率，基尼系数越小越好，其他...
2018-07-21 13:25:35
1681
原创 NLP
one hot code: 独热码，有多少个状态就有多少个向量。因为假如某个特征有三种状态，由于特征值会影响训练，因此用0，1，2来代表三种状态是不合适的。内容排名推荐：Feed流推荐，相关推荐，TopN推荐，个性化推送https://blog.youkuaiyun.com/qq_40027052/article/details/78579587?reloadhttp://ww...
2018-07-20 16:16:17
398
原创 神经网络
ReLU对于初始计算出激活为0或者负数，则此节点权重永远无法更新。θ1和θ2如果初始值相同，则他们的更新也会完全同步因此会产生冗余，因此可以考虑用随机数据增强：翻转，旋转，变颜色，缩放。两类样本数量不匹配时数据增强：过采样，SMOTE（对样本少的类扩充为n倍并加随机噪声）。可以考虑同类或两类之间样本年龄等因素分布是否需要均衡来数据增强。Dropou...
2018-07-17 19:18:35
196
instances_trainval35k.zip
2020-03-11
coursera 魔兽争霸 C++
2018-05-22
AUC的计算及ROC曲线的绘制
2018-04-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人