薛定谔的Hello Kitty

下面给出整个移植步骤：整个过程分为三步：激活需要移植的环境导出移植文件创建新的环境以keras+tensorflow1.14-gpu 环境移植为例，我的本地已经配置好了该环境，需要把它移植到另一台电脑上conda activate keras # 激活要移植的环境conda env export > keras.yml # 导出移植文件下面这一步在新电脑上执行，需要把keras.yml复制到新电脑上conda env create -new-keras keras.yml

一些常见的进行数据清洗的库，以及自己常用到的自定义的库，都写在这里：MyLib'''这个类用来处理表格数据中的类别，把类别转化为整形数字还可以用来自定义补空（平均值，中值等）'''class TransformAndFillNa(): ''' 这里传入pandas的一列，通常为一个需要待处理的类别列，调用此函数之前需要处理NA ''' def tran...

推荐系统分为基于用户和基于物品举个例子，用户A喜欢给《上海堡垒》打高分，用户B也喜欢给《上海堡垒》高分，我们可以看出A，B臭味相投，A喜欢的电影也可以推荐给B，这就是基于用户的，协同过滤算法这里只介绍余弦相似性算法：下面给出一个例子：上面分别是A与B和C的余弦相似性，例如：上面的4*5是A，B都看过魔法石，分母是A，B的模。（A,B)的...

初体验path = untar_data(URLs.PETS) # 自动下载并解压数据fnames = get_image_files(path_img) # 得到路径下所有的图片data.show_batch(rows=3, figsize=(7,6)) # 查看数据3行，显示尺寸7,6print(data.classes) # 数据种类手写数据集识别：import tor...

1. xgboost参数说明最近在打kaggle，这里做一下xgboost笔记，这里不讲原理，只讲xgboost库的使用，以及一些参数调节。传送门： xgboost参数说明2. xgboost实战演练用泰坦尼克号这个经典例子来说：import numpy as npimport pandas as pdfrom xgboost import XGBClassifierfrom s...

第一种神经网络的写法假设这里有一个二分类问题：import torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch.autograd import Variableimport seaborn as snsn_data = torch.ones(100,2)x1 = torch.normal(n_da...

分类和回归我们分为这两个方面来总结：分类算法：PerceptronLogistic Regression（不用标准化处理）Perceptronfrom sklearn.linear_model import Perceptron分类用到的准确度计算from sklearn.metrics import accuracy_score accuracy_score(y_tes...

下面把一些容易忘记的numpy操作重新总结一下：array1 = np.array([3,4,1,7,45,6,15,37,1,25])print(array1[array1>10]) # [45 15 37 25]np.where(array1>10,0,array1) # 这段把array1中大于10的数，全部重置为0，小于10的不变 a>b?a:b类似下面给出...

def TN(y_true, y_predict): assert len(y_true) == len(y_predict) return np.sum((y_true == 0) & (y_predict == 0))def FP(y_true, y_predict): assert len(y_true) == len(y_predict) r...

多项式回归import numpy as npimport matplotlib.pyplot as pltx = np.random.uniform(-3,3,size = 100)X = x.reshape(-1,1)y = 0.5 * x**2 + x +2 +np.random.normal(0,1,100)from sklearn.preprocessing import...

复习一下sklearn中的这些用法给定一堆数据，并设置一个随机种子，让大家都能复现：import numpy as npimport matplotlib.pyplot as pltnp.random.seed(666)X = np.random.normal(0,1,size=(200,2)) # 这里设置200*2的二维矩阵y = np.array(X[:,0]**2 + X[...

Pytorch的一些常见的用法pytorch的一些操作和numpy比较类似，对于熟悉numpy的人比较友好，下面总结一些用法：Tensor (张量) ，有32 位浮点型torch.FloatTensor 、64 位浮点型torch.DoubleTensor 、16 位整型torch.Shor tTensor 、32 位整型torch.lntTensor 和64 位整型torch.LongTe...

实现softmaxpytorch的基础学习：下面给一个例子：x = torch.ones(4,4)这个我们通过链式求导法则，可以反向推导就知道了，d(out)/d(x) = 1/2 *y = 1.5默认是忽略梯度。这是初稿，等下整理排版...

集成学习概念所谓的集成学习，举个通俗的例子，多个学习算法比如A，B，C，一起预测某个物体是个啥子，如果A，B都预测是只????，然鹅C预测是只????，那我们就看多数人原则，通俗就是这个意思。下面来看一个栗子：import numpy as npimport matplotlib.pyplot as pltfrom sklearn import datasetsX, y = datasets.m...

SVM数学理论：如图所示：我们的目标是最大化margin，而margin = 2d ，so 最大化margin ，就是要最大化d。点到直线的距离拓展到n维平面：下面介绍 Soft Margin SVM :C 越大， 越是不允许犯错，当C无穷大的时候，严格不允许犯错，也就是SVM分类一定要全部分对反之则反。 hard margin svm 就是那类严格不允许犯错的。下面用sklea...

引用 闲话矩阵求导由于github地址找不着该文件了，深表遗憾，以下是百度网盘，需要的可以下载pdf版本的，侵删。百度网盘 提取码：viln请看完文章再来回头理解下面的话：上面有一句话值得注意：事实上，直观上看，凡是对标量求导，结果的形式都要转置，而标量对向量和矩阵求导则位置保持不动。再来看向量对向量求导过程中：这便不难理解，对于结果的第一行来说，我们可以认为x1为标量，yi...

K近邻算法这里面涉及到一些算法实现的包，比如得到的每个点，求距离后怎么处理的问题。# 前面求欧氏距离就不赘述了，这里主要是补充一点求出结果后怎么处理的问题nearest = np.argsort(distances) # 这里对每个距离进行排列，得出index# 假设K=6的话topX = [y_train[i] for i in nearest[:k]] # y_train[i] ...

最小二乘法这里的目标是找出a,b，使得下面J的尽可能小：J(a,b)=∑i=0m(yi−axi−b)2 J(a,b) = \sum_{i=0}^m (y^i - ax^i -b)^2 J(a,b)=i=0∑m​(yi−axi−b)2即对a,b分别进行求导=0，得到以下的结果：b=y‾−ax‾ b = \overline{y} - a\overline{x} b=y​−axa=∑i=1...

collections模块：from collections import defaultdict #引入默认字典x = 'you are you are u u many are'# 实现统计句子中的词出现频率dic = defaultdict(int) #采用int函数作为参数for i in x.split(): dic[i]+=1print dic

R语言是数据分析的好工具，特别是在大数据分析中，所以希望掌握它。#R语言的赋值a <- 1:6 #把1-10赋值给a，不同于我们以前用到的 =ls() #查看赋值的有哪些变量[1] "a"a-1 #对a中每个元素都减一 ，如果a是矩阵，那就全部-1，+ - × / 效果是一样的a + 1:2 # 1,2 循环+a 即 1+1,2+2,3+1,4+2,5+1,6+2 #如果a 不是

plot函数Usage:dose <- c(20,30,40,45,60)drug <- c(16,20,27,40,60)drug1 <- c(15,18,25,31,40)opar <- par(no.readonly = TRUE) #初始图形的样式par(lty = 2,pch = 17) #三角形+虚线样式plot(dose,drug1,type = 'b',col = 're

数据框的一些操作：dose <- c(20,30,40,45,60)drug <- c(16,20,27,40,60)drug1 <- c(15,18,25,31,40)p <- data.frame(dose,drug,drug1)mydata <- transform(data,sumx = dose+drug) #添加一列，并且是dose + drug的和age <- c(32,4

这里有一些ggplot2的用法记记笔记getwd()setwd('/home/king/CodeCollect/RCode')data(diamonds)library(ggplot2)small <- diamonds[sample(nrow(diamonds),1000),]head(small)p <- ggplot(data = small,mapping = aes(x = c

首先，什么是PCA ？principal Component Analysis一个非监督的机器学习算法，主要用于数据的降维，通过降维，可以发现更便于人类理解的特征通常应用于可视化，去噪下面举个例子：给这么一组数据，怎么把二维降到一维？我们通常可以选择，向X轴或者Y轴投影，但是还是不够好，向X轴投会忽略Y轴方向的影响，反之，会忽略X轴方向，所以，我们提出一种更好的方案来解决这个问...

本文转载于 https://www.jianshu.com/p/c7e642877b0e这大概是我见过最好理解的一个版本梯度下降的场景假设梯度梯度下降算法的数学解释梯度下降算法的实例梯度下降算法的实现Further reading...