- 博客(23)
- 收藏
- 关注
RSS订阅原创 图网络入门
目录图网络基础知识Graph EmbeddingGCNGAT图网络基础知识图网络的应用场景有很多，目前在工业界的主要应用是在推荐和风控领域，其他包括社交网络、交通网络、化学分子、3D点云等也都有一些应用。关于图这种数据结构的基础知识：一张图又节点和边组成，边可以是有方向的，也可是无方向的，因此图可以分为有向图和无向图。图的基本属性：度（degree），连通分量，图直径，度中心性，特征向量中心性，节点连接性（betweenness），节点中心性（closeness），pag
2022-01-05 16:13:36
3626
原创 自监督学习-论文笔记
自监督学习近两年的一些比较好的方法：SimCLR, MoCo, BYOL。关于这几个方法有一个博客值得一看：https://generallyintelligent.ai/blog/2020-08-24-understanding-self-supervised-contrastive-learning/SimCLRMoCoBYOT, 与SimCLR和MoCo不同，这个方法并没有使用到对比学习。提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、
2021-12-29 16:06:01
2189
原创 频率学派、贝叶斯学派
@［TOC］（频率学派、贝叶斯学派）频率学派最大似然估计，MLE贝叶斯学派最大后验估计，MAP最大后验估计中使用一个高斯分布的先验等价于最大似然估计加一个L2正则化！
2021-05-20 15:18:57
183
原创 RNN、LSTM、GRU
RNN、LSTM、GRURNNLSTMRNNrecurrent neural network， 循环神经网络更多应用于序列数据的处理中，网络参数共享是RNN的一个重要特点。RNN结构示意图如下：下面我们以具体的应用场景进行展开描述。例如在文本分类问题中，输入的一句话可以看作是一个序列，输出为该条语句的类别标签。此时，RNN 的网络结构为：其中，xix_ixi表示语句中的一个单词，输出Y为类别标签。下面我们来看隐藏层单元中的运算，hih_ihi表示了每一个隐层单元的状态：hi=ϕ(Whh
2021-05-19 18:56:05
416
原创 方差、协方差
方差、协方差方差协方差方差与协方差的区别与联系方差方差一般写为：σ2\sigma^2σ2 或 Var(x)Var(x)Var(x)σ2=∑(X−μ)2N\sigma^2=\frac{\sum(X-\mu)^2}{N}σ2=N∑(X−μ)2XXX为统计数据，μ\muμ为样本均值，NNN为样本数.方差描述样本偏离均值的程度，或者说是样本的分散程度。协方差协方差一般用Cov(x,x)Cov(x,x)Cov(x,x)表示cov(x,y)=1n∑in(xi−μx)(yi−μy)cov(x, y)=\
2021-05-17 19:06:06
8242
原创 机器学习：决策树与集成学习 2
机器学习：决策树与集成学习 2集成学习BaggingBoostingStacking集成学习的偏差与方差偏差方差Bagging的偏差与方差Boosting的偏差与方差随机森林 Random ForestAdaBoostGBDT集成学习BaggingBoostingStacking集成学习的偏差与方差偏差方差Bagging的偏差与方差Boosting的偏差与方差随机森林 Random ForestAdaBoostGBDT...
2021-05-14 23:27:57
522
原创 机器学习：决策树与集成学习 1
机器学习：决策树与集成学习 1决策树决策树的生成（划分选择）ID3C4.5CART决策树决策树是一类常见的机器学习算法，也可以指学习得到的树模型。决策树是基于树结构来进行决策的，一棵决策树包括一个根节点，若干内部节点和若干叶子节点。每个部分对应的功能：根节点：样本全集叶节点：决策结果内部节点：属性测试决策树的生成（划分选择）决策树的生成是一个递归的过程。决策树的内部节点划分选择是一个属性测试的过程，节点的划分选择主要有三种方法：ID3、C4.5、CARTID3ID：Dterative
2021-05-14 16:52:56
597
原创 论文笔记：域适应——SCA
论文笔记：域适应——SCA论文论文解读论文中一些概念Scatter component analysis (SCA)SCA伪代码总结补充论文Muhammad Ghifary, David Balduzzi, W. Bastiaan Kleijn, and Mengjie Zhang. 2017. Scatter component analysis: A unified framework for domain adaptation and domain generalization. IEEE Tra
2021-05-11 23:46:39
1117
原创 论文笔记：Doamin Adaptation——JGSA
论文笔记：JGSA论文论文解读JGSA伪代码总结论文Jing Zhang, Wanqing Li, and Philip Ogunbona. 2017. Joint geometrical and statistical alignment for visual domain adaptation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR’17).论文解读Joint
2021-05-11 23:22:09
1023
1
原创 数据预处理：静态连续变量
数据预处理：静态连续变量第一步，离散化连续变量使模型更加稳健。然后将数值特征二值化，进一步将数值特征进行分箱，包括均匀分箱和和分数位分箱两种方法。第二部，缩放。不同尺度的特征之间难以比较，特别是在线性回归和逻辑回归等线性模型中，在基于欧氏距离的k-means聚类或者KNN模型中，就需要进行特征缩放，否则距离的测量是无用的，而对于任何使用梯度下降的算法，缩放也会加快收敛速度。标准缩放方法1：标准缩放，Z分数标准化，对异常值敏感，因为异常值会同时影响到均值和标准差。公式：MinMaxScaler方
2021-05-11 16:11:32
359
原创 可再生核希尔伯特空间 (RKHS, reproducing kernel Hilbert space)
可再生核希尔伯特空间1、空间：包含元素和结构（规则）。2、线性空间：定义了加法和数乘的空间。3、度量空间：定义了距离的空间距离的定义有欧氏距离、曼哈顿距离、闵科夫斯基距离、马氏距离、切比雪夫距离。距离是两个元素对应一个数。4、赋范空间：定义了范数的空间，范数是指元素的“长度”，理解为一个元素对应一个数，范数针对一个元素而言，距离是针对两个元素而言的。有了范数一定能定义距离，但是有距离不能定义范数。5、线性赋范空间：定义了加法、数乘和范数的空间。6、巴纳赫空间：就是完备的赋范空间。完备的定义：
2021-05-11 15:56:25
1259
原创 Data Leakage
Data Leakage什么是数据泄露？数据科学的中的数据泄露（Data Leakage）和其他场合涉及信息安全的数据泄漏不一样，是指一些feature不是在因果关系上顺利释预测值的‘因’，而是预测值的‘果’，存在和利用这种因果倒置的feature的现象，叫数据竞赛中的Data Leakage。Data Leakage 基本都是竞赛主办方在准备数据或者数据采样的时候出了问题，误将与结果直接相关或存在颠倒因果关系的feature纳入了数据集。这样的纰漏，比较难以发现。数据泄露的案例：Data Lea
2021-05-11 15:53:13
251
原创 深度学习框架 动态图 VS 静态图
深度学习框架 动态图 VS 静态图不管是动态图还是静态图，他们都是计算图，计算图是描述运算的有向无环图，计算图由节点和边构成，节点表示数据，可以是矩阵、向量、张量等，边表示运算，如加减乘除卷积等。计算图的优点让运算流的表达更加简单。方便求导计算梯度。上图表示 y = (w+x)*(w+1) 的计算图，如果需要计算y对w的导数，则需要反向从y找到所有到w的路径，每条路径上利用链式求导法则计算偏导数，并将所有路径的偏导数相加就可以得到y对w的导数。叶子节点是用户创建的变量，如上图中的w和x，在p
2021-05-11 11:58:53
1338
原创 数据预处理：标准化与归一化的区别
矩阵标准化与归一化的区别标准化是依照特征矩阵的列处理数据，通过z-score方法，将样本的特征值转换到同一量纲下，要求原始数据的分布近似为高斯分布，否则标准化的效果会变得很糟糕，可以通过现有样本进行估计，在已有足够数量的样本的情况下比较稳定，适嘈杂大数据场景。标准化的原理比较复杂，它表示原始值与均值之间差多少个标准差，是一个相对值，所以能够达到去除量纲的效果，最大的优势在于使数据的均值为0，标准差为1。均值为0可以使数据以0为中心左右分布，而数据以0为中心进行左右分布会带来很多方便，比如在去中心化的数据
2021-05-11 11:53:50
2451
原创 论文笔记：JDA
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录论文一、问题提出二、算法目标以及求解1.属性保留2.减小边缘概率分布差异3. 减小条件概率分布差异4. 目标函数构建及求解构建目标函数引入核技巧目标函数求解伪代码总结论文Long, M., Wang, J., et al. (2013). Transfer feature learning with joint distribution adaptation. In ICCV, pages 2200–2207.一、问题提出
2021-05-11 11:46:38
615
原创 论文笔记：TCA
TCATransfer component analysis论文Pan, S. J., Tsang, I. W., Kwok, J. T., and Yang, Q. (2011). Domain adaptation via transfer component analysis. IEEE TNN, 22(2):199–210.数据分布自适应由于源域和目标域的数据概率分布不同，通过变换将不同的数据分布的距离拉近。边缘分布自适应边缘分布自适应，数据整体不相似，边缘分布自适应方法的目标是减小源
2021-05-11 11:22:03
1552
原创 深度学习框架 动态图 VS 静态图
# 深度学习框架 动态图 VS 静态图不管是动态图还是静态图，他们都是计算图，计算图是描述运算的有向无环图，计算图由节点和边构成，节点表示数据，可以是矩阵、向量、张量等，边表示运算，如加减乘除卷积等。## 计算图的优点让运算流的表达更加简单。方便求导计算梯度。上图表示 y = (w+x)*(w+1) 的计算图，如果需要计算y对w的导数，则需要反向从y找到所有到w的路径，每条路径上利用链式求导法则计算偏导数，并将所有路径的偏导数相加就可以得到y对w的导数。叶子节点是用...
2021-05-09 18:44:06
944
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人