机器学习
关注
分享
扫一扫
文章平均质量分 92
机器学习算法
此人姓于名叫罩百灵
河北pia县八宝山剧团著名相声表演艺术家，擅长割麦子，腌松花，代表作《打倒郭の纲》。曾获外国人讲普通话大赛二等奖，多次在偏远山区及原始部落强行慰问演出，受到同行和乡亲们的一致好评。
展开
-
学习Transformer：自注意力与多头自注意力的原理及实现
自从Transformer[3]模型在NLP领域问世后，基于Transformer的深度学习模型性能逐渐在NLP和CV领域(Vision Transformer)取得了令人惊叹的提升。本文的主要目的是介绍经典Transformer模型和Vision Transformer的技术细节及基本原理，以方便读者在CV领域了解和使用Vision Transformer。......原创 2022-05-15 07:55:27 · 22299 阅读 · 8 评论 -
计算机视觉数据集介绍：KITTI数据集
KITTI数据集是由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，利用组装的设备齐全的采集车辆对实际交通场景进行数据采集获得的公开数据集。该数据集包含丰富多样的传感器数据（有双目相机、64线激光雷达、GPS/IMU组合导航定位系统，基本满足对图像、点云和定位数据的需求）、大量的标定真值（包括检测2D和3D包围框、跟踪轨迹tracklet）和官方提供的一些开发工具等。...原创 2022-03-17 18:23:48 · 17939 阅读 · 1 评论 -
机器学习基础：K近邻算法（Machine Learning Fundamentals: KNN）
k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。本文主要总结了K临近算法的基本原理及优缺点等信息。原创 2021-03-24 23:16:21 · 678 阅读 · 0 评论 -
可视化技巧：DataFrame画图并利用matplotlib保存（pandas）
需求这里想把数据组合到pandas的dataframe中，然后画一个条形图，通过matplotlib保存下来。代码155 #3.2 bar156 if pre_path1 is not None:157 index = [filename[:-4] for filename in file_names]158 fig = plt.figu...原创 2020-04-13 18:08:21 · 2536 阅读 · 0 评论 -
可视化技巧：分类问题中的决策面画法 (直观理解plt.contour的用法)
通过分类问题中决策面的绘制过程直观理解skimage中contour的用法。主要包括对 np.meshgrid 和plt.contour的直观理解。原创 2020-07-05 10:55:31 · 8349 阅读 · 1 评论 -
可视化技巧：显示带colorbar的热图（matplotlib）
总结了在热图边画出colorbar，并设置一些参数使得colorbar美观。原创 2020-04-13 17:06:37 · 2703 阅读 · 0 评论 -
机器学习基础：期望最大化算法（Machine Learning Fundamentals: EM Algorithm）
EM算法和MLE算法的相同点在于，两者都需要知道确定的概率密度函数形式。若没有隐藏变量，则可以用MLE进行估计。若数据欠缺，或存在隐含变量，则无法使用直接使用MLE进行估计，因此需要使用EM算法。原创 2021-03-24 22:36:43 · 550 阅读 · 0 评论 -
机器学习基础：支持向量机（Machine Learning Fundamentals: Support Vector Machine, SVM）
支持向量机的核心思想很简单：在众多可行的分类的超平面中，选择一个超平面，使得两类样本到该超平面的间隔最大。本文通过图示和公式推导总结了支持向量机的基本原理，并介绍了支持向量机中用于非线性分类的核技术。原创 2021-03-24 22:07:20 · 900 阅读 · 0 评论 -
机器学习基础：主成分分析（Machine Learning Fundamentals: PCA）
PCA降维的核心思想在于： 将原始数据映射到低维度的正交基底上，映射之后的数据能最大限度的分开，即协方差矩阵要对角化。实际操作时发现：依赖矩阵的正交变换，将原始数据XXX的协方差矩阵对角化。对角化之后特征值对应的特征向量就是我们要求的新的基底。无论是PCA的核心思想还是推导过程其实都很简单，如果对PCA的细节不懂，通常是基础知识掌握的不够，同时对矩阵正交变换的几何意义了解不够。本文从基础到进阶，不断展开对PCA技术细节的总结。原创 2021-03-24 21:51:42 · 243 阅读 · 0 评论 -
机器学习基础：逻辑回归（Machine Learning Fundamentals: Logistic Regression）
简单来说， 逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。 注意，这里用的是“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和，而非直接相乘。原创 2021-03-24 21:40:43 · 217 阅读 · 0 评论 -
机器学习基础：朴素贝叶斯（Machine Learning Fundamentals: Naive Bayes）
朴素贝叶斯是一类假设特征之间具有统计独立性的有监督方法。因此，朴素贝叶斯的使用条件就是假设不同特征之间具有统计独立性。本文总结了朴素贝叶斯的基本原理。原创 2021-03-24 21:33:06 · 387 阅读 · 0 评论 -
机器学习基础：最大似然（Maximum Likelihood） 和最大后验估计 （Maximum A Posteriori Estimation）的区别
前言在研究SoftMax交叉熵损失函数(Cross Entropy Loss Function)的时候，一种方法是从概率的角度来解释softmax cross entropy loss function的物理意义[1]。我们再来回顾下分类器输出的Probability Map，如下：P(yi∣xi;W)=efyi∑jefjP(y_i \mid x_i; W) = \frac{e^{f_{y_...原创 2020-04-25 23:07:55 · 2154 阅读 · 0 评论 -
机器学习基础：极大似然估计（Machine Learning Fundamentals: Maximum Likelihood Estimation）
极大似然估计的核心思想是：利用已知数据来计算最可能获得这种数据分布的概率密度函数。原创 2021-03-24 21:57:54 · 374 阅读 · 0 评论 -
机器学习基础：核密度估计（Machine Learning Fundamentals: Kernel Density Estimation）
在概率密度估计过程中，如果我们队随机变量的分布是已知的，那么可以直接使用参数估计的方法进行估计，如最大似然估计方法。然而在实际情况中，随机变量的参数是未知的,因此需要进行非参数估计.核密度估计是非参数估计的一种方法，也就是大家经常听见的parzen 窗方法了.本文主要介绍 非参数估计的过程以及 parzen窗方法估计概率密度的过程....原创 2020-04-25 22:54:09 · 3748 阅读 · 1 评论 -
机器学习基础：模糊C均值聚类（Machine Learning Fundamentals: Fuzzy C-Means ）Python实现
说明：FCM python 简单实现原创 2018-07-12 22:55:21 · 3231 阅读 · 2 评论 -
机器学习基础：评价指标（Machine Learning Fundamentals: Evaluation Metrics）
PrecisionRecallAccuracyF1F_1F1 ScoreFβF_\betaFβ ScoreDicePR CurveROC Curve参考文献调和平均数的物理意义wikipedia Harmonic mean百度百科：调和平均数百度百科：F1F_1F1分数优快云:机器学习中的F1-scorewikipedia Tversky indexTve...原创 2020-04-25 23:16:58 · 280 阅读 · 0 评论 -
机器学习基础：Dice Loss（Machine Learning Fundamentals: Dice Loss）
为了验证dice作为loss function，是否会被分割物体面积的大小所影响，设计本实验。原创 2020-04-25 23:21:19 · 1314 阅读 · 0 评论 -
机器学习基础：交叉熵损失（Machine Learning Fundamentals: Cross Entropy Loss）
前言交叉熵损失函数是分类问题里面一个非常常用的函数，本文就其物理意义进行两方面解读，一是从信息论的角度，另一个是从概率密度估计的角度来讲。信息论的角度在我本科的学习过程中，给我印象最深的理论要数傅里叶变换和香农信息论了，傅里叶变换让我们从另一个角度观察和理解世界，颠覆了我对信号和系统的认识。信息论让我对信息的解析和传递产生了极大的兴趣，因此我十分佩服傅里叶和香农（以上是题外话，哈哈）。...原创 2020-04-25 22:47:14 · 643 阅读 · 0 评论 -
以一定概率执行某段代码（Python实现）
简介在数据扩增中，我们希望程序以一定概率执行某个扩增的行为，比如图像翻转; 在deep-medic中提到使用一定概率做某件事(忘了干啥了)。因此这种以一定概率做某件事在生活中还是很常用的，发现这种做法其实很简单，这里参考 Augmentor中使用的方法，将此类问题记录下来。内容这里粘贴了自己写的一个类，主要参考第22行即可。 15 class ElasticTransform(objec...原创 2020-04-25 23:15:21 · 2154 阅读 · 0 评论 -
学习pytorch: 深度学习入门建议
本文主要介绍了使用pytorch作为框架入门深度学习。其中第1节(深度学习入门)内容较多，建议边看第1节边实践第2节(Pytorch入门)中的内容（主要是2.1和2.2）。原创 2019-05-14 18:50:09 · 3405 阅读 · 0 评论 -
CNN基础(1)
classification = score function + loss function +optimizationscore functionlinear nonlinear An example of mapping an image to class scores. For the sake of visualization, we assume the image only h原创 2017-05-16 23:08:21 · 362 阅读 · 0 评论 -
CNN基础(2)
Neural Network architecturesa mathematical model of neuronActivation FunctionsSigmoid σ(x)=1/(1+e−x)\sigma(x) = 1 / (1 + e^{-x}) Sigmoids saturate and kill gradientsSigmoid outputs are not zero-cen原创 2017-05-16 23:16:03 · 286 阅读 · 0 评论 -
CNN基础(3)
Convolutional Neural Networks (CNNs / ConvNets) 1. Local Connectivity(==local receptive fields==). 2. Parameter Sharing(==shared weights==). 3. ==sub-sampling==Convolutional LayerLocal Connectivity原创 2017-05-16 23:16:48 · 409 阅读 · 0 评论 -
迁移学习
Introduction 实际应用过程中很少有人从随机初始化权重开始训练网络，一是训练起来费时间，二是很少有人能够获得足够大是数据集，比如ImageNet(1.2million images with 100 categories) 这样数量级的数据库。因此实际应用过程中经常首先用ImageNet数据集上训练好的weights直接迁移到我们的任务中，这些权重或者作为我们继续优化的初始权重，原创 2017-05-07 20:35:11 · 287 阅读 · 0 评论 -
梯度下降Gradient descent
来源：http://cs231n.github.io/optimization-1/ 对于一个分类问题，可以概括为以下三部分: score function + lossfunction + optimization. 以图像分类为例，我们选择线性分类器，那么scorefunction可以写成如下形式： 同时Multiclass SupportVector Machine los原创 2017-04-28 16:35:26 · 1570 阅读 · 0 评论