Machine Learning学习笔记
关注
分享
扫一扫
文章平均质量分 90
AI大模型前沿研究
软件工程硕士，机器学习&深度学习爱好者，忘记背后，努力面前，向着标杆直跑！
展开
-
【腾讯云Cloud Studio实战训练营】Claude GPT+Cloud Studio完成Excel工资自动核算
2022年12月 OpenAI 推出 ChatGPT 以来，国内外掀起了大型语言模型（LLM）AI的热潮，ChatGPT是OpenAI研发的大规模预训练语言模型,采用了先进的 transformer 架构,拥有1750亿个参数,能够进行多轮自然语言对话。ChatGPT的回复流畅逼真,但存在生成错误信息的风险。2023年8月,Anthropic公司推出了ChatGPT的进化版本Claude,使用更先进的训练技术,目标是生成更准确可靠的回复。原创 2023-08-11 00:05:12 · 725 阅读 · 0 评论 -
如何简单理解贝叶斯决策理论(Bayes Decision Theory)？
如何简单理解贝叶斯决策理论(Bayes Decision Theory)？ 内容来源于知乎大神：如何简单理解贝叶斯决策理论(Bayes Decision Theory)？转载 2020-04-18 16:49:32 · 755 阅读 · 0 评论 -
〖机器学习白板推导1〗样本均值&样本方差&PCA！
〖机器学习白板推导1〗样本均值&样本方差！ 文章目录一. 样本均值二. 样本方差三. 中心矩阵的性质 本文整理自b站大神【机器学习】【白板推导系列】 首先假设样本集 XN×p=(x1,…,xn)T\boldsymbol X_{N \times p}=(\boldsymbol x_{1}, \ldots, \boldsymbol x_{n})^TXN×p=(x1,…,xn)T，...原创 2020-03-28 21:59:03 · 1303 阅读 · 0 评论 -
〖TensorFlow2.0笔记24〗生成式对抗网络(GAN)原理讲解以及实战！
对抗生成网络！ 文章目录一、GoogleNet-Iception V1(2014)介绍1.1、为什么提出Inception1.2、Inception模块介绍可以先参考一下我之前写过的一篇博客的介绍：第6章视觉分类任务一、GoogleNet-Iception V1(2014)介绍这篇论文之前的卷积神经网络的性能提高都是依赖于提高网络的深度和宽度，而这篇论文是从网络结构上入手，改变了网络...原创 2019-12-14 17:38:14 · 2282 阅读 · 2 评论 -
『论文笔记』ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks！
ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks！ 文章目录一. 摘要二. 研究背景本文文章来自ICCV2019: 通过非对称卷积块增强CNN的核骨架。论文地址：https://arxiv.org/abs/1908.03930v1代码开源在：https:/...原创 2019-12-11 09:37:10 · 3421 阅读 · 4 评论 -
〖ML笔记〗信息量、信息熵、交叉熵、KL散度(相对熵)、JS散度以及逻辑损失+面试知识点！
Cross-entropy，Logistic loss和K-L divergence的关系！ 文章目录一、Cross-entropy(交叉熵)！二、K-L divergence！三、Logistic loss！开始之前可以先看一下我之前的文章：信息熵，交叉熵，相对熵等！假设两个概率分布 p(x)p(x)p(x) 表示真实分布 和 q(x)q(x)q(x) 表示预测的分布， H(p,q)H(...原创 2020-02-08 21:50:41 · 1145 阅读 · 0 评论 -
『论文笔记』基于度量学习的行人重识别方法中损失函数总结！
基于度量学习的行人重识别方法中损失函数总结！ 文章目录一、对比损失(Contrasive loss)二、三元组损失(Triplet loss)三、四元组损失(Quadruplet loss)参考文献一、对比损失(Contrasive loss)对比损失(Contrasive loss)用于训练孪生网络(Siamese network)。孪生网络的输入为一对(两张)图片 IaI_aIa 和...原创 2019-11-19 16:13:58 · 3792 阅读 · 0 评论 -
『ML笔记』matlab中将数据集(cuhk03为例).mat格式的图片批量转换为.png(.jpg)格式的图片！
matlab中将数据集(cuhk03为例).mat格式的图片批量转换为.png(.jpg)格式的图片！ 文章目录一. matlab中将数据集(cuhk03为例).mat格式的图片批量转换为.png(.jpg)格式的图片！一. matlab中将数据集(cuhk03为例).mat格式的图片批量转换为.png(.jpg)格式的图片！这里以 cuhk03 数据集为例子，下面是数据集存储格式;...原创 2019-11-12 10:01:49 · 3525 阅读 · 4 评论 -
〖TensorFlow2.0笔记22〗使用Numpy在MNIST数据集上实现3层BP神经网络!
Numpy实战BP神经网络! 文章目录一、Numpy实战BP神经网络!1.1、回顾之前的知识1.2、无监督学习一、Numpy实战BP神经网络!1.1、回顾之前的知识注意：python中的zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。zip 语法：zip([iterable, …])； 返回元组列表。>>&...原创 2019-06-01 22:04:11 · 2047 阅读 · 0 评论 -
『ML笔记』K近邻(KNN)学习+度量学习(Metric Learning)！
K近邻(KNN)学习+度量学习(Metric Learning)！ 文章目录一. K\mathrm KK 近邻(KNN)学习1.1. k\mathrm kk 近邻算法的基本概念1.2. k\mathrm kk 近邻算法中 k\mathrm kk 的选取1.3. 距离的度量标准二. 度量学习(Metric Learning)2.1.一. K\mathrm KK 近邻(KNN)...原创 2019-10-27 15:53:47 · 2020 阅读 · 0 评论 -
『论文笔记』TensorFlow1.8.0+Python3.6+CUDA-9.0+Faster-RCNN训练自己的数据集!
Tensorflow1.6.0+Keras 2.1.5+Python3.5+Yolov3训练自己的数据集! 文章目录前期准备一. Faster-RCNN简要介绍1.1. Faster-RCNN网络结构图前期准备主要参考github代码 ：https://github.com/CharlesShang/TFFRCNN主要参考优快云文章1：https://blog.youkuaiyun.com/Pat...原创 2020-01-03 13:48:43 · 832 阅读 · 0 评论 -
『ML笔记』HOG特征提取原理详解+代码
图像特征提取之HOG特征详解！ 文章目录一、HOG特征介绍！1.1、算法简要流程1.2、算法具体流程1.2.1 灰度化和gamma矫正参考文章一、HOG特征介绍！HOG特征即(Histogram of oriented gradients方向梯度直方图)，源于2005年一篇CVPR论文，使用HOG+SVM做行人检测，由于效果良好而被广泛应用。大体效果如下，具体使用HOG+SVM做行人检测...原创 2019-10-15 21:46:47 · 10052 阅读 · 6 评论 -
『论文笔记』目标追踪结合相关滤波器资料收集+机器学习基础知识补充！
目标追踪结合相关滤波器资料！ 文章目录一、收集的目标追踪资料1.1. 相关滤波器用于跟踪的原理1.2. Visual Object Tracking using Adaptive Correlation Filters(MOSSE)5.2. High-Speed Tracking with Kernelized Correlation Filters(KCF)一、收集的目标追踪资料主要参考下...原创 2019-10-14 14:29:40 · 1082 阅读 · 0 评论 -
『论文笔记』TensorFlow1.6.0+Keras 2.1.5+Python3.5+Yolov3训练自己的数据集!
Tensorflow/keras+Python+Yolov3训练自己的数据集! 文章目录一、参考代码二、训练前准备1.1. 下载Pascal VOC20071.2. 修改参数文件yolo3.cfg1.3. 修改model_data下的文件二、训练数据集train.py一、参考代码主要参考代码：https://github.com/qqwweee/keras-yolo3主要参考文章： h...原创 2019-10-12 22:31:56 · 2133 阅读 · 11 评论 -
『tensorflow笔记』Win10系统下使用Anaconda安装TensorFlow以及linux上面卸载Anaconda操作
目录一、什么是Anaconda？二、安装Anaconda三、安装Tensorflow四、（补充）linux上anaconda的卸载一、什么是Anaconda？简单来说，Anaconda是一个包管理器和环境管理器。当安装好Anaconda并开始运行时，就会发现我们电脑里面安装好的环境和依赖包都可以在Anaconda里面找到，管理（安装、更新、卸载等）起来简直不能再方便。而且A...原创 2018-11-15 11:25:08 · 1694 阅读 · 3 评论 -
『矩阵论笔记』约束优化方法之拉格朗日乘子法与KKT条件
约束优化方法之拉格朗日乘子法与KKT条件文章目录一、无约束优化二、等式约束优化三、不等式约束优化四、参考文献在约束最优化问题中，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解，所...原创 2019-04-02 15:10:26 · 4165 阅读 · 0 评论 -
『ML笔记』字典学习3(Dictionary Learning，KSVD)
文章目录一、字典学习数学模型1.1、数学描述1.2、求解问题1.3、字典学习算法实现字典学习也是一种数据降维的方法，这里我用到SVD的知识，对SVD不太理解的地方，可以看看这篇博客一、字典学习数学模型字典学习的思想应该源来实际生活中的字典的概念。字典是前辈们学习总结的精华，当我们需要学习新的知识的时候，不必与先辈们一样去学习先辈们所有学习过的知识，我们可以参考先辈们给我们总结的字典，通过查阅...原创 2019-03-30 22:36:17 · 6677 阅读 · 6 评论 -
『矩阵论笔记』雅可比矩阵(Jacobian)和海森矩阵(Hessian)
文章目录一、 Jacobian二、雅可比矩阵2.1、雅可比行列式三、 海森Hessian矩阵3.1、海森矩阵在牛顿法中的应用3.1.1、 泰勒公式3.1.2、 求解方程3.1.3、 最优化一、 Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入...原创 2019-03-30 14:17:20 · 14954 阅读 · 5 评论 -
『ML笔记』深入浅出字典学习2(Dictionary Learning)
文章目录一、理解K-SVD字典学习二、K-SVD字典学习算法概述2.1、随机初始化字典D2.2、固定字典，求取每个样本的稀疏编码2.3、逐列更新字典、并更新对应的非零编码一、理解K-SVD字典学习字典学习也可简单称之为稀疏编码，字典学习偏向于学习字典DDD。从矩阵分解角度，看字典学习过程：给定样本数据集YYY，YYY的每一列表示一个样本；字典学习的目标是把YYY矩阵分解成DDD、XXX矩阵：...原创 2019-03-21 15:30:48 · 12777 阅读 · 0 评论 -
『linux笔记』Ubuntu16.04 + Python3.7下libsvm安装使用小结，附加：win10安装！
目录一、libsvm的简单介绍二、安装三、测试四、libsvm使用详细介绍五、win10中安装libsvm介绍一、libsvm的简单介绍libsvm是台湾大学林智仁(Chih-Jen Lin)教授等开发，它主要用于分类(支持二分类和多分类)和回归，主页老师主页链接，下载网站是下载链接，目前更新到3.23版本。二、安装我是在Ubuntu16.04环境下使用...原创 2019-03-12 17:28:43 · 1554 阅读 · 0 评论 -
『ML笔记』Support Vector Domain Description(SVDD)支持向量数据域描述
想要深度理解可以参考这个论文链接一、算法背景： 图片：算法描述后来人们提出了一种想法，我在数据集上，画一个圆（超球体），使得这个圆尽可能小，但是又尽可能囊括多的数据点。 这就是典型的矛盾目标优化问题。因为圆尽可能小，就包的数据点就有可能会减少。同样想要包更多的点就需要一个更大的圆。那么针对这种问题，我们一般给出自己衡量目标的指标，然后写个目标函数优化就好了嗯。（PS：大部分算法的结果就在...原创 2019-03-15 11:39:01 · 2940 阅读 · 0 评论 -
『ML笔记』深入浅出字典学习1(Dictionary Learning)
目录一、预备知识二、字典学习以及稀疏表示的概要2.1、我们为什么需要字典学习？2.2、我们为什么需要稀疏表示？三、下一节参考文献一、预备知识稀疏向量：假设向量中的元素绝大部分为零元素，则称该向量是稀疏的。稀疏表示：将原始信号表示为在适当选取的一组过完备基（字典）上的稀疏线性组合，即信号的稀疏表示，其中为字典中的原子。过完备基的意思是其中的原子数大大的超过原...原创 2019-02-27 16:08:42 · 21365 阅读 · 3 评论 -
『ML笔记』Matlab中如何使用libsvm进行分类
文章目录一、 入门案例1.1、分类的小例子--根据身高体重进行性别预测一、 入门案例1.1、分类的小例子–根据身高体重进行性别预测本博客针对刚刚接触libsvm（svm）的同学如何利用libsvm进行分类预测，关于参数寻优的问题在这里姑且不谈，另有帖子详述。如果没有安装libsvm；参考博客 libsvm安装使用小结 其实使用libsvm进行分类很简单，只需要有属性矩阵和标签，然后就可...原创 2019-04-03 14:14:07 · 8555 阅读 · 1 评论 -
『论文笔记』Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks!
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks!文章目录一、Introduce1.1、R-CNN and SPPnet1.2、Contributions继2014年的RCNN之后，Ross Girshick在15年推出Fast RCNN，构思精巧，流程更为紧凑，大幅提升了目标检测的速...原创 2019-05-20 20:54:49 · 605 阅读 · 0 评论 -
『DL笔记』Ubuntu16.04安装cuda-8.0+cudnn5.1+opencv-3.1+caffe+本地浏览器访问服务器jupyter notebook设置
Ubuntu16.04安装cuda-8.0+cudnn+opencv-3.1+caffe教程！ 文章目录一、安转cuda+cudnn1.1、安转cuda1.2、安转cudnn二、安转opencv-3.1三、安转caffee一、安转cuda+cudnn1.1、安转cuda1.2、安转cudnn二、安转opencv-3.1进入官网链接 , 选择 3.1.0 版本的 source , 下载 ...原创 2019-10-07 14:55:56 · 788 阅读 · 1 评论 -
『ML笔记』多类支持向量机损失 Multiclass Support Vector Machine Loss+Python代码实战Mnist数据集
SVM, Softmax损失函数总结！ 文章目录一、SVM多分类问题1.1、损失函数二、k-means聚类算法2.1、处理过程卷积神经网络进行分类任务时，往往使用以下几类损失函数： 1. 平方误差损失；2. SVM损失；3. softmax损失。其中，平方误差损失在分类问题中效果不佳，一般用于回归问题。softmax损失函数和SVM(多分类)损失函数在实际应用中非常广泛。本文将对这两种损失函...原创 2019-10-01 19:44:17 · 2562 阅读 · 1 评论 -
『ML笔记』k-means聚类算法讲解+手写python实现+调用sklearn实现！
k-means聚类算法！ 文章目录一、聚类算法二、k-means聚类算法2.1、处理过程2.2、简单举例一、聚类算法对于"监督学习"(supervised learning)，其训练样本是带有标记信息的，并且监督学习的目的是：对带有标记的数据集进行模型学习，从而便于对新的样本进行分类。而在“无监督学习”(unsupervised learning)中，训练样本的标记信息是未知的，目标是通过对...原创 2019-07-19 16:20:39 · 6220 阅读 · 6 评论 -
Darknet框架1：YOLOV3-Darknet环境搭建+训练COCO数据集了解！
YOYO V3检测模型的环境搭建！ 文章目录一、Darknet二、训练YOLO V3关注2个点2.1、网络配置文件.cfg2.2、权值文件.weights三、Darknet的安装配置一、Darknet 简要介绍：一种较为轻型的完全基于C和CUDA的开源深度学习框架。容易安装，没有任何的依赖项，移植性非常的好，支持CPU和GPU两种计算方式。Darknet官网：https://pjre...原创 2019-07-06 18:33:59 · 6809 阅读 · 1 评论 -
〖TensorFlow2.0笔记20〗GoogleNet-Iception实现Fashion mnist图像分类+BN介绍！
过拟合！ 文章目录一、GoogleNet-Iception V1(2014)介绍1.1、为什么提出Inception1.2、Inception模块介绍1.3、Inception作用1.4、googLeNet-Inception V1结构max pooling后分别加上了1x1的卷积核起到了降低feature map厚度的作用。二、GoogleNet-Iception V2介绍2.1、Batch ...原创 2019-07-11 15:18:40 · 3264 阅读 · 4 评论 -
Darknet框架2：YOLOV3-使用Darknet训练检测自定义模型+COCO数据集！
yolov3检测模型之darknet环境搭建+训练ms coco数据集！ 文章目录一、YOLOV3网络结构二、YOLOV3 Darknet 编译2.1、Clone项目文件2.2、根据环境，修改Makefile 文件2.3、项目编译2.4、测试三、YOLOV3 训练自定义数据3.1、数据准备3.2、训练数据集文件3.3、数据集配置3.4、模型训练3.5、模型简单测试四、YOLOV3 训练 COCO...原创 2019-07-08 23:36:54 · 8119 阅读 · 6 评论 -
『自己的工作4』TensorFlow2.0自动微分和手工求导的结果对比！
文章目录一、公式推导1(预习)一、公式推导2二、代码实现：一、公式推导1(预习)一、公式推导2二、代码实现：数据集Iris,如下 one.txt5.1,3.5,1.4,0.2,Iris-setosa4.9,3.0,1.4,0.2,Iris-setosa4.7,3.2,1.3,0.2,Iris-setosa4.6,3.1,1.5,0.2,Iris-setosa5...原创 2019-11-28 19:53:31 · 976 阅读 · 0 评论 -
『ML笔记』随机梯度下降法(Stochastic gradient descent, SGD)、BGD、MSGD+Momentum
随机梯度下降法(Stochastic gradient descent, SGD)+python实现！ 文章目录一、设定样本二、梯度下降法原理一、设定样本假设我们提供了这样的数据样本（样本值取自于y=3x1+4x2y=3x_{1}+4x_{2}y=3x1+4x2）：x1x_{1}x1x2x_{2}x2yyy141925265119...原创 2019-06-04 19:52:09 · 6588 阅读 · 2 评论 -
『ML笔记』PCA(Principal Component Analysis)降维全面解读+python实现！
PCA(Principal Component Analysis)降维+python实现！ 文章目录一、数据降维二、`PCA`主成分分析原理一、数据降维许多机器学习问题涉及训练实例的几千甚至上百万个特征，这不仅导致训练非常的缓慢，也让我们很难找到好的解决方案。这个问题通常称为维度诅咒！幸运的是，对现实世界的问题，我们一般可以大量减少特征的数量，将棘手的问题转化为容易解决的问题。例如，MNIS...原创 2019-06-09 15:46:17 · 940 阅读 · 0 评论 -
『DL笔记』替换conda加速，设置阿里云pip源，加速pip命令更新速度！
随机梯度下降法(Stochastic gradient descent, SGD)+python实现！ 文章目录一、`Linux操作系统设置pip加速`二、`Windows操作系统设置pip加速`一、Linux操作系统设置pip加速当前用户目录下，新建.pip文件夹！mkdir ~/.pip进入该目录，新建一个文件pip.conf,这里我使用下面的命令，方式比较多，自己选择！...原创 2019-06-08 23:40:28 · 9483 阅读 · 0 评论 -
『论文笔记』(SSPNet)Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition!
(SSPNet)Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition!文章目录一、RCNN算法存在的不足1.1、为什么要固定输入图片的大小？一、准备工作1.1、SVM 原型算法这篇论文出自2015年发表在IEEE上的论文-《Spatial Pyramid Pooling in Deep Co...原创 2019-05-18 20:39:17 · 1053 阅读 · 0 评论 -
『DL笔记』dropout正则化（Dropout Regularization）
dropout正则化（Dropout Regularization）为了防止过拟合的问题，除了使用L2正则化，还有一个非常实用的正则化方法--“Dropout Regularization(随机失活或者翻译为丢弃)”,dropout正则化是Srivastava在2014年提出来的Dropout: A Simple Way to...原创 2019-01-21 14:31:40 · 2664 阅读 · 1 评论 -
『吴恩达笔记』课程中的Octave语法总结。
目录一、简介二、基础操作2.1、行向量：空格或者逗号分割。2.2、列向量：分号分割。2.3、矩阵:三、数据处理四、矩阵的运算四、绘图数据五、控制语句：for,while,if语句六、函数定义一、简介Octave是一个科学计算及数值分析的工具，和Matlab类似，不过Octave是开源并且免费的，占用空间小。而Matlab包含大量面向各种应用领域的工具...原创 2018-10-23 13:45:33 · 1581 阅读 · 0 评论 -
『ML笔记』机器学习中的协方差矩阵的深入理解！
目录1、统计学的定义2、协方差矩阵的由来3、MATLAB实战练习4、心得感悟1、统计学的定义学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn}，依次给出这些概念的公式描述。均值：均值描述的是样本集合的中间点，它告诉我们的信息是很有限的。标准差：标准差述的则是样本集合的各个样...原创 2018-11-19 18:52:19 · 3346 阅读 · 3 评论 -
『ML笔记』梯度下降法和随机梯度下降法和小批量梯度对比
目录1、 梯度下降法（gradient descent）2、 随机梯度下降（Stochastic gradient descent）3、 小批量梯度下降（Mini-Batchgradient descent）4、下面三种算法优缺点对比：1、梯度下降法（gradient descent）对于梯度下降法如果训练样本集特别大（假设为样本3亿：表示在美国大学3亿人口，因此美国的...原创 2018-11-22 19:10:14 · 4816 阅读 · 0 评论 -
『ML笔记』机器学习中经常所说的鲁棒性
在机器学习领域，总是看到“算法的鲁棒性”这类字眼，比如这句--L1范数比L2范数鲁棒。Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念：模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求； 对于模型假设出现的较小偏差，只能对算法性能产生较小的影响；主要是：噪声（noise） 对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响；主要是：离...原创 2018-11-25 22:40:32 · 10772 阅读 · 0 评论