图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

简介本人最初学习ML，是从大三开始的，当初参考的就是机器学习实战这本书，当时也是学的很迷糊，知道现在感觉自己很多东西依旧不会，因此准备把之前学过的内容进行总结基础 【竞赛介绍】-ML常见的比赛有ILSVRC和COCO 【Tensorflow-张量理解和使用】 TF模型文件查看与使用 【回归问题的评价指标】RMSE+MSE+MAE+SD 【评价指标-AUC】-样本分布不均下最佳 【多分类指标-Macro-F1 与Micro-F1】-多分类指标

小白入门经典梯度下降方法（含实现）

机器学习中的二分类、多分类和多标签任务（损失函数，encoder）

深度学习和自然科学：完美结合

时序资料汇总：模型和常见库对比

回忆本科曾首次参加数学建模则获排名第一的特等奖

转载 卢明冬参考https://www.cnblogs.com/yumoye/p/11055813.htmlhttp://www.elecfans.com/d/722425.html深度学习论文 - Cyclical Learning Rates for Training Neural Networks（pytorch-CLR实现）https://blog.youkuaiyun.com/weixin_41993767/article/details/87934941（NN训练 trick -..

转载https://blog.youkuaiyun.com/juronghui/article/details/78612653本文参考：https://www.zhihu.com/question/32673260一般来说，在合理的范围之内，越大的 batch size 使下降方向越准确，震荡越小；batch size 如果过大，则可能会出现局部最优的情况。小的 bath size 引入的随机性更大，难以达到收敛，极少数情况下可能会效果变好。谈谈深度学习中的 Batch_SizeBatch_Size.

知乎 ｜https://zhuanlan.zhihu.com/p/335191534前言：入门机器学习必须了解梯度下降法，虽然梯度下降法不直接在机器学习里使用，但是它的思维方式是后续学习其他算法的基础。网上已有的文章要么整一堆数学公式，要么就是简单草草了事。本篇文章用讲解+实战的形式，浅显易懂讲解，拥有高中数学知识即可看懂。1. 引入我们先从一个案例入手，下图是一组上海市静安区的房价信息别看了，数据我瞎编的，上海静安的房价不可能这么便宜我们用Python在坐标系上面画出来如下图：.

目录1、简介2、理解核函数定义简介理解与线性核相比3、简单实现4、参考1、简介已知有一组向量，可用线性函数去探索其是否具有线性关系，若数据之间是非线性呢？非线性数据是指只有利用非线性模型才能更好的预测。但非线性问题往往不好求解，所以希望用解线性分类问题的方法解决这个问题。所采取的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。原理是将数据映射到高维数据，在高维空间线性可分。如下图，从低维转换到高维，φ是转换函

整理自目录PyTorch神经网络工具箱神经网络核心组件实现神经网络实例背景说明实现总结PyTorch神经网络工具箱利用PyTorch的数据结构及自动求导机制可以大大提高我们的开发效率。本章将介绍PyTorch的另一利器：神经网络工具箱。利用这个工具箱，设计一个神经网络就像搭积木一样，可以极大简化我们构建模型的任务。神经网络核心组件神经网络看起来很复杂，节点很多，层数多，参数更多。但核心部分或组件不多，把这些组件确定后，这个神经网络基本就确定了。这些核心组件包.

官方手册参考目录Tensor与Autograd自动求导要点计算图标量反向传播非标量反向传播使用Numpy实现机器学习使用Tensor和Autograd实现机器学习小结Tensor与Autograd在神经网络中，一个重要内容就是进行参数学习，而参数学习离不开求导，那么PyTorch是如何进行求导的呢？torch.autograd包就是用来自动求导的。Autograd包为张量上所有的操作提供了自动求导功能，而torch.Tensor和torch.Function

参考PyTorch基础PyTorch是Facebook团队于2017年1月发布的一个深度学习框架，虽然晚于TensorFlow、Keras等框架，但自发布之日起，其关注度就在不断上升，目前在GitHub上的热度已超过Theano、Caffe、MXNet等框架。PyTorch采用Python语言接口来实现编程，非常容易上手。它就像带GPU的Numpy，与Python一样都属于动态框架。PyTorch继承了Torch灵活、动态的编程环境和用户友好的界面，支持以快速和灵活的方式构建动态神经网络，还允许

转载目录是什么为什么怎么做对输入进行mask对模型中间进行mask对loss进行mask总结是什么mask矩阵是什么？是一个由0和1组成的矩阵（其中mask矩阵中1代表真实数据；0代表padding数据。）。一个例子是，在自然语言处理(NLP)中，句子的长度是不等长的，但因为我们经常将句子组成mini-batch用以训练，因此那些长度较短的句子都会在句尾进行填充0，也即padding的操作。一个mask矩阵即用以指示哪些是真正的数据，哪些是padding。如：图

1）autoencoder autoencoder是一种无监督的学习算法，他利用反向传播算法，让目标值等于输入值。如图所示： Autoencoder尝试学习一个 的函数。也就是说autoencoder尝试逼近一个恒等函数，使得输出接近于输入 。当然为了使这个函数有意义，需要加入一些限制条件（比如说限制隐藏神经元的数目），就可以发现一些有意义的结构。Autoencoder可以学习到数据的一些压缩表示。...

转载 https://blog.youkuaiyun.com/u013019431/article/details/93138953还可参考https://www.zhihu.com/question/39840928【AUC】AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。

转载 https://blog.youkuaiyun.com/lyb3b3b/article/details/84819931还可参考https://www.cnblogs.com/techengin/p/8962024.htmlhttps://zhuanlan.zhihu.com/p/64315175https://blog.youkuaiyun.com/qq_43190189/article/details/105778058https://blog.youkuaiyun.com/sinat_28576553/article/d

目录介绍超参数内容1. 传统手工搜索2. 网格搜索3. 随机搜索4. 贝叶斯搜索总结介绍维基百科上说，“Hyperparameter optimization或tuning是为学习算法选择一组最优的hyperparameters的问题”。ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。超参数调优的越好，得到的模型就越好。调优超参数可能是非常乏味和困难的，更像是一门艺术而不是科学。超参数超参数是在建立模型时用于.

转载 CameraZhangALin   跟传统的监督式机器学习算法相比，深度神经网络目前最大的劣势是什么？ 贵。 尤其是当我们在尝试处理现实生活中诸如图像识别、声音辨识等实际问题的时候。一旦你的模型中包含一些隐藏层时，增添多一层隐藏层将会花费巨大的计算资源。 庆幸的是，有一种叫做“迁移学习”的方式，可以使我们在他人训练过的模型基础上进行小改动便可投入使用。在这篇文章中，我将会讲述如何使用预训练模

转载 机器之心 在线深度学习的主要困难是模型的容量、复杂度等设置很不灵活，即模型是静态的，而数据流是动态的。本论文提出了一种适应性的网络框架，结合 HBP 算法，使网络结构能随着数据的流入而逐渐扩展、复杂化。这使得模型同时拥有在线学习和深度学习的优点，并在多种在线学习模型和数据集的对比实验中都取得了当前最佳结果。 近年来，我们见证了深度学习技术在很多应用中的巨大成功。学习深度神经网络面

转载 https://blog.youkuaiyun.com/weixin_44402973/article/details/95048196 机器学习中的两大类参数： 超参数：在模型训练之前需要设置的参数，而不是通过训练得到的参数数据。比如：学习率，深层神经网络隐藏层数。 模型参数：模型要学习的参数，比如：权重W和偏置b，其是在网络训练过程中自动学习和更新。 在深度学习中，在我们搭建好神经网络模型之后，最

转载 https://blog.youkuaiyun.com/u014365862/article/details/54728707?utm_source=blogxgwz0 为了感谢大神，我是跪在电脑前fork的。问题描述与动机：大家都知道的，其实我们就是在给定的图像像素向量x和对应的函数，然后我们希望能够计算在上的梯度()我们之所以想解决这个问题，是因为在神经网络中，对应损失函数，而输入则对应训练样本数据和神经网

转载 https://blog.youkuaiyun.com/hongbin_xu/article/details/80271291 前言最近一直比较忙，总算才有时间看点深

转载https://blog.youkuaiyun.com/zziahgf/article/details/79614822 论文理解 - VGGNet - Very Dee

转载https://blog.youkuaiyun.com/qq_32172681/article/details/94627366 训练过程中的本质就是在最小化损失，在定义损失之后，接下来就是训练网络参数了，优化器可以让神经网络更快收敛到最小值。本文介绍几种 tensorflow 常用的优化器函数。 1、GradientDesce

转载 https://blog.youkuaiyun.com/qq_35495233/article/details/83514126另外，重点参考https://www.jianshu.com/p/4130bac8ebec 了解ARIMA模型，就需要先了解数据的一个平稳性。1. 平稳性：平稳性就是要求经由样本时间序列所得到的拟合曲线，在未来

转载 https://blog.youkuaiyun.com/FrankieHello/article/details/82024526/分类问题的评价指标是准确率，那么回归算法的评价指标就是MSE，RMSE，MAE、R-Squared。其中，重要参考https://www.jianshu.com/p/9ee85fdad150平均绝对误差MAE（mean absolute error） 和均方根误差 RMSE（root mean squared error)是衡量变量精度的两个最常用的指标

转载 https://blog.youkuaiyun.com/zaf0516/article/details/89452912 在本教程中，我将会解释：TensorFlow模型是什么样的？ 如何保存TensorFlow模型？ 如何恢复预测/转移学习的TensorFlow模型？ 如何使用导入的预先训练的模型进行微调和修改?这个教程假设你已经

目录张量的概念如何使用张量转载TensorFlow深度学习算法原理与编程实战 - 知乎大家好，我们的小鲸1号由于半夜太饿偷吃了老板的榨菜，今天早上已经被拖出去了，今天上岗的小鲸2号灰常灰常高级，来给大家讲讲深度学习算法~怀念小鲸1号请点爱过（看过~）今天给大家开始讲tensorflow方面的有关知识，tensorflow是目前一款十分流行的深度学习程序设计的框架工具，下面我们先对它做一个简要的介绍。Tensorflow是由 Google开发，是GitHub上最受欢迎的机器学习库之一。.

1、ILSVRC竞赛详细介绍（ImageNet Large Scale Visual Recognition Challenge）ILSVRC（ImageNet Large Scale Visual Recognition Challenge）是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一，代表了图像领域的最高水平。ImageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导，包含了超过1400万张全尺寸的有标记图片。ILSVRC比赛会每年从ImageNet数据集中抽出

引言：机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的或非线性的。目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。之所以...

#! /usr/bin/env python # -*- coding:utf-8 -*- #====#====#====#==== '''基于Pytorch的LeNet的MNIST手写数字识别Python代码实现代码步骤 1）导入各种包 2）定义超参数（包括-批大小batch_size、学习速率learing_rate即lr、迭代次数即遍历数据集次数num_epoches等）+ 判断使用cpu还是GPU 3）数据集处理：定义数据集-下载（最好提前下载好！！！），.

到底什么是可扩展性？这年头，作为软件设计架构师如果系统没有可扩展性对外交流时都不好意思。但是如何选择可扩展性方案？水平扩展还是垂直扩展？是不是很矛盾呢，本文为你分析可扩展性的真实含义和实际项目中的取舍。        每每和别人提及可扩展性的含义时，很多人开始讨论提高性能，实施高可用性，甚至谈论特定的技术或协议。显然这些并不是可扩展性。不要误会，您当然需要了解关于...

转载 https://blog.youkuaiyun.com/kellyroslyn/article/details/82668733参考https://my.oschina.net/u/876354/blog/1626639https://www.cnblogs.com/pythonlearing/p/9979161.html具有层次结构的数学算法：                 神经网络  &nbsp

转载 https://blog.youkuaiyun.com/fjssharpsword/article/details/79352222参考https://www.cnblogs.com/kemaswill/p/3269138.htmlhttps://blog.youkuaiyun.com/weixin_42137700/article/details/81610145https://baijiahao.baidu.com/s?id=1599798281463567369&wfr=spider&for=p

转载 https://blog.youkuaiyun.com/xiaoding133/article/details/9079103           摘  要： 本文主要对MLP、RBF、SVM三种神经网络进行了详细的分析与讨论，从三种网络的结构、学习算法、功能和性能等方面进行了比较。同时

"""参考文章http://www.jianshu.com/p/a8ae004cf4f4https://www.shiyanlou.com/courses/777实验楼http://blog.youkuaiyun.com/niuwei22007/article/details/49703719http://blog.youkuaiyun.com/quincuntial/article/details/50471

参考文章：http://blog.youkuaiyun.com/scut_arucee/article/details/50261739http://blog.youkuaiyun.com/u014771160/article/details/44308091一 背景介绍正所谓识别手写数字（这里仅限0-9，因为我们的数据有限），就是说我们在一块画布上面，然后让这个算法识别这个数

1 算法概述1.1 算法特点简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、空间复杂度高适用数据范围：数值型和标称型1.2 工作原理存在一个训练样本集，并且每个样本都存在标签（有监督学习）。输入没有标签的新样本数据后，将新数据的每个特征与样本集中数据对应的特征进行