随笔

文章目录1. 概念2.采样2.1 均匀分布采样2.2 离散分布2.3 接受拒绝采样(Acceptance-Rejection sampling)2.4 MCMC(Markov Chain Monte Carlo)采样2.5 重要性抽样(Importance sampling)2.6 吉布斯采样(Gibbs)3.参考1. 概念在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。而随机变量的取值落在某个区域之内的概率

文章目录1.线性回归1.1 什么是线性回归1.2 公式1.3 过拟合、欠拟合如何解决1.4 线性回归的输出y服从正态分布2.逻辑(斯谛)回归（logistic regression）2.1 什么是逻辑回归2.2 公式2.3 多分类2.4 逻辑回归的优点2.5 逻辑回归常用优化方法2.5.1 一阶方法2.5.2 二阶方法2.5.2.1 牛顿法2.5.2.2 拟牛顿法2.5 输入数据的特征为什么要进行离散化3.决策树3.1 分类决策树3.2 树的生成3.2.1 信息增益 - ID3：分类3.2.1.1 计算信息

文章目录神经网络的偏置项b的作用神经网络中的偏置项b到底是什么？前言基础回顾神经网络的偏置项神经网络的偏置项b的作用神经网络中的偏置项b到底是什么？前言很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1，使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误，比如漏了这个1，或者错误的将这个1加到W·X的结果上，导致模型出各种bug甚至无法收敛。究其原因，还是没有理解这个偏置项的作用啦。在文章《逻辑回归》和《从逻辑回归到神经网络》中，小

先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因”.

知乎优快云

"标准化"和"归一化"这两个中文词要指代四种Feature scaling(特征缩放)方法:1.缩放到均值为0，方差为1（Standardization——StandardScaler()）2.缩放到0和1之间（Standardization——MinMaxScaler()）3.缩放到-1和1之间（Standardization——MaxAbsScaler()）4.缩放到0和1之间，保留原始数据的分布（Normalization——Normalizer()）由于中文翻译，网上对于归一化和正则化的定

文章目录1.为什么机器学习的训练数据和测试数据要服从相同分布？2.为什么假设数据服从独立同分布3.汉明距离和编辑距离4.数据平滑1.为什么机器学习的训练数据和测试数据要服从相同分布？通俗理解：机器学习就是利用当前获取到的信息（或数据）进行训练学习，用以对未来的数据进行预测、模拟。所以都是建立在历史数据之上，采用模型去拟合未来的数据。因此需要我们使用的历史数据具有总体的代表性，所以历史数据(训练数据)和测试数据要服从相同分布。原文链接：https://blog.youkuaiyun.com/Metal1/arti