初沏的茶的博客

最大熵模型（一）基本概率熵熵是表示随机变量的不确定性的度量。熵越大，随机变量的不确定性越大。假设离散变量XXX的概率分布式P(X)P(X)P(X)，熵的定义为： H(p)=−∑i=1NpilogpiH(p)=−∑i=1NpilogpiH(p)=-\sum_{i=1}^{N}p_{i}logp_{i} 因∑i=1Npi=1∑i=1Npi=1\sum_{i=1}^{N} p_{i} =...

三硬币问题建模及Gibbs采样求解（Python实现）Gibbs采样原理介绍的文章有很多，但很少有Gibbs求解实际问题的例子。这篇博客通过三硬币问题，介绍如何用Gibbs采样求解实际问题。三硬币问题题目（摘自李航《统计学习方法》）：假设有3枚硬币，分别记做A，B，C。这些硬币正面出现的概率分别是π,p和q。进行如下掷硬币实验：先掷硬币A，根据其结果选出硬币B或C，正面选B，反面选硬币C；然...

在MovieLens 1M数据集上使用深度学习进行评分预测本文中的代码只是部分代码，完整项目代码下载地址：https://github.com/chuqidecha/movie_recommenderMovieLen 1M数据及简介MovieLens 1M数据集包含包含6000个用户在近4000部电影上的100万条评分，也包括电影元数据信息和用户属性信息。下载地址为：http://file...

环境: python 3.0+ seaborn 0.9.0+seaborn学习笔记-统计关系可视化之relplotseaborn学习笔记-类别数据可视化之catplotseaborn学习笔记-数据集上的分布可视化seaborn学习笔记-数线性关系可视化seaborn学习笔记-结构化多格网绘图seaborn学习笔记-图形样式调整seaborn学习笔记-颜色设置...

# Logistic回归（python实战）标签（空格分隔）： 机器学习—[Logistic 回归（理论篇）](https://blog.youkuaiyun.com/ChuQiDeCha/article/details/80671928)介绍了Logistic回归的原理及其公式推导，本篇主要通过Python实现Logistic回归。## Logistic回归带L2正则的目标函数...

skit-learn 线性回归实战线性回归API引入包import csvimport numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import...

线性回归（python实战）标签（空格分隔）： 机器学习线性回归目标函数线性回归（理论篇）中推导了线性回归的目标函数为： J(θ)=∑N(θx−y)2J(θ)=∑N(θx−y)2 J(\theta) = \sum^N(\theta x - y )^2梯度下降法求解参数梯度下降法迭代公式为： θ:=θ−α∑N(∑m(xiθi−yi)xi)θ:=θ−α∑N(∑m(x...

Logistic回归Logistic回归是一种经典的统计学分类方法，被广泛应用于生产环境中。本文主要介绍Logistic回归模型的原理以及参数估计、公式推导方法。Sigmoid函数(Logistic函数)Sigmoid函数的数学形式是： f(x)=11+e−xf(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}其函数图像如下： 其图形是一个S型曲线，关于(...

最大熵模型-极大似然估计最大熵模型（一）讲诉了最大熵原理以及最大熵模型定义，最大熵模型（二）讲诉了最大熵模型的学习及其公式推导，本篇讲诉最大熵模型的极大似然估计。最大熵模型Pw(y|x)=1Zwexp(∑i=1nwifi(x,y)))Pw(y|x)=1Zwexp(∑i=1nwifi(x,y)))P_{w}(y|x) =\frac{1}{Z_{w}}exp(\sum_{i=1}^{n}w...

线性回归（理论篇）线性模型线性模型（Linear Model）是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型。给定一个n维样本x=[x1,x2,⋅⋅⋅,xn]Tx=[x1,x2,···,xn]T\textbf{x} =[x_{1},x_{2},···,x_{n}]^{T}，其线性组合函数为: hθ(x)=θ1x1+θ2x2+⋅⋅⋅+θnxn+b=(θ;b)T(x;...

最大熵模型 - 最大熵模型的学习对于给定的训练数据集T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN)}T={(x1,y1),(x2,y2),⋅⋅⋅,(xN,yN)}T=\{(x_{1},y_{1}),(x_{2},y_{2}),\cdot\cdot\cdot,(x_{N},y_{N})\}以及特征函数fi(x,y)fi(x,y){f_{i}(x,y)}，最大熵模型的学习等价于约束最...

目录从三硬币问题到主题模型（LDA）1+K个多面体问题分析与建模Gibbs采样求解从三硬币问题到主题模型（LDA）三硬币问题建模及Gibbs采样求解（Python实现）一文中详细介绍了三硬币问题的建模和使用Gibbs采样求解的方法。如果把三枚硬币换成一个N面体和N个M面体呢？1+K个多面体问题假设1+N个多面体，第一个多面体记为A，有K个面，每个面由1～K的数字标识，每个面朝上的概率p⃗=...