<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[hongwei的博客]]></title><description><![CDATA[人工智能]]></description><link>https://blog.youkuaiyun.com/weixin_41566471</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_41566471]]></copyright><item><title><![CDATA[python调用C++程序]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/124084936</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/124084936</guid><author>weixin_41566471</author><pubDate>Sun, 10 Apr 2022 20:27:30 +0800</pubDate><description><![CDATA[python调用C++程序]]></description><category></category></item><item><title><![CDATA[python调用C程序]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/124075987</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/124075987</guid><author>weixin_41566471</author><pubDate>Sun, 10 Apr 2022 12:43:40 +0800</pubDate><description><![CDATA[python调用C语言程序]]></description><category></category></item><item><title><![CDATA[机器学习之支持向量机(SVM)]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/107425410</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/107425410</guid><author>weixin_41566471</author><pubDate>Wed, 12 Aug 2020 15:38:42 +0800</pubDate><description><![CDATA[支持向量机是一种二分类模型。有简至繁：

线性可分支持向量机(linear support vector machine in linearly separate case),当训练数据线性可分时，可以通过硬间隔最大化，学习一个线性分类器。
线性支持向量机(linear support vector machine)，当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器。
非线性支持向量机(non-linear support vector machine)，当训练数据不可分时，通过使用核技巧及软间.]]></description><category></category></item><item><title><![CDATA[深度学习之Skip-Gram和CBOW原理]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106910309</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106910309</guid><author>weixin_41566471</author><pubDate>Tue, 23 Jun 2020 15:28:30 +0800</pubDate><description><![CDATA[Word2vec
1. 独热编码
热编码(one-hot recording)
如果词典如下
V=(apple,going,I,home,machine,learning)
V = (apple, going, I, home, machine, learning)
V=(apple,going,I,home,machine,learning)
apple=(1,0,0,0,0,0)machine=(0,0,0,0,1,0)learning=(0,0,0,0,0,1)I,Going,Home=(0,1,1,]]></description><category></category></item><item><title><![CDATA[初探图卷积]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106551802</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106551802</guid><author>weixin_41566471</author><pubDate>Mon, 22 Jun 2020 14:30:45 +0800</pubDate><description><![CDATA[图卷积
1. 图卷积的介绍
1.1 图卷积的数学背景知识介绍
1.1.1 拉普拉斯矩阵
1.拉普拉斯矩阵的定义
无向图:
G=(V,E,W),∣V∣=nG = (V, E, W), |V|=nG=(V,E,W),∣V∣=n
其中，VVV代表所有节点的集合，EEE代表所有边的集合，WWW代表邻接矩阵且：
W∈Rn∗nW \in R^{n*n}W∈Rn∗n
其中WijW_{ij}Wij​代表第iii个节点和第jjj个节点的权重，如果其值为0，说明两个节点不连接；
度矩阵： D∈Rn∗n,Dii=∑jWijD \]]></description><category></category></item><item><title><![CDATA[深度学习之循环神经网络RNN及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106802562</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106802562</guid><author>weixin_41566471</author><pubDate>Thu, 18 Jun 2020 18:12:23 +0800</pubDate><description><![CDATA[RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。

本文主要参考内容：
https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098
1. RNN
下图是一个标准结构的RNN的前向传播过程

其中xxx是输入，hhh是隐藏层单元，ooo为输出，LLL为损失函数，yyy是训练集的标签，ttt代表时刻状态，UUU是从输入到隐藏层的参数值，WWW是上一个隐藏层到当前隐藏层的参数值，VVV是隐藏层到输出层的参数值，U.]]></description><category></category></item><item><title><![CDATA[深度学习之损失函数及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106781169</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106781169</guid><author>weixin_41566471</author><pubDate>Tue, 16 Jun 2020 10:10:32 +0800</pubDate><description><![CDATA[损失函数

深度学习中损失是用来衡量预测结果和真实结果的误差，从而能够反向传播更新整个网络参数。

1. 均方误差(MSE)
MSE(Mean Square Error)一般用于回归问题。
其由在假设误差服从高斯分布的条件下得到，具体推导见
机器学习之线性回归原理与Python实现.
公式：
l(ypred)=12(ypred−y)2 l(y_{pred}) = \frac {1} {2} (y_{pred} - y)^2l(ypred​)=21​(ypred​−y)2
其一阶级导数：
∂l∂ypred=y]]></description><category></category></item><item><title><![CDATA[深度学习之一个例子(BP算法，loss函数)以及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106756789</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106756789</guid><author>weixin_41566471</author><pubDate>Tue, 16 Jun 2020 09:58:39 +0800</pubDate><description><![CDATA[一个多分类问题的实例
1. 单个神经元的逻辑
单个神经元的逻辑可以有如下图表示：

其中Pre-activation是线性函数的到的，可以表示为：
a(x)=∑i=1dwixi+b=wTx+ba(x) = \sum_{i=1}^d w_i x_i + b = \mathbf w^T \mathbf x + ba(x)=i=1∑d​wi​xi​+b=wTx+b
Post-activation是激活函数：
h(x)=g(a(x))=g(wTx+b)h(x) = g(a(x)) = g(\mathbf w^T \]]></description><category></category></item><item><title><![CDATA[深度学习之优化器算法及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106722120</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106722120</guid><author>weixin_41566471</author><pubDate>Fri, 12 Jun 2020 20:43:42 +0800</pubDate><description><![CDATA[opitimizers
1. 优化器算法
1.1 SGD 算法
没有动量的SGD算法：
θ←θ−lr∗g\theta \leftarrow \theta - lr * gθ←θ−lr∗g
其中θ\thetaθ是参数，lrlrlr是学习率，ggg是梯度。
有动量的SGD算法：
v←α∗v+lr∗gv \leftarrow \alpha * v + lr * gv←α∗v+lr∗g
θ←θ−v\theta \leftarrow \theta - vθ←θ−v
其中vvv是速度。
加入动量以后首先学习速率会增加，]]></description><category></category></item><item><title><![CDATA[深度学习之激活函数及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106692098</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106692098</guid><author>weixin_41566471</author><pubDate>Fri, 12 Jun 2020 11:03:20 +0800</pubDate><description><![CDATA[激活函数

如果没有激活函数引入非线性，多层神经网络就相当于单层神经网络，非线性激活函数可以使得神经网络逼近任意复杂的函数。

1. Sigmoid函数
1.1 Sigmoid函数解析式
Sigmoid函数：
f(x)=11+e−xf(x) =  \frac {1} {1 + e^{-x}}f(x)=1+e−x1​
Sigmoid函数一阶导数：
f′(x)=(11+e−x)′=−1(1+e−x)2(1+e−x)′=11+e−xe−x1+e−x=f∗(1−f)
\begin{aligned}
f'(x) &a]]></description><category></category></item><item><title><![CDATA[机器学习之潜在狄利克雷分配(LDA)变分EM算法及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106649159</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106649159</guid><author>weixin_41566471</author><pubDate>Thu, 11 Jun 2020 14:39:59 +0800</pubDate><description><![CDATA[LDA变分EM算法

变分推理(variational inference)是贝叶斯学习中常用的，含有隐变量模型的学习方法。变分推理和上一章节的吉布斯采样不同，吉布斯采样的算法通过随机抽样的方法近似计算模型的后验概率，而变分推理通过解析的方法计算模型的后验概率的近似值。

本章节内容参考李航博士的《统计学习方法》
书中是简化版本的变分EM算法推导，本章节进行完整的推导。
1. 变分推理
变分推理的思想如下：
假设模型是联合概率分布p(x,z)p(x,z)p(x,z)，其中xxx是观测变量，zzz是隐变量 ，]]></description><category></category></item><item><title><![CDATA[机器学习之潜在狄利克雷分配(LDA)吉布斯抽样及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106586834</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106586834</guid><author>weixin_41566471</author><pubDate>Wed, 10 Jun 2020 21:48:20 +0800</pubDate><description><![CDATA[LDA

LDA 是基于贝叶斯学习的话题模型，是文本集合的生成概率模型，其中假设文本的话题分布式的先验分布是狄利克雷分布，话题的单词分布的先验分布也是狄利克雷分布。
LDA模型是含有隐变量的概率图模型。本章节使用吉布斯抽样方法，下一章节使用变分EM算法

本章节内容参考李航博士的《统计学习方法》
1.狄利克雷分布


多项分布
1）在多项式之前先说说两点分布（Bernoulli分布）
两点分布就是指一次随机试验，比如随机扔硬币，结果只有两种0和1，ppp代表结果为正的概率:
P(X=1)=p;P(X=0)=]]></description><category></category></item><item><title><![CDATA[机器学习之随机森林(RF)及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106537886</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106537886</guid><author>weixin_41566471</author><pubDate>Thu, 04 Jun 2020 10:36:50 +0800</pubDate><description><![CDATA[随机森林

随机森林是集成学习分(Ensemble Learning)中的一种。随机森林主要体现在‘随机’和‘森林’上。

0.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。]]></description><category></category></item><item><title><![CDATA[机器学习之Adaboost原理及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319434</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319434</guid><author>weixin_41566471</author><pubDate>Wed, 03 Jun 2020 17:54:44 +0800</pubDate><description><![CDATA[pass

]]></description><category></category></item><item><title><![CDATA[机器学习之决策树原理及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319345</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319345</guid><author>weixin_41566471</author><pubDate>Tue, 02 Jun 2020 15:29:32 +0800</pubDate><description><![CDATA[pass

]]></description><category></category></item><item><title><![CDATA[机器学习之最大熵模型及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319467</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319467</guid><author>weixin_41566471</author><pubDate>Mon, 01 Jun 2020 10:34:18 +0800</pubDate><description><![CDATA[pass

]]></description><category></category></item><item><title><![CDATA[机器学习之朴素贝叶斯原理及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319334</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106319334</guid><author>weixin_41566471</author><pubDate>Wed, 27 May 2020 17:53:09 +0800</pubDate><description><![CDATA[pass

]]></description><category></category></item><item><title><![CDATA[机器学习之隐马尔科夫模型(HMM)原理及Python实现 (大章节)]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106249282</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106249282</guid><author>weixin_41566471</author><pubDate>Wed, 27 May 2020 14:37:01 +0800</pubDate><description><![CDATA[隐马尔可夫模型（hidden Markov model, HMM）是可用于标注问题的统计学模型，是生成模型。

1 从一个自然语言处理处理开始

]]></description><category></category></item><item><title><![CDATA[机器学习之Kmeans算法推导(EM算法)以及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106314556</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106314556</guid><author>weixin_41566471</author><pubDate>Mon, 25 May 2020 15:36:46 +0800</pubDate><description><![CDATA[pass

]]></description><category></category></item><item><title><![CDATA[机器学习之高斯混合模型(GMM)及python实现]]></title><link>https://blog.youkuaiyun.com/weixin_41566471/article/details/106221915</link><guid>https://blog.youkuaiyun.com/weixin_41566471/article/details/106221915</guid><author>weixin_41566471</author><pubDate>Thu, 21 May 2020 18:49:27 +0800</pubDate><description><![CDATA[高斯混合模型

高斯混合模型简介
高斯混合模型是一种无监督聚类算法
Kmeans VS GMM：Kmeans算法可以当作GMM算法的一种特殊形式，或者hard形式，比如一个样本在Kmeans算法中只能归属为其中的一类，但是在GMM算法中可以归为多类。

1 高斯混合模型推导
1.1 高斯混合模型
定义：高斯混合模型是指具有如下形式的概率分布模型：
p(y∣θ)=∑k=1Kαkϕ(y∣θk)(1) p(y|\theta) = \sum_{k=1}^K \alpha_k \phi(y|\theta_k) \ta]]></description><category></category></item></channel></rss>