<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[很嗨]]></title><description><![CDATA[机器学习 数据挖掘]]></description><link>https://blog.youkuaiyun.com/howhigh</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; howhigh]]></copyright><item><title><![CDATA[10.2 香农熵、相对熵（KL散度）与交叉熵]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/78171547</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/78171547</guid><author>howhigh</author><pubDate>Sat, 07 Oct 2017 20:48:33 +0800</pubDate><description><![CDATA[香农熵（Shannon entropy）

信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。 
如果一个随机变量XX的可能取值为X={x1,x2,…,xn}X=\left\{x_1,x_2,…,x_n\right\}，对应的概率为p(X=xi)p(X=x_i)，则随机变量XX的信息熵为： 
H(X)=−∑i=1np(xi)logp(xi)H(X)]]></description><category></category></item><item><title><![CDATA[10.1 信息论概述]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/78145628</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/78145628</guid><author>howhigh</author><pubDate>Sat, 30 Sep 2017 22:25:46 +0800</pubDate><description><![CDATA[信息论是应用数学的一个分支，主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息，例如通过无线电传输通信。在这种情况下，信息论告诉我们如何设计最优编码，以及计算从一个特定的概率分布上采样得到、使用多种不同编码机制的消息的期望长度。 
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。消息“今天早]]></description><category></category></item><item><title><![CDATA[9.7 python模拟常用分布]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/78007317</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/78007317</guid><author>howhigh</author><pubDate>Sat, 16 Sep 2017 22:45:58 +0800</pubDate><description><![CDATA[本章用Python统计模拟的方法，介绍四种常用的统计分布，包括离散分布：二项分布和泊松分布，以及连续分布：指数分布和正态分布，最后查看人群的身高和体重数据所符合的分布。 
首先导入python相关模块：import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplo]]></description><category></category></item><item><title><![CDATA[9.6 期望、方差和协方差]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/77914266</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/77914266</guid><author>howhigh</author><pubDate>Sat, 09 Sep 2017 13:40:10 +0800</pubDate><description><![CDATA[期望(Expectation)数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。 
离散型随机变量的一切可能的取值xix_i与对应的概率p(xi)p(x_i)乘积之和称为该离散型随机变量的数学期望(若该求和绝对收敛），记为E(x)\mathbb E(x) 。它是简单算术平均的一种推广，类似加权平均。 
离散型随]]></description><category></category></item><item><title><![CDATA[9.5 条件概率]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/77513409</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/77513409</guid><author>howhigh</author><pubDate>Sat, 02 Sep 2017 20:26:40 +0800</pubDate><description><![CDATA[在很多情况下，我们感兴趣的是某个事件，在给定其他事件发生时出现的概率。这种概率叫做条件概率。我们将给定x=x,y=y\mathbb x=x,\mathbb y=y发生的条件概率记为P(y=y|x=x)P(\mathbb y=y|\mathbb x=x)。这个条件概率可以通过下面的公式计算： 
P(y=y|x=x)=P(y=y,x=x)P(x=x)P(\mathbb y=y|\mathbb x=x)=]]></description><category></category></item><item><title><![CDATA[9.4 边缘概率]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/77482582</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/77482582</guid><author>howhigh</author><pubDate>Tue, 22 Aug 2017 17:01:47 +0800</pubDate><description><![CDATA[有时候，我们知道了一组变量的联合概率分布，但想要了解其中一个子集的概率分布。这种定义在子集上的概率分布被称为边缘概率分布（marginal probability distribution）。 
例如，假设有离散型随机变量x和y，并且我们知道P(x,y)P(x,y)。我们可以依据下面的求和法则来计算P(x)P(x): 
∀x∈x,P(x=x)=∑yP(x=x,y=y)\forall x\in \ma]]></description><category></category></item><item><title><![CDATA[9.3 概率分布]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/77430032</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/77430032</guid><author>howhigh</author><pubDate>Sun, 20 Aug 2017 17:00:58 +0800</pubDate><description><![CDATA[概率分布(probability distribution)用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性的大小。我们描述概率分布的方式取决于随机变量是离散的还是连续的。离散型变量和概率质量函数离散型变量的概率分布可以用概率质量函数(probability mass function,PMF)来描述。我们通常用大写字母PP 来表示概率质量函数。通常每一个随机变量都会有一个不同的概率质量]]></description><category></category></item><item><title><![CDATA[9.2 随机变量]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/77248963</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/77248963</guid><author>howhigh</author><pubDate>Wed, 16 Aug 2017 15:56:22 +0800</pubDate><description><![CDATA[随机变量是可以随机地取不同值的变量。我们通常用无格式字体的小写字母来表示随机变量本身，而用手写体中的小写字体来表示随机变量能够取到的值。例如，x1x_1和x2x_2都是随机变量x可能的取值。对于向量值变量，我们会将随机变量写成x\textbf{x}，它的一个可能取值为x\boldsymbol{x}。就其本身而言，一个随机变量只是对可能的状态的描述；它必须伴随着一个概率分布来指定每个状态的可能性。]]></description><category></category></item><item><title><![CDATA[9.1 为什么要使用概率]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/76780017</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/76780017</guid><author>howhigh</author><pubDate>Thu, 10 Aug 2017 16:52:13 +0800</pubDate><description><![CDATA[概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明的公理。在人工智能领域，概率论主要有两种用途。首先，概率法则告诉我们AI系统如何推理，据此我们设计一些算法来计算或估算由概率论导出的表达式。其次，我们可以用概率和统计从理论上分析我们提出的AI系统的行为。 
概率论使我们能够作出不确定的声明以及在不确定性存在的情况下进行推理，而信息论使我们能够量]]></description><category></category></item><item><title><![CDATA[8.11 实例：主成分分析]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/76454264</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/76454264</guid><author>howhigh</author><pubDate>Thu, 03 Aug 2017 16:08:34 +0800</pubDate><description><![CDATA[主成分分析（principal components analysis,PCA）是一个简单的机器学习算法，可以通过基础的线性代数知识推导。 
假设在Rn\mathbb R^n空间中我们有mm个点{x(1),…,x(m)}\{x^{(1)},\dots,x^{(m)}\}，我们希望对这些点进行有损压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点。我们希望损失的精度尽可能少。 
一种编码]]></description><category></category></item><item><title><![CDATA[8.10 迹运算]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/76210379</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/76210379</guid><author>howhigh</author><pubDate>Thu, 27 Jul 2017 17:19:30 +0800</pubDate><description><![CDATA[迹运算返回的是矩阵对角元素的和： 
Tr(A)=∑iAi,i\mathrm{Tr}(A)=\sum_iA_{i,i}]]></description><category></category></item><item><title><![CDATA[8.9 Moore-Penrose伪逆]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/76154985</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/76154985</guid><author>howhigh</author><pubDate>Wed, 26 Jul 2017 17:44:16 +0800</pubDate><description><![CDATA[对于非方矩阵而言，其逆矩阵没有定义。假设在下面的问题中，我们希望通过矩阵AA的左逆BB来求解线性方程， 
Ax=yAx=y 
等式两边左乘左逆B后，我们得到 
x=Byx=By 
取决于问题的形式，我们可能无法设计一个唯一的映射将AA映射到BB。 
　　如果矩阵AA的行数大于列数，那么上述方程可能没有解。如果矩阵AA的行数小于列数，那么上述矩阵可能有多个解。]]></description><category></category></item><item><title><![CDATA[8.8 奇异值分解]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/76080230</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/76080230</guid><author>howhigh</author><pubDate>Tue, 25 Jul 2017 16:03:49 +0800</pubDate><description><![CDATA[在上一节，我们探讨了如何将矩阵分解成特征向量和特征值。还有另一种分解矩阵的方法，被称为奇异值分解（singular value decomposition,SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。通过奇异值分解，我们会得到一些与特征分解相同类型的信息。然而，奇异值分解有更广泛的应用。每个实数矩阵都有一个奇异值分解，但不一定有特征分解。]]></description><category></category></item><item><title><![CDATA[3.7 应用实例]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75911862</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75911862</guid><author>howhigh</author><pubDate>Sun, 23 Jul 2017 15:25:57 +0800</pubDate><description><![CDATA[本章通过例题回顾NumPy的各种功能。]]></description><category></category></item><item><title><![CDATA[3.6 矩阵运算]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75911649</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75911649</guid><author>howhigh</author><pubDate>Sun, 23 Jul 2017 15:15:47 +0800</pubDate><description><![CDATA[矩阵的加减法运算规则与数组相同，即元素运算，其结果返回新的矩阵。倍乘数运算也是矩阵内元素乘以倍数，返回新的矩阵，且倍数应置于运算符左边。]]></description><category></category></item><item><title><![CDATA[3.5 数组运算]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75910273</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75910273</guid><author>howhigh</author><pubDate>Sun, 23 Jul 2017 14:46:41 +0800</pubDate><description><![CDATA[ufunc是universal function的缩写，它是一种能对数组的每个元素进行操作的函数。本节主要介绍算术运算、比较运算和统计运算等函数。]]></description><category></category></item><item><title><![CDATA[8.7 特征分解]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75647427</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75647427</guid><author>howhigh</author><pubDate>Sat, 22 Jul 2017 17:23:03 +0800</pubDate><description><![CDATA[许多数学对象可以通过将它们分解成多个组成部分，或者找到它们的一些属性而更好地理解，这些属性是通用的，而不是由我们选择表示它们的方式产生的。]]></description><category></category></item><item><title><![CDATA[3.4 数组操作]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75403243</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75403243</guid><author>howhigh</author><pubDate>Wed, 19 Jul 2017 16:14:30 +0800</pubDate><description><![CDATA[本节主要介绍对数组的变形、拼接、切分和复制等操作。]]></description><category></category></item><item><title><![CDATA[3.3 索引与切片]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75398161</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75398161</guid><author>howhigh</author><pubDate>Wed, 19 Jul 2017 16:03:52 +0800</pubDate><description><![CDATA[索引或切片都是根据条件对数组的元素进行存取的方法，本节主要介绍一维和二维数组的元素索引、切片索引及花式索引。
>]]></description><category></category></item><item><title><![CDATA[3.2 创建与存取数组]]></title><link>https://blog.youkuaiyun.com/howhigh/article/details/75394037</link><guid>https://blog.youkuaiyun.com/howhigh/article/details/75394037</guid><author>howhigh</author><pubDate>Wed, 19 Jul 2017 15:48:46 +0800</pubDate><description><![CDATA[本节主要介绍NumPy库ndarray对象的创建与保存方法，以及对其属性的操作方法。]]></description><category></category></item></channel></rss>