UCASer

主要是零碎学习生活中的笔记，对每一天遇到的重要知识点进行记录，便于复习。

文章目录决策树1 划分规则决策树1 划分规则1.1 如何选择最优划分属性？ 划分过程中，在每一次划分时，选取能使其“不纯度”减小最大的属性。1.2 常用的衡量“不纯度”的指标。信息增益，信息增益比（信息增益率），基尼系数。1.3 以上三种指标的具体公式。  1）信息增益（对应算法：ID3）    先介绍一下信息熵的公式：Entropy(D)=−∑i=1Ip(i∣D)log(p(...

一、思维导图

KMeans优缺点及改进

指称关系（Referring Relationships）一、引入  在日常话语中指称表达有助于识别和定位我们周围的实体。例如，我们可能会很容易将“踢球的人”与“守卫球门的人”区别开来。在该例中，我们通过各实体与其他实体的关系来消除两个人之间的歧义。  当然，图像也一样，其不仅仅是一组对象，每个图像代表一个相互关联的网络。图像中实体之间的这些关系具有一定的语义，并可帮助观看者区分各实体。...

文章主要讲解了生层对抗网络（GAN）的基本原理以及简单的数学理论，并以全连接层网络形式和卷积神经网络形式（DCGAN）进行了简要说明。

  联合熵与条件熵  链式法则H(X,Y)=H(X)+H(Y∣X)H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y∣X)  证明：H(X,Y)=−∑x∈χ∑y∈\begin{aligned}H(X,Y)&=-\sum_{x\in\chi}\sum_{y\in}\end{aligned}H(X,Y)​=−x∈χ∑​y∈∑​​  互信息I(X;Y)...

逻辑回归模型：假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来对参数进行优化，最后通过sigmoid函数将其转化为概率形式，并通过设定阈值实现二分类。

机器学习经典算法：线性回归的原理及数学推导