- 博客(51)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 《深度学习》书籍阅读
学习基础，就是打牢基础知识部分。1 《深度学习》简介2 线性代数2.1基本概念：有标量、向量、矩阵、张量2.2基本概念：hadmaard乘积、点积、矩阵有矩阵乘积这种运算，满足分配律和结合律，不满足交换律。但是两个向量乘积满足交换律。（因为两个向量点积是标量。）2.3 单位矩阵和逆矩阵2.4 线性相关和生成子空间解释Ax=b发生了什么？我们可以理解为b为一组向量A的生成子空间，是原始向量线性组合抵达的点的集合...
2020-12-12 15:05:34
3702
原创 深度学习基础知识
1 概率图模型是指一种用图结构来描述多元随机变量之间条件独立关系的 概率模型，从而给研究高维空间中的概率模型带来了很大的便捷性其中有三个基本问题（1） 表示问题：对于一个概率模型，如何通过图结构来描述变量之间的依 赖关系． （2） 学习问题：图模型的学习包括图结构的学习和参数的学习．在本章中， 我们只关注在给定图结构时的参数学习，即参数估计问题． （3） 推断问题：在已知部分变量时，计算其他变量的条件概率分布1.2 概率图的学习问题图模型的学习可以分为两部分：一...
2020-12-11 22:55:37
4417
1
原创 深度学习优化器入门
1 概述2 梯度下降法2.1 GD算法思想：结构：代码：公式推导：2.2 GD算法延申批量梯度下降法思想：它是在梯度下降的算法基础上，在梯度更新的时候采用全部样本进行更新参数θ ，随机梯度下降法：思想：它与批量梯度下降法的不同是在于梯度更新参数 的时候仅随机选取一个样本进行更新，并非全部样本一个是用全部样本的梯度更新参数，而随机是随便选择一个更新。...
2020-12-03 09:45:51
324
原创 2017Convex optimization_ Algorithms and complexity阅读笔记
1 介绍一些概念本专题的总体目标是介绍凸优化中的主要复杂性定理和相应的算法。我们将重点放在凸优化的五个主要结果上，这些结果给出了本文的整体结构：存在具有最优预言复杂度的有效切面方法（第2章），对一阶预言复杂度和曲率之间关系的完整表征。目标函数（第3章），超出欧几里德空间的一阶方法（第4章），非黑盒方法（例如内点方法）相对于最佳黑盒方法（第5章）可以使迭代次数得到二次改进5），最后是一阶方法的噪声鲁棒性（第6章）。表1.1可用作对第2章至第5章中证明的结果以及第6章中某些结果的快速参考（最后一章与机器..
2020-12-02 17:26:34
1103
原创 凸优化入门
主要的目录1-2：推荐书目，引言，常见例子，优化问题分类，发展史3-4：仿射/凸/凸锥 + 集/组合/包5-6：几种重要的凸集:超平面与半空间/球和椭球/多面体/单纯形/对称(半)(正定)矩阵7-8：凸集的交集，保凸运算：仿射函数/缩放和移位/透视函数/线性分段函数9-10：（9缺）凸函数的定义1/定义2/定义3，凸函数的扩展11-12：凸函数定义2补充/定义4，常见例函数的凸性：二次函数/仿射函数/指数函数/幂函数/绝对值的幂函数/对数函数/负熵/范数/零范数/极大值函数/log-sum-u
2020-11-29 15:51:50
697
原创 人工智能的数学
1 十种人工智能“新”数学包括： 1.泛函分析 2.群表示论与范畴论 3.微分几何 4.代数几何 5.随机矩阵 6.最优传输 7.动力系统与随机分析 8.统计物理与非线性科学 9.信息论 10.博弈论2 ...
2020-11-27 19:36:02
482
原创 脑电数据的特征提取算法详解
脑电信号是一些时域变换。作者做了什么做这件事有什么意义作者是用什么方法去做的这个方法（思路）的每一步具体怎么操作，每一步都有什么目的，为了解决一个什么样的小问题在做的过程中，有哪些难点，作者是如何解决的作者得到的每一张图、每一张表、每一个结果，都说明了什么问题1 傅里叶变换1 为什么进行傅里叶变换？2 输入是什么？输出是什么？3 傅里叶变换在计算机里还能做什么？4 傅里叶变换的理论推导证明？5 其他跟傅里叶变换类似的变换？...
2020-11-27 11:33:20
10850
4
原创 《深度学习推荐系统》阅读笔记
当我们提到推荐的时候，其实我们在说什么？1 问题：1谁推荐给谁？ 2 在哪里推荐？ 3 推荐的指标？ 4 推荐的要素？ 2 解决方法：1 系统推荐给用户， 2 在电商网络中，在社交网络中，在各种可能需要推荐的网络中 3 推荐会不会让用户点击？用户喜不喜欢看？ 4 特征1 序言解释深度学习在工业界使用的好处。目前工业界的两种方法：拿着锤子找钉子和问题驱动。作者提出为了应对未来的发展，深度学习+推荐系统该如何走？...
2020-11-17 22:13:21
335
1
原创 深度学习入门
用最快的时间过一遍深度学习基础，每个组件的设计原理、公式、代码都尽可能的详细。1 没有深度学习之前？假如我们要识别一个图像中是否有猫？ 我们根本编写不出这种代码。那我们就逆向思维一下。直接从数据出发，让数据告诉我们是否有猫？1.1 起源人类就一直渴望能从数据中分析出预知未来的窍门机器是否可以思考+ 神经网络神经是通过正向强化来学习的，即赫布理论 。赫布理论是感知机学习算法的原型，并成为支撑今日深度学习的随机梯度下降算法的基石：强化合意的行为、惩罚不合意...
2020-11-13 17:15:10
1772
原创 推荐系统+深度学习综述
1 协同过滤用户记录作为用户特征考虑整个图信息获得一个节点表示参考资料：https://www.bilibili.com/video/BV1Sf4y1y7Vb?from=search&seid=5910253173285974306何向南- 图神经网络在推荐系统的前沿研究...
2020-11-11 16:05:37
1243
原创 2019A Comprehensive Survey on Graph Neural Networks被700
摘要1 引言在这项调查中，我们提供了数据挖掘和机器学习领域中图神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最新的图神经网络分为四类，即递归图神经网络，卷积图神经网络，图自动编码器和时空图神经网络。我们将进一步讨论图神经网络在各个领域的应用，并总结现有算法在不同学习任务上的开源代码和基准.2 ...
2020-11-06 15:18:20
675
原创 2020deep learning on Graphs:a survey被200
摘要深度学习已被证明在从声学，图像到自然语言处理的许多领域都取得了成功。但是，由于图的独特特性，将深度学习应用于普适的图数据并非易事。最近，大量研究工作致力于将深度学习方法应用于图形，从而在图形分析技术方面取得了有益的进步。在本次调查中，我们全面回顾了图上不同类型的深度学习方法。基于现有模型的模型架构和训练策略，我们将其分为五类：图形递归神经网络，图形卷积网络，图形自动编码器，图形强化学习和图形对抗方法。我们然后主要通过遵循它们的发展历史，以系统的方式对这些方法进行全面的概述。我们还分析了不同方法的差
2020-11-06 15:05:55
279
原创 《图卷积神经网络综述》2020
摘要传统卷积网络只能解决欧式空间数据，但是非欧式空间数据我们希望也能够用卷积网络来做。那么我们需要将非欧式空间数据做一个转换。这个转换步骤在于图卷积算子和图池化算子的构建。主要就两类谱方法和空间方法。1 引言3 图卷积神经网络分为卷积算子构建和池化算子构建。3.1 卷积算子的构建3.1.1 谱方法3.1.2 空间方法3.2 图池化操作也有谱方法和空间方法等等。4 一些新的进展分成了建模网络额外信息的图卷积网络和适应大...
2020-11-06 14:42:32
787
原创 波利亚罐子模型及其应用
1 引言第1章介绍基本的离散分布和一些现代工具，例如随机过程和可交换性。为了符合本书的目标和范围，我们会尽快切换到骨灰盒语言。分布的实现通过urn参数得以证实，所有概念的示例均以urns来表示。第2章介绍了一些经典的概率问题。这些问题中的某些问题最初并不是作为problems问题给出的，但大多数问题都可以照原样重铸。第三章是关于作为离散基本结构并在离散时间内生长的双色P´olya骨灰盒的。第4章考虑了通过在Poisson过程中嵌入离散P´olya urn方案（称为泊松运算）而获得的连续时间的
2020-11-05 10:43:17
3413
原创 《Random trees An interplay between combinatorics and probability by Michael Drmota 》教材阅读
读这本教材是为了追本溯源，了解随机树以及其发展。目的：帮助我们了解经过随机树的扩展过程中，某些点的分支数目所代表事件比例。第一章介绍随机树种类第二章介绍一些基本技术第三章*第一个目的是树计数，以获取给定大小的树数的显式公式，在这些情况下，如果没有或没有简单的显式公式，则可能具有这些数的渐近信息。 对树的几种组合类以及Galton-Watson树的几种组合类的分析是基于生成函数及其分析特性的，这些特性在第2章中进行了讨论。（根）树的递归结...
2020-11-02 01:38:23
186
1
原创 《大数据网络传播模型和算法》节选
第4章理解影响力最大化问题以及几个重要定理的证明1 影响力最大化问题在IC和LT模型上NP难。在LT模型上，将最大覆盖问题规约到影响力最大化问题。在IC模型上，将节点覆盖问题规约到影响力最大化问题。2 利用次模函数可以得到1-1/e的近似比。公式推导利用次模性质得到。3 该近似比是没有比1-1/e更好的近似比的。至少对于独立级联模型，不可能找到1-1/e的近似比的。因为如果可以找到，那就可构建提高最大覆盖问题的更好近似比算法，但是已经证明最大覆盖...
2020-09-06 12:58:54
1786
原创 线性规划及其解法
在学习使用非0-1线性规划解决顶点覆盖的问题时候，发现将原本0-1线性规划（NP难问题）松弛后，就变为不是NP难问题，那么在多项式时间解决它的时候，可以提供一个解顶点覆盖问题的下界。于是好奇为什么0-1规划是NP难，松弛后反而不是NP难？好奇学学。参考《算法导论》26章29章 线性规划研究线性规划定义及其单纯性法（多项式时间方法）29.1 标准型和松弛型研究线性规划的两种表现形式，标准型和松弛型以及其转换。29.2 如何将问题转化为线性规划问题...
2020-07-26 11:29:11
1281
原创 算法导论书籍学习
第17章 平摊分析17.1 聚集分析这里的确定一个n个操作序列的总代价的上界T（n），也许某一步操作代价很大，但是平均代价很小的。该分析会被用在分析单源最短路径中的Dijkstra算法中，其朴素版本算法复杂度为O（v2+E），其中的E就是用聚集分析分析出来的。两个例子：第一个例子 （考虑某个出栈k个元素的操作）第二个例子一个二进制加法器的操作 我的直观感觉就是针对一个数据结构的操作分布在n步中，也许每一步的不太可能是O...
2020-07-11 17:27:24
272
原创 算法导论学习《视频》
很明显，啃算法导论是我必须要做的事情，参考《算法导论》b站，和《算法导论》英文版算法导论分为两个部分，第一部分为算法分析，第二部分为算法设计。算法分析关注性能，也就是时间复杂度。...
2020-07-10 23:49:00
465
原创 离散数学第二章二元关系
第二章 二元关系二元关系就是研究某个集合中两个对象（子集、元素）之间联系的。2.1有序对与卡氏积2.1.1 有序对有序对是什么？是定义的一个对象，也是一个公理。为什么定义有序对？这个可以通过定义和公理来证明的。为什么要这样证明呢？因为作为数学，它小心翼翼的定义任何东西和公理，再基于这些定义和公理去证明任何东西，我们没有那么严格，但我们还是熟悉了解常用的证明方式以及使用。按照递归的定义可以基于二元组定义n元组，它在集合无序的基础上，加强一些，要求有序。...
2020-07-10 17:11:29
2721
原创 NP难问题以及近似算法（基于次模）
主要是对自己领域的多源定位NP问题转换和证明，以及如何设计有次摸性质的函数，效果更好。1 NP难问题2 如何把某个新问题规约到NP难问题，从而证明其难度NP？3 针对NP难问题的近似算法（贪婪策略，近似比，次模）...
2020-06-30 15:50:04
6248
1
原创 离散数学学习有感
为了感兴趣而学。1.1 主要内容（集合论和图论）1.2 命题逻辑 定义原子命题，而后原子命题的各种结合，可以满足某些定理。就像定义数字以及其运算规则一样，比如乘法交换律等等啥，不过这里数字换成了命题。而我所欠缺的是形式化所遇到的东西，将其规约某个理论之下，借助这个理论数学的所有公立假设定理，得到一些性质帮助我解决问题。我必须系统学习NP难问题、图论、离散数学。1.3 一阶谓词逻辑将命题再细分为个体、谓词、量词，以及几个重要...
2020-06-26 17:26:31
3344
原创 《陶哲轩教你学数学》读后感
1 解题的策略1.1 理解问题类型 一般有三种类型问题“证明‘’‘’”，或者推算的问题，要求证明某个特定命题为真 “求一个”，或者求所有的值，要求我们求出满足特定条件的一个值或者所有值 “是否存在‘’‘’”，要求一个命题为真，要么给出一个反例。 第一个一般不难，基于定义和公理和它们延伸的定理、引理等，来尝试使用各种方法（归纳法、反证法、数理逻辑推理）等得到这个结果。 第二个，我们通常必须要猜测一个可能正确的答案，然后对它进行适当的调整，从而使其更接近正确答...
2020-06-23 23:46:23
744
原创 古今数学思想
来自于在深入波利亚罐子模型及其衍生随机过程的学习中，产生了对数学思想的兴趣，参考《古今数学思想》和b站《古今数学思想》。关注点在于数学的思想为了解决什么问题出现？ 数学思想的发展过程？1 美索波达米亚的数学1.3 数字的出现 用一些符号表示数字，以及其进制（为了简便）。1.4 算术运算加减乘除都有了，为了让数能够运算。...
2020-06-07 02:03:11
1654
原创 《陶哲轩实分析》阅读
在读论文过程中，发现当作者通过数学建模构建了其自变量和因变量的表达式之后，在模型求解阶段，会关心其单调性、极值、衰减因子，这也可以在论文中发表，于是对数学分析这个过程非常好奇，参考《陶哲轩实分析》和《网络中信息传播:信息源选择与检测的若干关键问题研究》论文。1 引言1.1 什么是分析 分析学是对实数、实数序列、实数级数以及 实值函数进行严格研究的学科，并且着力于对这 些对象做出准确的定性和定量分析。实分析是微积分学的理论基 础，而微积分是我们在处理函数时所用...
2020-06-04 23:54:31
2412
原创 数学建模算法及应用
在我精读一些本研究方向的论文后，发现其大多跟数学建模有关系。因为每个研究人员提出独树一帜的方法时，一般都是不同角度提出，其对问题的解读不同，其就依据这个建立不同的数学模型去建模求解。所以掌握一般、全面的数学模型学习是必要的。参考《数学建模算法及应用》1 线性规划 线性规划问题是在一组线性约束条件的限制下，求一线性目标函数最大或最 小的问题。 在解决实际问题时，把问题归结成一个线性规划数学模型是很重要的一步（这才是最难的一步，肯定有无数人想要在在自己的问题上套用成熟的线性规划...
2020-06-04 00:24:58
5690
原创 微积分的本质
借此了解微积分的本质，以此补全数学之源以及数学之用的空缺。参考《托马斯微积分》和b站《微积分的本质》1 从圆的面积说起1.1 问题 古时候，人们想要知道圆的面积是多少？那么可以由几种方案，一种是把圆铺开，一种是把一个圆分成很多很多个圆环再求和。这种思想就是微积分的来源。形如上图，我们把圆铺开，其长度就是圆周长，其宽是dr，dr取的越小，自然也就越精确。而把圆变成很多个环的话，每个环铺开是一个长方形，将这些长方形的面积累加起来即可。如下图当dr取的越小越精确，自然就...
2020-06-03 21:15:01
5432
原创 学习并重新学习您的领域
来自陶哲轩的博客。https://terrytao.wordpress.com/career-advice/learn-and-relearn-your-field/即使在您选择的专业领域，学习也永远不会停止。例如，在撰写有关该主题的论文十多年之后，我仍在学习有关基本谐波分析的令人惊讶的知识。仅仅因为您知道基本引理X的陈述和证据，您就不应该将这个引理视为理所当然；相反，您应该更深入地研究直到真正了解引理的含义：您可以找到其他证明吗？ 如果您知道引理的两个证明，那么您知道证明在什么程度..
2020-05-31 13:04:38
372
原创 罐子模型以及波利亚罐子模型（附加对论文的分析）
1 罐子模型简介1.1 基本模型基本罐子模型中，罐子包含x个白色和y个黑色的球，它们混合在一起。从中中随机抽取一个球，观察其颜色；然后将其放回缸中（或不放回缸中），并重复选择过程。在此模型中可以回答的可能问题是：我可以从n次抽取中中推断出白色和黑色的球的比例吗？有多大比例？ 知道x和y，抽取特定序列（例如，一个白色然后是一个黑色）的概率是多少？ 如果我只观察n个球，我如何确定没有黑球？（第一个问题的变体）1.2 不同问题的分布二项式分布：罐子初始有两种颜色的球，在n次抽取...
2020-05-30 17:15:51
10178
1
原创 科研的简明行程（计算机专业）
0 前言这是一篇自述，结合别人的经验，给出自己的学习路径，我的方向有点杂，涉及到的有图论、网络传播、近似算法、谣言源定位等，是一名普通硕士生。1 技能积累各种算法加数学。推荐书籍：《算法导论》 《概率导论》 《线性代数及其应用》 《托马斯微积分》在我当前的这种数学基础不好的阶段，我基本都是学到了再去查阅这些资料。2 专业技能 2.1 方向基础书籍网络科学导论 网络科学引论 近似算法 分支过程 2.2 论...
2020-05-29 22:18:41
223
原创 线性代数几何直观的理解
这门课的重要性不言而言，它是解释线性代数的来源以及它可以怎么用的重点，而在学校里面，我们只能够学到它的定义和计算方式。1 向量是什么？1.1问题向量是什么？ 学物理的说是空间的一个箭头，学计算机的说是列表。而学数学的说，向量可以是任何东西，只需要满足向量加法和数乘的法则都可以叫向量。不过为了学了线性代数的几何，我们暂时认为它是箭头吧。这和数学仅仅是一些数字和定义在其上的一些运算，多么相似。向量的加法和数乘在坐标系中分别代表什么？（向量就这两种基本运算...
2020-05-25 17:27:36
2739
原创 线性代数第一章
之前本科学习线性代数，始终不得要领，现在接触《线性代数及其应用》，重新学习线性代数。1 线性方程组1.1 问题线性方程组是什么？ 多个方程，且具有多个未知数。两个线性方程组等价意味什么？ 特别的例子： 两条直线的交叉点，相交有同样的解。线性方程组的解有几种情况？ 无解，唯一解，无穷多解。 而线性方程组所包含的主要信息可以用一个矩阵描述，如 可以转换成右边即为...
2020-05-24 00:57:42
4758
原创 网络科学引论中第13章随机图生成式度分布
13.1 生成函数 概率分布和母函数只是同一件事情的不同表现形式而已，我们关心的是随机图的生成分布，比如按照某种分布形成的图，比如泊松分布形成的图有什么特性之类的。以及祝按照这种分布下去的收敛到什么分布，比如分支长度，分支数目等。波利亚罐子模型不就是按照某种规则生成的概率分布吗？直接得到分支数目的比例关系分布。13.1.1 例子13.1.2 律法分布...
2020-05-16 23:14:11
433
原创 一个科研的道路
来自陶哲轩的博客，应该说是我们尝试做一点科研工作的过程，红字是我写的例子。17步之前，我还能稍微在科研中找到对应的东西，第17步之后完全是我不能想象的过程。1 从主要问题X中分离出一个简单特例x。（类似于想象问题出现的某一种情况，就是标准解决方法理论之外的情况，用标准理论可能解决的不好，因为标准理论可能有众多假设） 2 用方法A解决特例x。（然后找到方法A解决这个特例。） 3 试图用方法A解决主要问题X。 4 失败，但是我们发现了方法A还能解决X的更多特例x', x''。（因为你想的某种问题情.
2020-05-15 00:19:33
327
原创 网络科学导论以及网络科学引论两本书关于网络传播这一章节的学习（个人研究，不推荐阅读，推荐讨论）
目录9网络科学导论第9章网络传播9.1 关注SI，SIR，SIS传播模型中各种疾病状态人数比例跟传播时间关系9.2 考虑传播模型在几类网络（均匀平均网络，非均匀网络（无限规模网络，有限规模网络，淬火网络分析，）） 研究其传播临界值。9.2.1 SIR模型在均匀平均网络的传播公式临界值9.3 还有免疫（随机，熟人免疫）方面9.4 节点传播影响力方面影响力最大化问题，k...
2020-05-10 17:35:29
893
jmockit框架所使用jar包
2018-04-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人