机器学习
关注
分享
扫一扫
文章平均质量分 86
windSeS
消失一段时间。
展开
-
kd tree最近邻搜索算法深度解析
李航统计学习方法（第二版）（六）：k近邻算法实现（kd tree方法）中，对kd树进行了介绍，包括，kd树的简介、kd树的建立以及kd树的搜索。在看到李航老师书中对kd树搜索算法的描述后，其中对于递归回退的操作描述不是很理解，觉得太抽象了（很可能是我自己的理解能力的问题）。对比多个源码（各个源码都还有我觉得有问题的地方，有时间我会在各博主博客下面留言，主要有：1.[c++实现kdTree创建以及最近邻点查找](https://blog.youkuaiyun.com/zfjbit/article/details/9547原创 2022-06-29 18:53:13 · 4743 阅读 · 9 评论 -
强化学习引言（简略版）PPT
从斯金纳的强化理论到现有的较为系统的强化学习理论，然后从最古老的强化学习方法——学习自动机开始介绍了一些简单的强化学习方法的原理与简单实现。原创 2022-06-12 13:52:22 · 545 阅读 · 1 评论 -
强化学习环境：ubuntu18.04 MUJOCO安装记录（2021年4月8日）
MuJoCo环境介绍，许可证获取方法可参考强化学习环境：MUJOCO 安装踩坑记录（2020年7月18日）。在强化学习环境：MUJOCO 安装踩坑记录（2020年7月18日）中，博主详细介绍了他安装MUJOCO时遇到的问题与尝试解决问题采取的方法，最终他的问题得到了解决。按博主在文未的原话：“每个人的系统环境都有所差别，所以如果不成功，可以挑选上面的各种解决方案进行尝试，如果还有问题，也欢迎留言探讨！”我在ubuntu系统下就无法借鉴它的方法，但是还是给我指了一个正确的方向，并让我相信，这个问题很普遍，并.原创 2021-04-08 13:11:28 · 620 阅读 · 0 评论 -
图神经网络框架DGL实现Graph Attention Network (GAT)笔记
参考列表：[1]深入理解图注意力机制[2]DGL官方学习教程一 ——基础操作&消息传递[3]Cora数据集介绍+python读取一、DGL实现GAT分类机器学习论文程序摘自[1]，该程序实现了利用图神经网络框架——DGL，实现图注意网络（GAT）。应用demo为对机器学习论文数据集——Cora，对论文所属类别进行分类。（下图摘自[3]）1. 程序Ubuntu：18.04cuda：11.1cudnn：8.0.4.30pytorch：1.7.0networkx：2.5impor原创 2021-03-30 17:27:12 · 3981 阅读 · 0 评论 -
特征学习：学习之海中的遗珠
特征学习属于特征工程范畴，它是获取将数据转换到新空间的模型的算法。原创 2019-11-27 15:10:21 · 1221 阅读 · 3 评论 -
度量学习系列（3）：弱监督度量学习
弱监督度量学习算法利用比有监督度量学习较弱的数据点信息。与有监督度量学习算法不同，弱监督度量学习利用相似或不相似的数据点构成的元组来学习，而不是直接利用有标签的数据来学习。1. 通用API1.1 输入数据下面将介绍元组，元组可以是对，三元组，四元组等，不同的度量学习算法所需的元组形式不同。1.1.1 基本形式每个弱监督算法都以元组作为输入，如果需要的话，还需要为这些元组添加标签（语义...翻译 2019-11-23 11:27:06 · 1449 阅读 · 1 评论 -
度量学习系列（2）：有监督度量学习
有监督度量学习算法利用输入点xxx与目标标签yyy作为来学习一个距离矩阵，这个距离矩阵拉近同类别的点（分类问题）或者目标值邻近的点（回归问题）的距离，并使不同类别或目标值相差大的点的互相远离。1. 通用API有监督的度量学习算法实质上利用了与scikit-learn相同的应用程序接口（API）。1.1 输入数据为了训练一个模型，我们需要两个array-like对象：XXX与yyy。XX...翻译 2019-11-01 10:22:44 · 2622 阅读 · 0 评论 -
度量学习系列（1）：什么是度量学习
原文链接：What is Metric Learning？许多机器学习方法都需要度量计算数据点之间的距离。传统作法是利用相关领域的先验知识来选择一个标准的距离度量，例如：欧式距离、城市距离、余弦距离，等等。然而，很难针对特定的数据与感举兴趣的任务设计合适的度量。距离度量学习（或者简单的称之为度量学习）旨在自动的从有监督的数据中，以机器学习的方式构造出与任务相关的距离度量。学习到的距离度量可以...翻译 2019-10-31 09:10:50 · 5494 阅读 · 2 评论 -
深度学习之灾难性遗忘问题
神经网络之灾难性遗忘问题摘要1. 什么是灾难性遗忘2. 为什么出现灾难性遗忘3. 现有的解决方法综述4. 例子与程序5. 结语原创 2019-08-02 17:24:59 · 22699 阅读 · 6 评论 -
自适应谐振理论网络|ART
自适应谐振理论网络|ART自适应谐振理论（Adaptive Resonance Theory,简称ART）网络是由美国Boston大学学者 G. A.Carpenter在1976年提出。多年来，G. A.Carpenter一直试图为人类的心理和认知活动建立统一的数学理论， ART 就是这一理论的核心部分。随后 G. A.Carpenter 又与 S.Grossberg 提出了ATR 网络。 经...原创 2019-07-05 20:24:47 · 4063 阅读 · 3 评论 -
Hamming网络实现水果分类
Hamming网络实现水果分类Hamming网络采用Hamming距离度量两向量的距离。因此Hamming网络是专门为求解二值（问题中输入向量的每个元素只能是两个可能值中的一个，本文取-1和+1两个值）模式识别问题而设计的。它同时采用了前馈网络和递归网络，并且两层的神经元个数相同。Hamming网络的目标：是判定哪个原型向量最接近于输入向量，判定的结果由递归层的输出表示。每个标准模式均对应递归...原创 2019-07-05 16:16:32 · 2875 阅读 · 2 评论 -
Hopfield神经网络
Hopfield神经网络神经网络在1980年代复兴归功于物理学家约翰·霍普菲尔德（Hopfield）。1982年，霍普菲尔德提出了一种新的神经网络，可以解决一大类模式识别问题，还可以给出一类组合优化问题的近似解。这种神经网络模型后被称为Hopfield神经网络。Hopfield神经网络是一种递归神经网络，由约翰.霍普菲德在1982年发明。...原创 2019-07-10 12:55:15 · 17503 阅读 · 4 评论 -
简单的Q-learning|小明的一维世界(1)
Q-learning 已经成为强化学习中最有效的算法之一。虽然，它也存在它的缺点，例如离散的动作。不管怎样，Q-learning在许多应用中的有效性已经得到验证。另一方面，在众多强化学习算法中，Q-learning的原理相对简单，适合作为强化学习的入门算法。本篇旨在将最简单的基于Q-table的Q-learning算法应用在一维环境的简单应用，让大家对Q-learning算法的工作流程以及效...原创 2018-07-09 22:10:38 · 1113 阅读 · 0 评论 -
简单的Q-learning|小明的一维世界(2)
上篇介绍了小明的一维世界模型 、Q-learning的状态空间、行动空间、奖励函数、Q-table、Q table更新公式、以及从Q值导出策略的公式等。最后给出最简单的一维位置世界的Q-learning例子，从给出其状态空间、行动空间、以及稠密与稀疏两种奖励函数的设置方式。下面将继续深入，GO！一维的速度世界这个世界，小明只能控制自己的速度，并且只能对速度进行如下三种操作：增加1、...原创 2018-07-09 22:57:23 · 461 阅读 · 0 评论 -
简单的Q-learning|小明的一维世界(3)
一维的加速度世界这个世界，小明只能控制自己的加速度，并且只能对加速度进行如下三种操作：增加1、减少1、或者不变。所以行动空间为：{u1=−1,u2=0,u3=1}{u1=−1,u2=0,u3=1}\{u_1=-1, u_2=0, u_3=1\} 补充：为了不和加速度符号aaa混淆，此处动作标记全改成uuu。此刻，小明除了位置信息，还具有速度信息，所以状态为二维的st=<xt...原创 2018-07-09 23:37:05 · 340 阅读 · 0 评论 -
时间序列|change point detection
change point detection 被称为变点检测，其基本定义是在一个序列或过程中，当某个统计特性（分布类型、分布参数）在某时间点受系统性因素而非偶然因素影响发生变化，我们就称该时间点为变点。变点识别即利用统计量或统计方法或机器学习方法将该变点位置估计出来。Change Point Detection的类型online 指连续观察某一随机过程，监测到变点时停止检验，...转载 2018-09-10 14:19:55 · 15094 阅读 · 0 评论 -
如何在Python中实现这五类强大的概率分布
如何在Python中实现这五类强大的概率分布原文链接,侵删。 R编程语言已经成为统计分析中的事实标准。但在这篇文章中，我将告诉你在Python中实现统计学概念会是如此容易。我要使用Python实现一些离散和连续的概率分布。虽然我不会讨论这些分布的数学细节，但我会以链接的方式给你一些学习这些统计学概念的好资料。在讨论这些概率分布之前，我想简单说说什么是随机变量（random vari...转载 2018-09-07 12:14:18 · 982 阅读 · 0 评论 -
An Intuitive Guide to Optimal Transport|最优传输理论
An Intuitive Guide to Optimal Transport|最优传输理论最优传输：最优传输问题最早是由法国数学家蒙日于1780年代提出；其解的存在性被俄国数学家Kantorovich证明，由此Kantorovich获得1975年诺贝尔经济奖；法国数学家Brenier建立了最优传输问题和凸函数之间的内在联系。与最优传输理论相关的机器学习关键词：Wasserstein GAN,...原创 2018-10-10 23:06:35 · 8650 阅读 · 0 评论 -
sklearn中的svm.SVC
sklearn中的svmfrom sklearn import svm.SVCclass sklearn.svm.SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto_deprecated’, coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_w...翻译 2018-12-28 13:05:11 · 7018 阅读 · 0 评论 -
自主心智发育（翁巨扬教授）
自主心智发育（翁巨扬教授）前言在研究生新入学时，经常被同学或者老师问及，对自己的研究方向有什么想法。当时对机器人领域的发展现状不是很熟悉，无法清晰地回答自己的研究计划。但是，有一个声音很明确、也很响亮，那就是：**我想让机器人具备人类一样的智能，我想给机器人造一个大脑。**回望来路，已经蜿蜒很长一段了，一路上不断回放这个声音：机器人的大脑哈。这个声音指引我到达现在所在的领域、并促成我现有的知识...原创 2019-06-07 11:32:52 · 2064 阅读 · 2 评论 -
发育网络(DN): 一个涌现的图灵机
发育网络(DN): 一个涌现的图灵机如果一定得划分，翁教授的工作可以划分成两个时期：1）CCIPCA+IHDR；2）CCILCA+DN。IHDR作为一种偿试实现机器人大脑，显然是失败了。因为，前后两时期的工作没有太大的关联性【尽管如此，IHDR仍是一个很棒的增量式学习模型，值得深入学习与理解】。为什么IHDR不能作为机器人最终的发育模型（大脑）？翁教授的回答是：人的大脑没有一个中央的控制器，而...原创 2019-06-09 23:19:55 · 3307 阅读 · 18 评论 -
主成分分析|PCA算法大全
主成分分析|PCA算法大全文章目录主成分分析|PCA算法大全1. PCA原理1.1 最大方差理论1.2 最小平方误差理论1.3 高维数据下的特征值分解2. CCIPCA增量主元分析算法[1]3. KPCA4. 2DPCA[2]5. 2D2DPCA6. BDPCA参考文献主元分析提供了一种用低维数据来表示高维复杂数据最主要特征的途径。PCA的思想是将nnn维特征映射到kkk维空间上k&...原创 2019-06-11 11:36:24 · 5110 阅读 · 0 评论 -
增量学习方法
增量学习方法背景介绍 人工智能的参照样本始终没有离开人类本身。而终身式、增量式的学习能力是人类最重要的能力之一。机器人如果能像人类一样对环境以及任务进行增量的学习，这使得机器人终身学习成为可能。增量学习思想的重要性体现在2个方面： （1）在实际的感知数据中，数据量往往是逐渐增加的，因此，在面临新的数据时，学习方法应能对训练好的系统进行某些改动，以对新数据中蕴涵的知识进行学习； （2）.........原创 2017-02-28 10:09:50 · 40546 阅读 · 10 评论