- 博客(20)
- 收藏
- 关注
RSS订阅原创 机器学习中的矩阵向量求导(五) 矩阵对矩阵的求导
在矩阵向量求导前4篇文章中，我们主要讨论了标量对向量矩阵的求导，以及向量对向量的求导。本文我们就讨论下之前没有涉及到的矩阵对矩阵的求导，还有矩阵对向量，向量对矩阵求导这几种形式的求导方法。本文所有求导布局以分母布局为准，为了适配矩阵对矩阵的求导，本文向量对向量的求导也以分母布局为准，这和前面的文章不同，需要注意。篇主要参考了张贤达的《矩阵分析与应用》和长躯鬼侠的矩阵求导术1. 矩阵对矩阵求导的定义假设我们有一个p×qp \times qp×q的矩阵FFF要对m×nm \times nm×n的矩阵XX
2020-08-12 15:14:27
763
原创 机器学习中的矩阵向量求导(四) 矩阵向量求导链式法则
在机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法中，我们讨论了使用微分法来求解矩阵向量求导的方法。但是很多时候，求导的自变量和因变量直接有复杂的多层链式求导的关系，此时微分法使用起来也有些麻烦。需要一些简洁的方法。本文我们讨论矩阵向量求导链式法则，使用该法则很多时候可以帮我们快速求出导数结果。本文的标量对向量的求导，标量对矩阵的求导使用分母布局， 向量对向量的求导使用分子布局。如果遇到其他资料求导结果不同，请先确认布局是否一样。1. 向量对向量求导的链式法则首先我们来看看向量对向量求导的链式法
2020-08-12 14:35:25
686
原创 机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法
在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中，我们讨论了定义法求解矩阵向量求导的方法，但是这个方法对于比较复杂的求导式子，中间运算会很复杂，同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法。本文我们讨论使用微分法来求解标量对向量的求导，以及标量对矩阵的求导。本文的标量对向量的求导，以及标量对矩阵的求导使用分母布局。如果遇到其他资料求导结果不同，请先确认布局是否一样。1. 矩阵微分在高数里面我们学习过标量的导数和微分，他们之间有这样的关系：df=f′(x)dxdf=f'(x)dx
2020-08-12 13:49:08
485
原创 机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法
在机器学习中的矩阵向量求导(一) 求导定义与求导布局中，我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。对于本文中的标量对向量或矩阵求导这两种情况，如前文所说，以分母布局为默认布局。向量对向量求导，以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同，请先确认使用的求导布局是否一样。另外，由于机器学习中向量或矩阵对标量求导的场景很少见，本系列不会单独讨论这两种求导过程。1. 用定义法求解标量对向量
2020-08-12 12:35:27
443
原创 机器学习中的矩阵向量求导(一) 求导定义与求导布局
在之前写的上百篇机器学习博客中，不时会使用矩阵向量求导的方法来简化公式推演，但是并没有系统性的进行过讲解，因此让很多朋友迷惑矩阵向量求导的具体过程为什么会是这样的。这里准备用几篇博文来讨论下机器学习中的矩阵向量求导，今天是第一篇。本系列主要参考文献为维基百科的Matrix Caculas和张贤达的《矩阵分析与应用》。1. 矩阵向量求导引入在高等数学里面，我们已经学过了标量对标量的求导，比如标量y对标量x的求导，可以表示为∂y∂x\frac{\partial{y}}{\partial{x}}∂x∂y。
2020-08-12 10:34:39
419
原创 LSTM模型与前向反向传播算法
在循环神经网络(RNN)模型与前向反向传播算法中，我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。1. 从RNN到LSTM在RNN模型里，我们讲到了RNN具有如下的结构，每个序列索引位置t都有一个隐藏状态h(t)。如果我们略去每层都有的o(t),L(t),y(t)，
2020-08-11 17:07:01
413
原创 循环神经网络(RNN)模型与前向反向传播算法
在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写识别以及机器翻译等领域。1. RNN概述在前面讲到的DNN和CNN中，训练样本的输入和输出是比较的确定的。但是有一类问题DNN和CNN不好解决，就是训练样本输入是连续的序列,且序列的长短不一，比如基于
2020-08-11 14:55:26
666
原创 YOLOv4发布不到50天！YOLOv5它来了！
YOLOv4还没有退热，YOLOv5已经发布！6月9日，Ultralytics公司开源了YOLOv5，离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的！在我们还对YOLOv4的各种骚操作、丰富的实验对比惊叹不已时，YOLOv5又带来了更强实时目标检测技术。按照官方给出的数目，现版本的YOLOv5每个图像的推理时间最快0.007秒，即每秒140帧（FPS），但YOLOv5的权重文件大小只有YOLOv4的1/9。接下来一起了解一下最新的YOLOv5吧。更快更小
2020-08-10 11:26:40
288
原创 YOLOv4论文笔记详解
论文作者不再是YOLO 之父 Joseph Redmon，而是来自俄罗斯的 Alexey Bochkovskiy和两位台湾开发者Chien-Yao Wang、Hong-Yuan Mark Liao。论文地址：YOLOv4: Optimal Speed and Accuracy of Object Detection （Optimal ：最优的）Github上已经有了一些代码：YOLOv4 的 TensorFlow 2.0 实现：https://github.com/xiao9616/yolo4_ten
2020-08-10 09:57:47
1171
原创 我的博客人生
我从优快云诞生那天起，就是她的粉丝，不知不觉我跟她差不多一起走过了20年。毕业后的前10年，一直做着硬件与软件相关的事，在2009年的时候有机会再次进入学校学习，主攻人工智能，10年后的今天，回头看了看，觉得10年前的选择是正确的。最近几年国家也一直提人工智能，并且把人工智能提升为国家战略。过去人类经历了三次工业革命，有种预感人工智能会是第四次革命，过去的三次工业革命都不是在我们国家发起，所以我们的华为一直被西方打压，但我们的华为还是争气的。10年前写过一些软件开发相关的博客，后来再次深造学习，就没有再
2020-08-08 16:50:09
257
原创 基于Python的决策树分类器与剪枝
介绍决策树分类器是一种有监督的学习模型，在我们关心可解释性时非常有用。决策树通过基于每个层次的多个问题做出决策来分解数据决策树是处理分类问题的常用算法之一。为了更好地理解它，让我们看看下面的例子。决策树通常包括：根节点-表示被进一步划分为同质组的样本或总体拆分-将节点分为两个子节点的过程决策节点-当一个子节点根据某个条件拆分为其他子节点时，称为决策节点叶节点或终端节点-不进一步拆分的子节点信息增益-要使用一个条件(比如说信息最丰富的特征)来分割节点，我们
2020-08-08 13:46:44
305
原创 国内算法比赛平台一览
国内算法比赛平台一览DC竞赛：http://www.dcjingsai.com/阿里天池：https://tianchi.aliyun.com/京东JDATA：https://jdata.jd.com/DataFountain：https://www.datafountain.cn/Kesci：https://www.kesci.com/home/competition百度大脑：https://aistudio.baidu.com/aistudio/competition腾讯广告：https:
2020-08-08 12:34:24
1534
原创 收藏！深度学习必读10篇经典算法论文总结！
朋友们! 如需转载请标明出处：https://blog.youkuaiyun.com/jxessoft前言计算机视觉是将图像和视频转换成机器可理解的信号的主题。利用这些信号，程序员可以基于这种高级理解来进一步控制机器的行为。在许多计算机视觉任务中，图像分类是最基本的任务之一。它不仅可以用于许多实际产品中，例如Google Photo的标签和AI内容审核，而且还为许多更高级的视觉任务（例如物体检测和视频理解）打开了一扇门。自从深度学习的突破以来，由于该领域的快速变化，初学者经常发现它太笨拙，无法学习。与典型的软件工程
2020-08-08 12:31:30
3626
1
原创 哪些Python技术助力人工智能发展
有不少同学学习 Python 的原因是对人工智能感兴趣，有志于从事相关行业。今天我们来聊聊这个方向所需要的一些技能。这里我们主要谈论的是编程技能。如果你打算采用 Python 作为主要开发语言（这也是目前人工智能领域的主流），那么Python 的开发基础是必须得掌握的，这是一切基于 Python 开发的根基。你得对 Python 的基本语法、数据类型、常见模块有所了解，能正确使用条件、循环等逻辑，掌握 list、dict 等数据结构及其常用操作，了解函数、模块、面向对象的概念和使用等等。在对此已经熟练
2020-08-08 09:43:26
243
原创 Python和人工智能
朋友们! 如需转载请标明出处：https://blog.youkuaiyun.com/jxessoft我们经常听到”Python“与”人工智能“这两个词，也很容易混淆这两个词，那么Python和人工智能到底什么关系呢？Python人工智能工程师待遇怎么样？今天奇点就来为大家解答一下：关于PythonPython是一门计算机程序语言，目前在人工智能科学领域被广泛应用，广泛应用就表明各种库，各种相关联的框架都是以Python作为主要语言开发出来的。谷歌的TensorFlow大部分代码都是Python，其他语
2020-08-08 09:23:24
526
原创 聊聊人工智能的前世今生
声明这里只是聊聊，不作为任何官方组织的报料，如果有聊得不对的在方还请指正为感。另外，很多数据资料还从一些文献报到上摘录，如有冒犯之处，请联系我删除，谢谢。点点看法我既是一位人工智能的老手也是一位新手，他奶奶的，你这不是一个屁嘛，负负得正，老手新手不就是一个零蛋嘛。其实不能这么去看，我前10年是做底层的，后10年是做人工智能，在这10年里，虽然有些领域已经被我们攻克下来了，但那只是凤毛麟角，很多领域还是一个伪命题，还在探索、实验、认证之中。我们现在感觉到人工智能很厉害，比如AlphaGo、人脸识别、语
2020-06-08 11:03:37
451
原创 深度学习之GAN生成对抗网络
前言近年来，基于数据而习得“特征”的深度学习技术受到狂热追捧，而其中GAN模型训练方法更加具有激进意味：它生成数据本身。 GAN是“生成对抗网络”（Generative Adversarial Networks）的简称，由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年，GAN热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。Yann LeCun曾评价GAN是“20年来机器学习领域最酷的想法”。 在GAN这片新兴沃土，除了Ian Go
2020-05-26 11:31:17
2466
1
原创 DCN V2
Deformable ConvNets v2: More Deformable, Better Results分析DCNSpatial Support VisualizationEffective receptive fields理论上现在很多深层网络最后feature上每个位置的视野域都是铺满全图的，但是实际视野域中每个点对响应的不同，有效视野域即为输入扰动后实际能对输出产生影响的区域。比如求conv2上某一位置的有效视野域，那就依次扰动图像观察该位置处的输出变化，看看哪些像素点能对输出产生影响
2020-05-22 14:53:58
2351
原创 人工智能的发展历程
古老的遐想（神话，幻想等）只有敢想才能敢做，古人对“人工智能”早已有了自己的想象。在外国，希腊神话中已经出现了机械人和人造人，如赫淮斯托斯的黄金机器人和皮格马利翁的伽拉忒亚。中世纪出现了使用巫术或炼金术将意识赋予无生命物质的传说，如贾比尔的Takwin，帕拉塞尔苏斯的何蒙库鲁兹和Judah Loew的魔像。19世纪的幻想小说中出现了人造人和会思考的机器之类题材，例如玛丽·雪莱的《弗兰肯斯坦》和卡雷尔·恰佩克的《罗素姆的万能机器人》。在中国，远古神话中，女娲造人使原本的泥土有了活生生的气息，等等这样的例子非
2020-05-19 21:49:34
1585
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人