- 博客(46)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 为什么神经网络无法用解析解来解？
这个是面试是遇到的这个问题。说对于线性回归，可以用normal equation来解，但是为何deep learning没法用解析解？当时答得略差。从网上找答案暂时也没有特别好的答案，因此我自己想了一下，总结在这里。对于类似于sigmoid、tanh还有什么softplus之类奇奇怪怪的激活函数来说，以及类似交叉熵之类的损失函数来说，前向推断直接求导之后等于0，求极值，这个方程是超越方程，没有解析解。事实上人类能解的方程很少的。即使是最简单的多项式方程来说，大于等于5次的，都没有解析解求解（ Abel
2021-07-30 15:54:37
1320
原创 ubuntu下好用的工具汇总
目录查看系统资源GlancesHtop查看系统资源Glanceswin下有资源管理器，Ubuntu的不太好用，推荐一个glances，很好用，可以查看磁盘io情况，网络io情况Htop查看个个CPU的情况，对于进程中子线程也能查看...
2020-06-15 18:07:47
964
原创 商业与机器学习
目录背景ML SurpriseML的10大陷阱业务中ML从无到有的5个阶段背景关于机器学习（Machine Learning，ML）技术方面的文章和书籍已经非常多了。但是关于企业、商业和ML结合的一些思路方法却非常少。最近看了Coursera上How Google Does ML的课程，刚好可以总结一下这方面的内容。ML Surprise所谓的surprise是这样的：如果我们把企业使用M...
2019-03-31 22:57:45
546
原创 Fast.ai Machine Learning for coders - Lesson 1
之前一直在吴恩达的公开课那块学习，一方面学习了一些算法以及思想，另一方面也了解了一些理论。现在开始看 fast.ai，以实践著称。作者Jeremy Howard并不是学术圈的人，是工业界的人，在Kaggle 2010和2011上得了冠军。其实有的时候啊，学术圈总是弄个准确率增加了0.1%啥的，类似于通信圈写了8页纸然后增加0.1 dB。所以想看看这种实践性的人是怎么考虑问题的。 因为是实践...
2018-11-04 23:01:42
606
原创 吴恩达Deeplearning.ai 知识点梳理（course 5，week 3）
本周主要讲了多种sequence to sequence结构，包括conditional language model，beam searching，bleu，attention，speech recognition，以及trigger word detection。目录Basic ModelPick The Most Likely SentenceBeam SearchRefinement...
2018-09-23 10:19:55
406
原创 吴恩达Deeplearning.ai 知识点梳理（course 5，week 2）
本周主要讲Word Embeddings，Word Embedding IntroWord Representation 之前我们表示word，都是采用one-hot进行表示。这种方式有一个缺点，就是词和词之间是正交的。但是事实上词和词之间是有关系的。举个例子来说，I want a glass of orange ( )，一般就填juice，现在就算我们的languag...
2018-09-15 23:19:44
321
转载 What are good ways to handle discrete and continuous inputs together?
Rescale bounded continuous features: All continuous input that are bounded, rescale them to [-1, 1] through x = (2x - max - min)/(max - min). Standardize all continuous features: All continuous input...
2018-09-09 17:29:56
276
原创 吴恩达Deeplearning.ai 知识点梳理（course 5，week 1）
本周主要讲的是基本的RNN。包括：序列的例子，RNN，根据输入输出的情况对RNN分类，为了解决记忆问题的GRU和LSTM，为了解决前后依赖关系的Bidirectional RNN，以及Deep RNN。
2018-09-09 17:28:37
547
原创 吴恩达机器学习笔记week11
本周主要是讲了一个OCR的案例。主要内容是machine learning pipeline， text detection，character segmentation，data synthesis，以及ceiling analysis。Machine Learning Pipeline 数据集比较多的时候，可能端到端训练更好，但是数据集比较少的时候，可能PipeLine更有效一些...
2018-09-02 12:05:22
499
原创 吴恩达机器学习笔记week10
本周主要讲的是大规模的机器学习。其实里边很多内容在deeplearning.ai里边都讲过了。所以这里就把之前没有的部分做个总结。大规模数据的意义 Banko and Brill, 2001发表的一个文章发现，只要数据规模变大，那么很多的算法表现得都很好。所以其实数据是机器学习里边非常重要的一个部分。 但是呢，这个argument成立的前提条件是所选的算法是一个bias很小...
2018-09-02 11:39:58
1012
原创 吴恩达机器学习笔记week9
本周主要讲异常检测和协同过滤算法。异常检测Motivation 异常检测主要的motivation是我们可能有很多正常的样本，异常样本很少，然而异常样本才是业务中感兴趣的正样本，这个时候我们无法使用分类。一方面是因为正样本太少了，另一方面，其实我们也不知道异常样本到底都有那些类，在这种情况下，我们就会使用异常检测这种方式进行。主要思路 主要思路就是负样本有一个分布，...
2018-09-01 22:29:40
527
原创 吴恩达机器学习课笔记week 6
其实这节课主要还是再将ML Strategy，但是我觉得有几个点很好，总结在这里：评价模型时：首先有一个对Hypothesis的评价指标，错误率啊，正确率啊，等等。然后肯定也得有train/val/test数据集了。这里是小数据集划分方法60/20/20这种。然后就是训练和cross validation了。诊断bias vs viarance 这个已经说过很多次了。 截...
2018-08-15 16:26:59
477
原创 DNN反向传播推导的严格表述
近期把DNN的反向传播由好好的研究了一下。之前一直有疑虑是因为很多文档里边出现∂z(l+1)∂z(l)∂z(l+1)∂z(l)\frac{\partial z^{(l+1)}}{\partial z^{(l)}}这种表达式，然后z(l+1)z(l+1) z^{(l+1)}和z(l)z(l) z^{(l)}还是矩阵，这下就变得非常烦人了，因为没有哪本数学书定义了矩阵对矩阵的导数。只有标量函数对矩...
2018-08-07 21:05:48
356
原创 深度学习中的Matrix Calculus (3)： Kronecker Product
Kronector积+向量化是向量对矩阵求导，矩阵对矩阵求导的重要利器，主要思想就是将矩阵按列排成一一个列向量，然后求导，通过kronector积进行化简。需要注意的是，最后得到的矩阵其实是行向量，或者雅克比矩阵，需要再按照反vector化回去。 ...
2018-06-28 10:33:33
3324
原创 深度学习中的Matrix Calculus (2)： Trace And Matrix Differential
本篇主要内容就是矩阵标量函数的求导，基本思路就是： 给标量函数套上迹trace； 利用迹和矩阵微分的性质进行化简，化简到df=tr((∂f∂x)Tdx)df=tr((∂f∂x)Tdx)df=\rm{tr} \left(\left(\frac{\partial f}{\partial x}\right)^Td\mathbf{x}\right)就可以了 然后就可以得到∂f∂x∂...
2018-06-28 10:09:26
611
原创 深度学习中的Matrix Calculus (1)： Jacobian And Chain Rule
在深度学习里边，一个最重要的过程是Back Propagation，也就是计算梯度用于做梯度下降优化。然而在BP中，充斥着大量的矩阵微分运算以及各种转化技巧，导致没有学过矩阵论或者矩阵分析的童鞋感到压力山大，所以《深度学习反向求导》这个系列文章主要用最简洁的内容把Matrix Calculus这块的所需内容阐述一遍。背景：以DNN为例 DNN，也就是隐含层基本上都是全连接这种神经...
2018-06-26 16:13:18
1473
原创 Matrix Calculus Reference Links
http://explained.ai/matrix-calculus/index.html 基本的内容，主要涵盖多元微积分的Jacobian矩阵等。https://www.comp.nus.edu.sg/~cs5240/lecture/matrix-differentiation.pdf 很有用的ppt，把基本的一些东西讲清楚了，还有一些公式列表。https://www.math....
2018-06-26 11:57:28
476
原创 基本产品与商业逻辑
这是一个随笔。 周末开车出去玩，途中一直在听刘润《五分钟商学院》，听到一个案例，觉得不错，记录在这里。 产品，或者说基本的商业逻辑其实很简单，总结成几句话就是：人无我有，人有我优，人优我廉。这个可以说是高度精炼了整个产品/服务的战略逻辑。然后讲了一个案例。一个公司的产品是玉米种子。这个玉米种子一直以来比别家的玉米种子质量好。这个阶段是人有我优。然而这几年很多公司的玉米种子的质量越来...
2018-06-04 10:28:38
1446
原创 Nvidia GPU架构 - Cuda Core，SM，SP等等傻傻分不清？
背景 在深度学习大热的年代，并行计算也跟着火热了起来。深度学习变为可能的一个重要原因就是算力的提升。作为并行计算平台的一种，GPU及其架构本身概念是非常多的。下面就进行一个概念阐述，以供参考。GPU：显存+计算单元 GPU从大的方面来讲，就是由显存和计算单元组成： 显存（Global Memory）：显存是在GPU板卡上的DRAM，类似于CPU的内存，就是那堆DD...
2018-05-25 12:02:27
80681
12
原创 一些开源数据集
http://web.inf.ufpr.br/vri/databases/ Brazilian Forensic Letter (V1.0 – 2008) Authorship Attribution Database (V1.0 – 2011) Forest Species Recognition (Macroscopic Images) (V2.0 2012) Forest Speci...
2018-05-25 09:26:26
2627
原创 机器学习中对矩阵的迹（trace）求导的一些操作
机器学习中经常涉及到一些优化工作，尤其是对F-Norm转化成矩阵的迹（trace）来求导的，这里写一下常用的情况，供参考
2018-05-10 09:43:12
19844
14
转载 Single Bounding Box Regression（转载）
转载出处：https://blog.youkuaiyun.com/weixin_35653315/article/details/54571681
2018-04-20 10:54:49
303
1
原创 目标检测（Object Detection）中性能衡量指标mean Average Precision（mAP）的含义与计算
背景 之前在研究Object Detection的时候，只是知道Precision这个指标，但是mAP（mean Average Precision）具体是如何计算的，暂时还不知道。最近做OD的任务迫在眉睫，所以仔细的研究了一下mAP的计算。其实说实话，mAP的计算，本身有很多现成的代码可供调用了，公式也写的很清楚，但是我认为仔细的研究清楚其中的原理更重要。 AP这个概念，其实主要是在...
2018-04-18 18:36:59
42452
8
原创 薛兆丰经济学课 1-1 人性与稀缺：经济学视角
经济学普适性的讨论：战俘营里的经济组织内容提要 我们看到的社会，只要有人在，就会有需求在。 只要有两个以上的人在，他们的需求就会不一样，需求不一样就会有交易。 有交易就会产生对货币的需求，有货币就有劣币驱逐良币的现象，有货币就有宏观经济波动，有通缩有通胀。 有交易就有信息不对称，有信息不对称就有中间商。 有人的地方就有情绪、舆论、就有外部性，于是战俘营里边发生...
2018-03-10 21:03:13
4011
原创 吴恩达Deeplearning.ai 知识点梳理（course 3，week 2）
本周主要讲的是Error Analysis、Mismatched Training and dev/test set，transfer learning，End to end learning几个话题。Error AnalysisCarrying out error analysis 在做错误分析的时候，最好是从错误的分类结果里边拿出100个左右的样本，做一个统计，究竟是那些...
2018-02-23 13:48:03
813
原创 吴恩达Deeplearning.ai 知识点梳理（course 3，week 1）
这周主要讲的是ML StrategyWhy ML Strategy? 为什么要有ML Strategy呢？所谓战略，就是指通往目标的正确路径。（使命、愿景、战略：CEO最重要的三项工作）因为ML尤其是DeepLearning，有太多东西太多方向可以选择了，那么究竟哪一条路才是最高效的通向目标的呢？这就是本周要说的。Orthogonalization 首先要有一个概念，就...
2018-02-22 16:42:39
364
原创 吴恩达Deeplearning.ai 知识点梳理（course 2，week 3）
这周主要讲的是超参数的调试、Batch Norm以及多分类。Hyperparameter TuningTuning Process 一般来说，最重要的就是那个Learning_rate，也就是αα\alpha。第二重要的一般是动量参数ββ\beta以及Hidden Units的数量，还有mini-batch的大小。第三是层数以及learning_rate decay，最后是a...
2018-02-19 11:21:50
320
原创 吴恩达Deeplearning.ai 知识点梳理（course 2，week 2）
本周内容主要讲的是加速训练优化。Mini-BatchMini-Batch主要是为了解决训练神经网络时如下问题： 一方面，神经网络需要大量的数据，计算量就比较大。如果每次计算数百万个样本，然后得到一个梯度，然后下降一步，那么整个过程就会很慢。 另一方面，深度学习需要大量尝试，所以如果每做一次训练，速度很慢，那么调参过程就很慢了。 Mini-Batch如何做呢？...
2018-02-15 16:33:20
478
原创 吴恩达Deeplearning.ai 知识点梳理（course 2，week 1）
Course 2主要讲的是实践，以及让神经网络工作的更好。Traing/Dev/Test Set 在Machine Learning中，一般会将数据集分成Training Set，Develop Set以及Test Set。Training Set用于训练模型，Develop Set用于评估不同模型的性能（hold out/cross validation），Test Set用于最终...
2018-02-12 12:32:51
643
原创 吴恩达Deeplearning.ai 知识点梳理（course 4，week 4）
本周是Special ApplicationFace RecognitionFace问题有两种，一种是Face Verification，另一种是Face Recognition。 问题定义如下 Verification 输入是Image+name/ID 输出是这个Image和name/ID是否匹配 Recoginition
2018-01-10 15:33:43
595
原创 吴恩达Deeplearning.ai 知识点梳理（course 4，week 3）
Object Localization问题的描述Object Classification是指一张图片，里边有一个车，判断是不是车的图片Object Classification with Localization，是指判断出来这个是车的图片，同时框出车的位置Object Detection是指图片里有多个目标，然后把他们都检测出来并给出它们的位置。 一般来说，Classifi
2018-01-04 15:25:45
372
原创 吴恩达Deeplearning.ai 知识点梳理（course 4，week 2）
Classic NetworkLeNet - 5LeNet-5是1998年的，非常早期，总共有60k个parameter，有如下几个特点： 1. 结构已经是conv pool conv pool FC FC Output 这种架构，可以看出来当年使用的还是avg pool，现在经常用的是max pool； 2. 随着层次增加nH,nWnH,nWn_H, n_W下降，nCnCn_C上...
2017-12-26 19:03:28
667
原创 路径规划A*算法
A*算法是在Dijkstra算法上进行改进，毕竟，我们是知道终点和起点的位置信息的，Dijkstra算法完全是四面八方全都找，然而我们既然已经知道，比方说重点在起点的北方，那么完全可以直接往北方搜索。所以算法综合了Best-First Search和Dijkstra算法的优点：在进行启发式搜索提高算法效率的同时，可以保证找到一条最优路径（基于评估函数）。在此算法中，如果以g(n)表示从起点到任意顶点
2017-12-10 11:42:17
12296
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人