<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[问道于盲]]></title><description><![CDATA[龙猪骑士：修炼自己与发现世界]]></description><link>https://blog.youkuaiyun.com/arthur503</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; arthur503]]></copyright><item><title><![CDATA[编码器和解码器的概念理解]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/109452103</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/109452103</guid><author>arthur503</author><pubDate>Mon, 02 Nov 2020 16:44:20 +0800</pubDate><description><![CDATA[编码器和解码器最开始看概念的时候有点懵，因为说编码器先把原始信号给编码，然后解码器再给解出来得到原始信号。哈？这是干啥，原始信号本来就有，用这个搞啥，做无用功吗？

1. 首先，说一下编码器和解码器干什么用的。

我们举个例子。

一个是，类似PCA这样的，做矩阵分解，然后恢复。矩阵分解里，把原始大矩阵变成了几个小矩阵相乘，信息没有丢失，但需要存储的数据变少了很多。虽然解码的时候需要额外的计算，但相比起来，小矩阵更符合我们的需求。实际使用的例子，如，图片的传输。以往，是一行一行的像素传输的，所以，网速慢的时]]></description><category></category></item><item><title><![CDATA[什么是张量（tensor）？]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/109314087</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/109314087</guid><author>arthur503</author><pubDate>Tue, 27 Oct 2020 16:33:53 +0800</pubDate><description><![CDATA[1. 为什么有多个维度？

几维/阶张量，是说它的基坐标有几个的张量。如：

0维张量（tensor of rank 0），就是标量，是说它的基向量是0组，也就是说，没有基向量，这样，就是没有方向的数字，就是标量。

1维张量（tensor of rank 1），就是向量。它的基向量是1组，能够表示方向（基坐标的方向）和长度（数字），这个就是向量。

2维张量（tensor of rank 2），就是矩阵。他的基向量是2组。为什么是两个呢？是为了描述更多的物理场景。比如说，我们要描述一个平面上受力这样...]]></description><category></category></item><item><title><![CDATA[softmax函数为什么叫softmax？]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/109295908</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/109295908</guid><author>arthur503</author><pubDate>Mon, 26 Oct 2020 18:58:03 +0800</pubDate><description><![CDATA[之前一直很奇怪这个名字，本身是做一个类似归一化的动作，把整体一个vector“压缩”成一个符合概率分布的样子，为什么叫softmax呢？

今天查了下，看了下部分答案，大概写一下理解。

softmax，是和hard-max来对应的。

他完成了两个功能，一个是max，一个是soft。

max部分：softmax函数处理之后，整体最大的值还是最大值，这个排序顺序没有变化，相当于大小顺序的信息没有丢失；

soft部分：soft意味着，是一种可以反向恢复的一种转换。与之对应的，是hard转换。比如说，我们定]]></description><category></category></item><item><title><![CDATA[#论文 《Towards Binary-Valued Gates for Robust LSTM Training》]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/81985769</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/81985769</guid><author>arthur503</author><pubDate>Thu, 23 Aug 2018 18:23:41 +0800</pubDate><description><![CDATA[前两周就看到这篇论文的微信号文章介绍了，今天有空拿出来看一下，梳理一下思想。

这个论文主要解决的是在LSTM中，发现记忆门和遗忘门的值的分布不够显著，和LSTM设计思想中想让门表示记忆或者遗忘的意思不太一致，所以论文作者提出了用一种方法（Gumbel- Softmax estimator）来对门中的阈值进行改进，从而让阈值更加显著的趋向0或者1，近似二值化。这样做有几个好处：


	和设计遗忘门...]]></description><category></category></item><item><title><![CDATA[#论文 《Deep Residual Learning for Image Recognition》]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/81289472</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/81289472</guid><author>arthur503</author><pubDate>Mon, 30 Jul 2018 17:58:18 +0800</pubDate><description><![CDATA[2015年的paper，微软何凯明等。

解决的问题：


	梯度消失/爆炸问题；
	
	
	
		之前的解决方案：This problem, however, has been largely addressed by normalized initial- ization [23, 9, 37, 13] and intermediate normalization layers [16], w...]]></description><category></category></item><item><title><![CDATA[#论文 《ImageNet Classification with Deep Convolutional Neural Networks》]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/81095281</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/81095281</guid><author>arthur503</author><pubDate>Wed, 18 Jul 2018 11:28:12 +0800</pubDate><description><![CDATA[这个Alex是第一作者，NN名字叫AlexNet，Hinton是第三作者。是第一个提出CNN的，还有dropout等方法。

 

1 Intro

 

CNN与之前的标准前馈神经网络对比：连接和参数更少，因此更容易训练；而且它的理论最佳只是比之前的稍差。

 

GPU让训练CNN成为可能。而且，ImageNet也足够大，这样不怕过拟合。

 

本文贡献：

训练了最佳的CNN；

有tri...]]></description><category></category></item><item><title><![CDATA[#论文 《Wide & Deep Learning for Recommender System》翻译]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/80878117</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/80878117</guid><author>arthur503</author><pubDate>Sun, 01 Jul 2018 22:07:23 +0800</pubDate><description><![CDATA[只是为了深化个人理解，翻译了一下梗概。不追求信达雅，只翻译大意。概要：使用非线性特征的广义线性模型（GLM）广泛应用在大规模，输入变量稀疏的回归和分类问题中。其中，通过关于交叉特征的wide模型，对特征间关系的memorization达到了有效和可解释的结果，但同时，也需要很多精力投入在特征工程上。与之对应的，deep模型不需要很多特征工程，通过从系数特征中学习到的低纬稠密特征，可以更好的对没见过...]]></description><category></category></item><item><title><![CDATA[python的可变长参数]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/51214128</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/51214128</guid><author>arthur503</author><pubDate>Thu, 21 Apr 2016 23:49:42 +0800</pubDate><description><![CDATA[测试了下python的可变长参数。
注意如下：
1. *对应的是元组，**对应的是dict。
所以，在设定参数的时候，可以不用*args1和**args2，而是使用args1, args2来接收。这样的好处是，可以传递多个函数的参数。如：下面定义的fuction p，就传了两对参数。
2. 使用对应元组和dict的时候，与接收相同，仍为：*args1, **args2.
3. 传递元组参]]></description><category></category></item><item><title><![CDATA[hadoop streaming部分问题总结]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/51199324</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/51199324</guid><author>arthur503</author><pubDate>Wed, 20 Apr 2016 11:46:25 +0800</pubDate><description><![CDATA[来源：
https://hadoop.apache.org/docs/r1.2.1/streaming.html#Generic+Command+Options



文档还是要好好看，中间遇到的好多问题文档中都有。之前看的时候没有感觉，等遇到了问题再来看，就知道是啥了。
=========================================================]]></description><category></category></item><item><title><![CDATA[Hadoop streaming： Exception in thread "main" java.io.IOException: No space left on device]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/51068918</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/51068918</guid><author>arthur503</author><pubDate>Tue, 05 Apr 2016 22:42:42 +0800</pubDate><description><![CDATA[在使用Hadoop streaming时，遇到报错如标题：
packageJobJar: [mapper_sim.py, reducer_sim.py, XXX files, /tmp/hadoop-unjar2957146529644350496/] [] /tmp/  streamjob2631394570007422828.jar tmpDir=null
Exception in thr]]></description><category></category></item><item><title><![CDATA[mysql中<>与null值不能比较]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/50991317</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/50991317</guid><author>arthur503</author><pubDate>Sun, 27 Mar 2016 13:24:56 +0800</pubDate><description><![CDATA[在mysql中，选择某field为不等于某值的时候，使用
查原因为：
null值不能与其他值进行比较，只能使用is null或is not null来进行判断。
所以，限制条件需要写:
(field is null or field
这样才行。


参考链接：
http://jingyan.baidu.com/article/9113f81b2adc882b3214c7cb.ht]]></description><category></category></item><item><title><![CDATA[Hadoop put file 错误：fs.FSInputChecker: Found checksum error]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/50863900</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/50863900</guid><author>arthur503</author><pubDate>Sat, 12 Mar 2016 09:35:32 +0800</pubDate><description><![CDATA[Hadoop往hdfs上put file的时候，今天报错如下：
16/03/12 08:15:17 INFO fs.FSInputChecker: Found checksum error: b[0,                                                                                                   ]]></description><category></category></item><item><title><![CDATA[Hadoop Streaming二次排序]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/50387924</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/50387924</guid><author>arthur503</author><pubDate>Wed, 23 Dec 2015 16:28:36 +0800</pubDate><description><![CDATA[由于Hadoop机器内存不足，所以需要把数据mapred进来跑。
这样，就需要，同一个key下的输入数据是有序的，即：对于keyA的数据，要求data1先来，之后data2再来……。所以需要对data进行二次排序。


-D stream.num.map.output.key.fields=2

这个，可以设置在map之后，进行partition时，使用前两个tab的数据进行排序（包括]]></description><category></category></item><item><title><![CDATA[正则提取编码解码问题]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/49635631</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/49635631</guid><author>arthur503</author><pubDate>Wed, 04 Nov 2015 11:50:21 +0800</pubDate><description><![CDATA[p = re.compile(u'《(.*?)》') # 使用unicode编码
vid_drama_list = p.findall(info_util.get_id_field(vid,"name_cn").decode("utf8"))
# utf8解码为unicode

vid_drama_list = [x.encode("utf8") for x in vid_drama_li]]></description><category></category></item><item><title><![CDATA[awk打印第一个字母]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/49474685</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/49474685</guid><author>arthur503</author><pubDate>Wed, 28 Oct 2015 21:32:30 +0800</pubDate><description><![CDATA[题目：统计字典中，以不同字母开头的单词的个数。
想要用awk把第一个字母打印出来，sort一下，uniq一下即可。
awk中，打印第一个字母使用substr函数，后面两个是start和end。
awk '{print substr($1,1,1)}']]></description><category></category></item><item><title><![CDATA[linux中sort不对的问题]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/49473905</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/49473905</guid><author>arthur503</author><pubDate>Wed, 28 Oct 2015 20:41:29 +0800</pubDate><description><![CDATA[cat d.check_sort.v2 
15/16赛季 测试
15/16赛季 罗马
15/16 青岛男篮
15/16 高尔夫
15/16 美巡赛
15/16 英超


cat d.check_sort.v2 |sort
15/16 美巡赛
15/16 英超
15/16赛季 测试
15/16赛季 罗马
15/16 青岛男篮
15/16 高尔夫


磊哥认为是因为]]></description><category></category></item><item><title><![CDATA[Hadoop的mapper输出中key和value之间的分隔符]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/49473763</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/49473763</guid><author>arthur503</author><pubDate>Wed, 28 Oct 2015 20:38:37 +0800</pubDate><description><![CDATA[Hadoop的mapper输出中key和value之间的分隔符必须是tab，而不能是空格，否则，会把整条记录都当做key来进行sort，导致sort后出错。]]></description><category></category></item><item><title><![CDATA[python logging 毫秒级别的时间打印]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/49359241</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/49359241</guid><author>arthur503</author><pubDate>Fri, 23 Oct 2015 11:36:11 +0800</pubDate><description><![CDATA[需要查看代码性能，所以需要毫秒级别的打印。但是，在logging包中，查了源码之后确认使用的是time包的datefmt。而查看Python的doc文档，在time包中并没有提供毫秒的datefmt，所以，只能重写logging中取时间的函数。如下：


class Formatter(logging.Formatter):
    def formatTime(self, record, ]]></description><category></category></item><item><title><![CDATA[异常空格，ASCII (194,160)问题]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/49158569</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/49158569</guid><author>arthur503</author><pubDate>Thu, 15 Oct 2015 21:06:44 +0800</pubDate><description><![CDATA[今天遇到了个异常空格的问题，与：http://www.cnblogs.com/wangyuyu/p/3711887.html 一致。
写了两行hive语句，看起来完全一样，但是就是一个可以执行，一个不可以。diff出两者不同，但是死活看不出来。
后来发现，由于一个是从qq中copy到onenote中再copy出来的，可能中间发生了转化。具体见下。
----------------------]]></description><category></category></item><item><title><![CDATA[蹬N级阶梯有几种走法]]></title><link>https://blog.youkuaiyun.com/arthur503/article/details/48575709</link><guid>https://blog.youkuaiyun.com/arthur503/article/details/48575709</guid><author>arthur503</author><pubDate>Sat, 19 Sep 2015 15:52:49 +0800</pubDate><description><![CDATA[今天蹲大的时候，想着这道题，逆向想通了，记下来。
题目：
有N级阶梯，往上走的时候，有两种走法：走1级或走2级。问，蹬上N级阶梯，总共有多少总解法。
正向想很容易陷进去前面走的是否有重复、交叉一类的思维陷阱中。逆向就好想了：
我们先假设：N级阶梯总共有k(n)中解法。
人在走最后一步的时候，只有两种解法：走一步或走两步。所以，k(n)就和k(n-1)和k(n-2)有关。即：
k(n) ]]></description><category></category></item></channel></rss>