<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Sigh～]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lightty</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lightty]]></copyright><item><title><![CDATA[Softmax Regression]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52267417</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52267417</guid><author>lightty</author><pubDate>Sun, 21 Aug 2016 15:19:41 +0800</pubDate><description><![CDATA[原文：http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html


softmax，互斥
k个logistic，多分类
-------------------------------------------------------------------------------------------------]]></description><category></category></item><item><title><![CDATA[再谈机器学习中的归一化方法（Normalization Method）]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52267307</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52267307</guid><author>lightty</author><pubDate>Sun, 21 Aug 2016 14:56:07 +0800</pubDate><description><![CDATA[转自 http://blog.youkuaiyun.com/zbc1090549839/article/details/44103801




min-max, z-score 等

=========================================================







机器学习、数据挖掘工作中，数据前期准备、数据预处理过程、特征提取等]]></description><category></category></item><item><title><![CDATA[CNN RNN 杂想]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52141929</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52141929</guid><author>lightty</author><pubDate>Sun, 07 Aug 2016 11:36:20 +0800</pubDate><description><![CDATA[CNN，卷积，其实就是映射，这个空间，映射到另一个空间。然而，卷积的移动，这个很有趣。就像是我们所处的时间，其实是有时间这个维度的，但是我们感受不到。但是这个卷积的移动，就把时间的这个维度，也映射到了另一个空间！
Batch取全部时，看到的是只有一个曲面，速度快，但不是最优。所以，有小一点的batch，随机性。但是，只取一个的时候，SGD，随机性有时会很大，难以收敛
CNN，多少个output ch]]></description><category></category></item><item><title><![CDATA[个人理解的在线推荐]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52033911</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52033911</guid><author>lightty</author><pubDate>Tue, 26 Jul 2016 11:11:02 +0800</pubDate><description><![CDATA[个人理解的：
为什么要做 
因为离线的数据太大了，比如user_id * item_id 的量级太大，不可能都离线算好，等到某个 user 来的，直接查表，得到item_id的排序
因为需要根据一些在线的特征来计算（当然也会有离线的特征），比如当前浏览的类目、当前时间段、等等之类的
因为需要实时反映一些新的模式。以前的模型，可能是事先算好的，一周更新一次（在线用的，也是这个事先算好的模型，只是会有部]]></description><category></category></item><item><title><![CDATA[机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52033744</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52033744</guid><author>lightty</author><pubDate>Tue, 26 Jul 2016 10:58:09 +0800</pubDate><description><![CDATA[原文：http://blog.youkuaiyun.com/u012162613/article/details/44265967




本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）



学习速率（learning rate，η）

运用梯度下降算法进行优化时，权重的]]></description><category></category></item><item><title><![CDATA[Batch Normalization & Layer Normalization]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52033641</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52033641</guid><author>lightty</author><pubDate>Tue, 26 Jul 2016 10:50:26 +0800</pubDate><description><![CDATA[Batch Normalization： 
原文：Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate Shift 
详细说明：http://blog.youkuaiyun.com/hjimce/article/details/50866313 
理解：http://blog.csdn.ne]]></description><category></category></item><item><title><![CDATA[机器学习中的范数规则化之（一）L0、L1与L2范数]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52032967</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52032967</guid><author>lightty</author><pubDate>Tue, 26 Jul 2016 10:01:58 +0800</pubDate><description><![CDATA[原文：http://blog.youkuaiyun.com/zouxy09/article/details/24971995


主要思想：
1. L0，是非0的个数，但是NP，所以一般选择L1
2. L1，稀疏，特征选择
3. L2，防止过拟合


====== 原文 ===========






机器学习中的范数规则化之（一）L0、L1与L2范数

zouxy09]]></description><category></category></item><item><title><![CDATA[batch-GD， SGD， Mini-batch-GD， Stochastic GD， Online-GD -- 大数据背景下的梯度训练算法]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52032743</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52032743</guid><author>lightty</author><pubDate>Tue, 26 Jul 2016 09:58:45 +0800</pubDate><description><![CDATA[原文地址：http://www.cnblogs.com/richqian/p/4549590.html

另外有一篇讲batch size的：https://www.zhihu.com/question/32673260







主要思想：

1. batch，全部样本的梯度都算了，累加一起，做变化。

2. mini-batch，一部分一部分的样本，做变化。
]]></description><category></category></item><item><title><![CDATA[bootstrap, boosting, bagging 几种方法的联系]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/52023214</link><guid>https://blog.youkuaiyun.com/lightty/article/details/52023214</guid><author>lightty</author><pubDate>Mon, 25 Jul 2016 14:15:52 +0800</pubDate><description><![CDATA[转：http://blog.youkuaiyun.com/jlei_apple/article/details/8168856这两天在看关于boosting算法时，看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍，以下是搜索得到的原文，没找到博客作者的地址，在这里致谢作者的研究。一并列出一些找到的介绍boosting算法的]]></description><category></category></item><item><title><![CDATA[知识图谱]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51875660</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51875660</guid><author>lightty</author><pubDate>Mon, 11 Jul 2016 00:35:31 +0800</pubDate><description><![CDATA[周末讲座的内容，很泛的了解。 
另外，transE   优化目标，头实体+关系=尾实体，低维语义表示，这想法赞。建模！或者参考这篇：http://www.tuicool.com/articles/jEzmUv一
开始的是one hot，cout base distribute representation，再到后面的同一语义空间
第一方面，三元组的形式 
transE   优化目标，头实体+关系=尾]]></description><category></category></item><item><title><![CDATA[CNN for NLP]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51818067</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51818067</guid><author>lightty</author><pubDate>Mon, 04 Jul 2016 01:04:01 +0800</pubDate><description><![CDATA[强烈推荐：http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp论文：《Convolutional Neural Networks for Sentence Classification》Tensorflow 实现blog：http://www.wildml.com/2015/12/imple]]></description><category></category></item><item><title><![CDATA[Word2Vec Sent2Vec]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51817882</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51817882</guid><author>lightty</author><pubDate>Mon, 04 Jul 2016 00:03:29 +0800</pubDate><description><![CDATA[好好研究了下Word2Vec和Sent2Vec的代码，推导了下公式，花费了不少的时间，不过清晰了很多。源代码参考：https://github.com/klb3713/sentence2vec理论上是分两部分，首先是进行Word2Vec的，获得词向量，以及权重等。然后再进行Sent2Vec的处理，基于已有的Word Vector以及网络权重。Word2Vec
预测目标
总体的目标是，词向量作为输入（]]></description><category></category></item><item><title><![CDATA[Stanford 中文分词]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51766602</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51766602</guid><author>lightty</author><pubDate>Mon, 27 Jun 2016 10:10:55 +0800</pubDate><description><![CDATA[http://nlp.stanford.edu/software/segmenter.shtml
https://github.com/jiekechoo/NLPStudy
http://blog.youkuaiyun.com/shijiebei2009/article/details/42525091
貌似实际用的不是这几篇。中间2. github上那篇，是怎么在maven中使用，通过properties文件]]></description><category></category></item><item><title><![CDATA[JAVA WordVec 的一个实现]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51766506</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51766506</guid><author>lightty</author><pubDate>Mon, 27 Jun 2016 09:55:35 +0800</pubDate><description><![CDATA[https://github.com/NLPchina/Word2VEC_java这个亲测可用。 
然而 Word2VEC 里的 sum 函数错了，返回的是引用，要修改。下面逻辑还是有点绕，有想法了再改得清爽点：private float[] sum(float[] center, float[] fs) {
        if (fs == null) {
            if (cen]]></description><category></category></item><item><title><![CDATA[python scikit learn 模板]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51766434</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51766434</guid><author>lightty</author><pubDate>Mon, 27 Jun 2016 09:46:39 +0800</pubDate><description><![CDATA[原文： 
http://blog.youkuaiyun.com/zouxy09/article/details/48903179代码如下：#!usr/bin/env python  
# -*- coding: utf-8 -*-import sys
import os
import time
from sklearn import metrics
import numpy as np
import cPick]]></description><category></category></item><item><title><![CDATA[语法分析器]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51737105</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51737105</guid><author>lightty</author><pubDate>Wed, 22 Jun 2016 21:27:40 +0800</pubDate><description><![CDATA[这个博客，讲得很细了： 
http://codemany.com/blog/reading-notes-the-definitive-antlr4-reference-part1/ANTLR v4是一款强大的语法分析器生成器，可以用来读取，处理，执行和转换结构化文本或二进制文件。通过文法文件，ANTLR可以自动生成词法分析器、语法分析树和树遍历器。两种。词法和语法。词法是大写的，语法是小写的。类似正]]></description><category></category></item><item><title><![CDATA[平滑]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51550319</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51550319</guid><author>lightty</author><pubDate>Tue, 31 May 2016 23:45:01 +0800</pubDate><description><![CDATA[有很多种。
一次的 
平均 
前面窗口的均值
问题是： 
需要记录多个数
不能对近期的数进行加权
指数 
Ft+1 = alpha * Xt + (1 - alpha) * Ft
前一项即可，前一项预测与真实的差异
二次的 
平均 
针对上面一次的问题，进行二次再求平均，然而问题也是类似的
指数 
布朗： 
算两次指数平滑，求得对应的at，bt，然后预测m期后结果
霍尔特 
前一期的参数直接修正
布]]></description><category></category></item><item><title><![CDATA[指代消歧]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51504987</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51504987</guid><author>lightty</author><pubDate>Thu, 26 May 2016 10:28:22 +0800</pubDate><description><![CDATA[综述性文章《指代消解的基本方法和实现技术》。 
分为两种，回指和共指。 
有很多种处理方法。 
开始的是基于规则的方法，比如hobbs（类似往前找合适的NP）、中心理论（向回看中心、向前看中心），然后基于句法的方法，以及基于训练集的方法，比如SVM等等（Deep Learning等也可以用了http://tcci.ccf.org.cn/conference/2013/NLPCC2013papers/]]></description><category></category></item><item><title><![CDATA[java 注解与动态代理]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51495957</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51495957</guid><author>lightty</author><pubDate>Wed, 25 May 2016 09:42:24 +0800</pubDate><description><![CDATA[注解： 
http://josh-persistence.iteye.com/blog/2226493 
http://wiki.jikexueyuan.com/project/java-reflection/java-at.html 
http://www.infoq.com/cn/articles/cf-java-annotation动态代理： 
http://www.kancloud.cn/d]]></description><category></category></item><item><title><![CDATA[spring boot]]></title><link>https://blog.youkuaiyun.com/lightty/article/details/51494427</link><guid>https://blog.youkuaiyun.com/lightty/article/details/51494427</guid><author>lightty</author><pubDate>Tue, 24 May 2016 23:12:30 +0800</pubDate><description><![CDATA[http://www.cnblogs.com/huang0925/p/4347690.html上面这篇文章讲得很清楚。结合我们自己做的。比如之前的HSF，一个大project，里面有很多不同的模块，但是，其实，大部分的模块我们都不需要做的。所以，一般就是copy别人的项目作为模板，在上面小修小改，但是并不明白它的机制，只是用了而已。而Spring boot，微服务，这个现在很多，清爽很多。我们不需要]]></description><category></category></item></channel></rss>