- 博客(32)
- 收藏
- 关注
RSS订阅原创 Tensorflow的常用矩阵生成
#全0和全1矩阵v1 = tf.Variable(tf.zeros([3,3,3]), name="v1") v2 = tf.Variable(tf.ones([10,5]), name="v2") #填充单值矩阵 v3 = tf.Variable(tf.fill([2,3], 9)) #常量矩阵 v4_1 = tf.constant([1, 2,
2017-11-29 14:17:46
13784
1
原创 tensorboard的histogram数据解读
仔细研究了一下tensorboard的直方图表示参考文献, 官方文档:https://www.tensorflow.org/get_started/tensorboard_histogramsimport tensorflow as tfk = tf.placeholder(tf.float32)# Make a normal distribution, with a shifti
2017-10-13 19:22:24
5083
原创 tensorboard使用记录
最近在学习使用tensorboard开始用了ipython ,遇到两个坑,记录一下第一个是:InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'inputs/x_input' with dtype float [[Node: inputs/x_in
2017-10-13 19:11:00
1796
转载 Linux指定动态库搜索路径
众所周知，Linux动态库的默认搜索路径是/lib和/usr/lib。动态库被创建后，一般都复制到这两个目录中。当程序执行时需要某动态库， 并且该动态库还未加载到内存中，则系统会自动到这两个默认搜索路径中去查找相应的动态库文件，然后加载该文件到内存中，这样程序就可以使用该动态库中的函 数，以及该动态库的其它资源了。在Linux 中，动态库的搜索路径除了默认的搜索路径外，还可以通过以下三
2015-01-08 10:56:02
623
原创 mac下安装eclipse+CDT
测试文件test.cpp#include using namespace std;int main() { cout return 0;}1.安装c++编译环境，确保在命令行下输入g++ test.cpp 能正确生成二进制文件i. 安装xcode， 在appstore可以下到。此时g++可以用，但是iostream，stdio.h等文件统统没有
2014-06-19 20:57:49
1802
转载 top 10 SMT paper
原文见：http://mtgroup.ict.ac.cn/~liuqun/course/MachineTranslation/toptenpapers_for_smt.htm以下是刘洋博士为新入门的同学精选的10篇统计机器翻译文献，供大家参考。------------------------------------------------------------------
2014-06-02 22:45:46
1077
原创 CPU的cache基础知识
cache line是能被cache处理的内存chunks，chunk的大小即为cache line size，典型的大小为
2014-04-29 18:05:44
1323
原创 levelDB源码笔记（1）-TEST
leveldb的TEST部分，是单元测试一个很标准的实现一。对想要测试的目标（这里是BloomFilterPolicy类），建立一个对应的测试类BloomTestclass BloomTest { private: const FilterPolicy* policy_;...... public: BloomTest() : policy_(NewBloomFi
2014-04-27 14:16:07
911
原创 DPMM和HDP 非参数贝叶斯（2）
图1： DPMM(Dirchlet process mixture model) 以上为DP对应的图模型，基本分布为G0，这里假设是一个高斯模型（可以是连续或者离散），G~DP（/alpha0, G0）,G为随机生成的一个DP，构造的过程即为参见前一篇博客中的Strick break过程。可以看出，G为一个离散的无限维分布（也就是随机过程）/thetai ~G，这个抽取过程可以参见前文
2014-01-20 23:57:58
1995
原创 Dirichlet Process-非参数贝叶斯（1）
1. jardon的文章1.在de finetti的数学书中，他证明了，当一个可数无限维随机变量集合{x1,x2,...}满足infinitely exchangeable性质，即，对集合中取出任意N个元素，组成一个集合{x1，x2，...,xN} 如果其上的联合概率和顺序无关，即对{1，2，..N}的任意新排列,记为C1，C2...CN，有P(x1，x2...xN)=P(x_C1,x_C2,.
2014-01-07 17:46:49
2301
转载 c/c++的宏的一些规则
1.#和## #符号把一个符号直接转换为字符串，例如： #define STRING(x) #x const char *str = STRING( test_string ); str的内容就是"test_string"，也就是说#会把其后的符号 直接加上双引号。 ##符号会连接两个符号，从而产生新的符号(词法层次)，例如： #define SIG
2014-01-02 00:50:58
720
原创 LDA在短文本（twiter）应用
参考文献《empirical study of topic modeling in twitter.》这个文章考察了LDA在twitter中的应用，用的是最原始的LDA，关键点在于如何融合出合适的维度的训练集合，以及不同方式训练出的LDA的效果训练集合的融合策略有1.直接单条twit2.同user的twit作为一个doc3.出现同term的twit作为一个doc
2013-12-21 21:40:01
4792
原创 LDA的应用：short text classification
参考文献《Learning to Classify Short and Sparse Text & Web with Hidden Topics from Large-scale Data Collections》这个文章提出一个利用LDA辅助分类，以解决短文本词少稀疏问题，使得主题更加集中的framework，是一种semi-supervise的方法他的做法是1. 寻找一个辅助的外部
2013-11-25 23:59:28
3029
原创 LDA的应用：《Finding scientific topics》
参考文献：《Finding scientific topics》这个文章讲了LDA的原理，它谈到几点1. 测试了variational Bayes，expectation propagation，Gibbs sampling三种imference的方法，gibbs sampling收敛速度最快，并且gibbs可以同时开几个MC链，方便并行化处理2.TM的评测和参数选择Perpl
2013-11-24 23:14:56
2560
原创 其他TM:biterm topic model
参考文献《A Biterm Topic Model for Short Texts》从原理上说，BTM是一个非常适合于短文本的topic model，同时，作者说它在长文本上表现也不逊色于LDA。1.建模BTM的graph如下与LDA相似，BTM中alpha~theta~Z，每个topic的beta~phi_k~w也是dir+multinomal分布。BTM模型首先
2013-11-19 00:08:21
16983
原创 谱聚类（spectral clustering）
谱聚类是一种利用特征值分解（也称为谱分解）进行聚类的方法。当输入参数为K（聚合成K类）,N个样本点其算法如下：1.计算样本点的相似度矩阵W，即Wij=sim(i,j)，把Wij的每一行相加，获得N个数(每个样本点的出度)，将其排列称为N*N维对角阵D。定义L=W-D2,对L作特征值分解，显然L为对称半正定阵，且最小特征值为0，对应特征向量为(1,1,...,1)'.把特征值按从小到
2013-11-10 01:24:00
2291
转载 Sparsity and Some Basics of L1 Regularization
原文：http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/
2013-10-27 21:41:19
638
原创 极大熵模型和逻辑回归的等价性
极大熵模型的形式化定义是这样的，其中第一个约束条件展开来就是(6.11)，表示对于特征函数的期望接下来把这个约束优化问题转换成无约束拉格朗日问题，再求解对偶问题，令偏导数=0，获取P(y|x)的形式为Z为归一化因子。注意到此形式和多类别的逻辑回归等同。以上来源为李航的《统计机器学习》，但是有一些问题他没有讲的很明白在http://www.win-
2013-09-27 19:49:41
1169
转载 谈谈SVD和LSA(zz)
首先SVD和LSA是什么呢，SVD全称是singular value decomposition，就是俗称的奇异值分解，SVD的用处有很多，比如可以做PCA(主成分分析)，做图形压缩，做LSA，那LSA是什么呢，LSA全称Latent semantic analysis，中文的意思是隐含语义分析，LSA算是topic model的一种，对于LSA的直观认识就是文章里有词语，而词语是由不同的主题生成
2013-09-06 17:54:13
1249
原创 LDA学习笔记5-LDA模型
LDA(latent dirichlet allocation)一种无指导的topic model，用于识别文档中包含的主题信息。按照图模型表示如下图：其中包含三个要素，每个要素及其对应的变量，对应于上图中的一个plate。对于语料库中的每篇文档，LDA定义了如下生成过程（generative process）：1. 对每一篇文档m，从主题分布中抽取一个主题参数/th
2013-09-01 11:58:08
1080
原创 pcre_exec()详解
pcre_exec()的函数定义是 int pcre_exec(const pcre *code, const pcre_extra *extra, const char *subject, int length, int startoffset, int options, int *ovector, int ovecsize);
2013-08-19 15:09:46
12379
原创 LDA学习笔记4-MCMC
之前提到的sampling方法存在各自的缺点，如对函数的数学性质有一定要求，不适应高维场景等，因此有人提出了Markov Chain Monte Carlo (MCMC)方法MCMC方法的基本思想就是构造一个markov链，使得其最终收敛到平稳的目标分布p（x）。则由任意点x0出发，依次生成x1，x2...，收敛后的样本点xi 符合目标分布（reminding，对转移矩阵P，存在单个特
2013-08-11 16:09:23
1657
原创 LDA学习笔记3-抽样算法
抽样问题定义为，对于给定概率p（x），抽取一组iid对于较为复杂的概率密度函数，我们常常无法直接利用标准抽样等方法抽取出一组满足MCMC（markov chain monte carlo）
2013-08-10 00:17:05
1608
原创 LDA学习笔记2-共轭先验
先验概率用于表达对于一组数据的预定义的常识等，在MAP,BI等算法中都要使用。理论上函数形式可以自由选择任何一种分布。但是在实际问题中，一部分函数将导致计算困难，所以最好能找到既满足数据经验，又有良好计算性质的函数。共轭先验的定义为这样：如果先验概率p(/theta)和后验概率p(/theta |X)具有相同的函数形式，即训练数据X仅影响后者的参数设定，而不是改变函数形式，则称之为一对共轭
2013-08-07 23:21:03
1048
原创 LDA学习笔记1-参数估计
这几天学习在LDA，终于把其原理搞清楚了，记录一下要点1. 参数估计和预测对于一个已知模型，贝叶斯推理的两个大问题，1.参数估计，主要方法有极大似然估计（MLE,Maximum likelihood estimation）和极大后验概率（MAP,Maximum a posteriori estimation）,也可以直接求解P(/theta | X),其中X为已知数据集2.预测方法
2013-08-07 22:46:29
2373
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人