NLP_Song-优快云博客

转载信息增益

知乎上看到的说法，觉得不错熵：表示随机变量的不确定性。条件熵：在一个条件下，随机变量的不确定性。信息增益：熵 - 条件熵在一个条件下，信息不确定性减少的程度！通俗地讲，X(明天下雨)是一个随机变量，X的熵可以算出来， Y(明天阴天)也是随机变量，在阴天情况下下雨的信息熵我们如果也知道的话（此处需要知道其联合概率分布或是通过数据估计）即是条件熵。两者相减就是信息增

2017-11-07 13:46:07 358

原创 pip安装工具包时超时问题的简单解决

pip install snownlp --timeout 6000直接在原有的命令后面添加 --timeout 时间即可

2017-10-23 17:19:33 775

转载 tensorflow的共享变量的联系与区别

点击打开链接可以参照上面的网页进行学习

2017-10-23 15:34:57 215

如果你想将多个数组保存到一个文件中的话，可以使用numpy.savez函数。savez函数的第一个参数是文件名，其后的参数都是需要保存的数组，也可以使用关键字参数为数组起一个名字，非关键字参数传递的数组会自动起名为arr_0, arr_1, ...。savez函数输出的是一个压缩文件(扩展名为npz)，其中每个文件都是一个save函数保存的npy文件，文件名对应于数组名。load函数自动识别npz

2017-10-19 17:16:47 1902

转载 tensorflow高阶教程:tf.dynamic_rnn

引言TensorFlow很容易上手，但是TensorFlow的很多trick却是提升TensorFlow心法的法门，之前说过TensorFlow的read心法，现在想说一说TensorFlow在RNN上的心法，简直好用到哭【以下实验均是基于TensorFlow1.0】简要介绍tensorflow的RNN其实在前面多篇都已经提到了TensorFlow的RNN，也在我之前的文

2017-10-19 11:48:56 346

转载 DataFrame 数据合并，连接（merge,join,concat)

点击打开链接

2017-10-19 10:11:02 635

原创 tf.placeholder()

最基本的用法是提供一个占位符，具体可以参考点击打开链接

2017-10-17 11:35:05 415

原创 dropout_keep_prob

测试时dropout_keep_prob一般都设置为1，也就是保留全部结果也就是说dropout_keep_prob只在训练的时候有用

2017-10-17 10:52:45 13204 3

原创正则化

L2正则化，是让权重衰减，从而变小。在权重小的情况下，数据x随机的变化不会对神经网络的模型造成太大的影响L1正则化，是让权重w靠近0，从而降低网络复杂度

2017-10-16 14:00:25 201

转载 tensorflow中的矩阵生成(数据初始化)与变换函数

点击打开链接

2017-10-13 17:06:04 3077

原创优化器的使用

使用tf.train.Optimizer.minimize与使用tf.train.Optimizer.compute_gradients结合tf.train.Optimizer.apply_gradients是一样的效果具体详见点击打开链接

2017-10-11 14:52:45 400

原创 Python中numpy模块中小方法详解

点击打开链接eye:生成指定行数的单位矩阵

2017-10-10 17:24:37 305

原创 dynamic_rnn的参数time_major

outputs,states = tf.nn.dynamic_rnn(lstm_cell,X_in,initial_state=_init_state,time_major=False)lstm_cell 是定义的隐藏层的cell, X_in是输入的训练数据（128batch,28steps,128hidden）其中time_major是说的时间点28steps是否位于X_in中第一个维度

2017-09-25 14:24:53 2639