ayz30868-优快云博客

转载 tensorflow 相关

1.从checkpoint中获取全部的变量名和变量值 tf.contrib.framework.list_variables(model_dir) tf.contrib.framework.load_variable(model_dir, var_name) 2.清除 tf.Session tf.reset_default_graph() 重置计算图 3. ...

2019-09-27 11:46:00 192

转载机器翻译（machine translation）相关

1.BLEU 主要任务是为了将候选的n-gram和target的n-gram相比较，匹配相似度（与位置无关）基本做法：比较翻译结果中和参考的n-gram个数，直接相除，问题是长句子会得分更高，限制句子长度加入惩罚参数，同时对不同的目标任务对n-gram赋予不同的权重 2.attention 的细节总结注意力机制目的是达到一个对齐（alignment）的作用，通俗来说...

2019-09-05 11:26:00 517

转载一些需要注意的细节

1.离散采样不可导问题，使用gumbel采样方式将不可导部分拉出计算图细节做法https://www.cnblogs.com/initial-h/p/9468974.html 2.关于NLLloss和cross entropy loss 的关系和区别 cross中是计算概率模型输出的概率p和真实的分布之间的交叉熵，NLL是直接求负对数似然，如果交叉熵的使用的概率p是使用softm...

2019-09-05 10:56:00 166

转载 MT框架中ensemble的做法

1.在opennmt框架代码中ensemble的做法是在opennmt/utils/checkpoint.py 1 def average_checkpoints(model_dir, output_dir, max_count=8, session_config=None): 2 """Averages checkpoints. 3 4 Args: 5...

2019-09-05 09:34:00 539

转载知识蒸馏（Knowledge Distilling）

1.参考资料，一个很好的KD的资料list https://github.com/dkozlov/awesome-knowledge-distillation 一个中文的相关资料https://www.zhihu.com/question/333196499/answer/738197683 一些找到的跟KD相关的资料 https://github.com/lhyfst/...

2019-08-30 17:21:00 526

转载模型集成-ensamble

1.综述资料集合模型是由于有较高的方差产生，集成多个模型可以减小方差，为了使模型有集成有效，需要每一模型都需要是很好的模型但是需要犯不同的错误，结果会更鲁棒一些主要参考内容https://machinelearningmastery.com/stacking-ensemble-for-deep-learning-neural-networks/ ，包含了很多集成的代码实现...

2019-08-30 17:12:00 686

转载代码-动态规划

1.动态规划三角形问题 1 class Solution(object): 2 def minimumTotal(self, triangle): 3 """ 4 :type triangle: List[List[int]] 5 :rtype: int 6 """ 7 ...

2019-08-21 15:28:00 199

ayz30868的博客