ronghwa_lu

main1.py文件tf.no_op()

视频链接：https://mofanpy.com/tutorials/machine-learning/nlp/gpt/学习原因：GPT比bert的学习效率高在莫烦代码中，bert是继承GPT的，学习GPT较快知识追踪领域中，使用前一题预测后一题，不能对后面的预测泄露信息，属于单向模型。那就开始我们的学习吧。模型Generative Pre-Training (GPT)  模型越来越大的好处很显而易见，模型能用更多非线性能力处理更复杂的问题。但是由此带来另一个难题，就是难以训练。每训练一个

莫烦视频：https://mofanpy.com/tutorials/machine-learning/nlp/bert/跳过了GPT模型；但代码里面bert模型继承了GPT模型。。。本节不涉及莫烦对于bert的训练改进（trick），模型的任务改变，或者说标签不一样。改进版存在的问题莫烦在他的主页文字部分有详细解释。所以这里只是介绍最基本的bert模型，它的任务和标签是什么，即怎么训练此模型。bert是什么  BERT 和 GPT 还有 ELMo 是一个性质的东西。 它存在的意义是要变成一种

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

视频链接：https://mofanpy.com/tutorials/machine-learning/nlp/intro-attention/Transformer原理我看过几遍了，只是一直没用。多次注意力的思想是这次收获，以前只是明白它的结构。莫烦更多使用比喻介绍结构，没用公式或实际输入输出结构。我做的李宏毅视频+博客的总结语言多次注意力  使用了三次注意力，每次注意的时候都是基于上次注意后的理解。通过反复地回忆、琢磨才能研究透一句话背后的意思。所以，如果深刻理解是通过注意力产生的，那么肯定也

Tensorflow 2.0 GPU的使用与分配或者参考TensorFlow中文文档 :讲述了各种情况查看有什么设备def set_soft_gpu(soft_gpu): import tensorflow as tf if soft_gpu: gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: # Currently, memory growth

tf.sign和tf.reduce_sumhttps://blog.youkuaiyun.com/qq_15111861/article/details/81318963tf.sign就是sign函数tf.reduce_maxhttps://blog.youkuaiyun.com/lllxxq141592654/article/details/85345864注意keepdim和axisif keepdim==falseaxis=0，意思是我要消除第0维，所以找每一列的最大值来充当原来维度的唯一值，（维度数减..

tf.splittf.split( value, num_or_size_splits, axis=0, num=None, name='split')value：准备切分的张量num_or_size_splits：准备切成几份axis : 准备在第几个维度上进行切割,1表示按照列切分，0表示按照行切分。其中分割方式分为两种如果num_or_size_splits 传入的 是一个整数，那直接在axis=D这个维度上把张量平均切分成几个小张量如果n

https://www.cnblogs.com/lovychen/p/9368390.html这一篇讲解了RNN、LSTM的结构（计算公式）两个注意地方：1）[H，X] * W后和B维度不同， 如何相加2）class BasicRNNCell(LayerRNNCell)或者class BasicLSTMCell(LayerRNNCell)是一个batch，一个时刻的计算，若计算所有时刻，则循环执行以下代码，num_step(句长)次; tensorflow 已经封装好了...

tf.sparse_to_dense ( sparse_indices , #sparse_indices[i] 包含完整索引,这是 sparse_values[i] 将放置的位置. output_shape , sparse_values , #如果是标量,则所有稀疏索引都设置为该单个值. default_value = 0 , #所有其他值的 dense 都设置为 default_value. validate_indices = True , #如果为 Tr

之前没接触过RNN，直接看代码https://github.com/siyuanzhao/2016-EDM这是关于知识追踪Going Deeper with Deep Knowledge Tracing的官方代码使用TensorFlow0.10.0，那是我还没学编程呢所以能看懂大概作用的函数就不细查，关于网络构造还是得看看。RNN函数tf.nn.rnn_cell.LSTMCell(final_hidden_size, state_is_tuple=True)state_is_tuple：默认为