weixin_46235765的博客

如何设计一个具有通用性的程序框架？1.将繁琐且重复的事情做成高内聚的黑箱2.将问题模块化：处理数据，构建网络，损失函数，优化函数，模型保存。五大模块3.把常用的东西定义出来，方便求解简单问题。杂七杂八的基础知识Dataset是pytorch官方提供的类，我们只有先继承这个类才能官方的基础上重写。class 某某某Dataset(Dataset):非常常见的for i,data in enumerate(list_train):enumerate函数的功能就是如果传进来的对象是一个列表，那么它

参考了github上开源源码eat_tensorflow2_in_30_days以及tensorflow的官网结构化流程1.数据处理图片数据在tensorflow中准备图片数据的常用方案有两种：第一种是使用tf.keras中的ImageDataGenerator工具构建图片数据生成器。第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法构建数据管道。第一种非常简单，主要用第二种TensorFlow原生方法：先定义加载图片的函数，使用并行化预处理num_parall

知识蒸馏softmax的输出一定是正数，且每个元素和加起来为1。而llog_softmax全部都是负数。交叉熵=熵+相对熵(KL散度)蒸馏：通过温度T将softmax激活函数变得更加平滑，从而软标签通过蒸馏得到暗知识。本质上就是修改损失函数。经过softmax才能叫做软标签的概率分布。经过了softmax才能null_loss，没经过softmax就直接交叉熵就行。NLLLoss（log_softmax）==交叉熵假如没有老师模型，单独训练学生模型的话，没办法只能拿硬标签去训练学生模型，会得到硬

pytorch-CycleGAN-and-pix2pix博客简述项目整体理解GAN合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入博客简述这是我第一次在csdn上写博客，开学研一，自己开始自学深度学习，本篇博客内容主要是针对基于pytor

BERT上一篇博客通过一篇论文已经介绍了迁移学习和计算机视觉，然而迁移学习在自然语言处理(NLP)同样很强。通过迁移学习训练出来的模型叫做预训练模型，预训练模型首先要针对数据丰富的任务进行预训练，然后再针对下游任务进行微调，以达到下游任务的最佳效果。1.预备知识1.1 word2vec(词向量模型)word2vec可以分为两部分：模型与通过模型获得的词向量。在Word2vec出现之前，文本表示一般只用one-hot独热编码或者直接用整数编码，这种做法太拉跨了。word2vec是用一个一层的神经网络