- 博客(47)
- 收藏
- 关注
RSS订阅
1原创 Transformer之编码器
Bert是从transformer中衍生出来的预训练的模型，transformer模型已经得到广泛应用，应用的方式是先进行预训练语言模型，然后把预训练的模型适配给下游任务，以完成各种不同的任务，比如分类，生成，标记等。1.transformer编码器transform和LSTM最大的区别：LSTM的训练是迭代的，一个接一个字的进行训练。transform的训练是并行的，所有的字全部同时训练，这样就大大加快了计算效率，该模型使用了位置嵌入来对语言的顺序进行理解，使用子注意力机制和全连接层来进行计算。
2022-05-23 14:50:53
8980
原创 python基础
文章目录前言1.设计思想2.类的定义和使用3.类的继承和方法重载4.补充前言面向对象程序设计1.设计思想面向过程的程序设计中，程序的基本单元是函数，每一个函数实现一个相对独立的功能，是实现该功能的一系列操作的集合。在面向对象的程序设计中，程序的基本单元是类，类是具有相同属性和行为的一组实例的抽象，一个类包含数据和方法两部分。python是面向对象的程序设计语言，每一个类型都是一个类。类是一种数据类型，不是具体的数据，不占用内存空间，而对象是一个类的实例，是一个具体的数据，每个对象都占用一定的
2022-05-14 11:20:14
409
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人