qq_53536373的博客

推荐学习视频transformer是谷歌大脑在2017年底发表的论文中所提出的seq2seq模型. 现在已经取得了大范围的应用和扩展, 而BERT就是从transformer中衍生出来的预训练语言模型.应用：上游应用（训练一个预训练语言模型） 下游任务 （情感分析、分类、机器翻译）

你可以把任意 nn.Module 的子类 (比如 nn.Conv2d, nn.Linear 之类的) 加到这个 list 里面，方法和 Python 自带的 list 一样，无非是 extend，append 等操作。但不同于一般的 list，加入到 nn.ModuleList 里面的 module 是会自动注册到整个网络上的，同时 module 的 parameters 也会自动添加到整个网络中。它会根据目标输出大小自适应地调整池化窗口的大小，以保证输出的大小和目标大小一致。3.在复现代码过程中遇到了。

简单来说，就是有这么一副图像，它的拍摄视角不是从正面拍摄的，而是带有一定的角度，我们希望能得到从正面观察的视角。使用了 order_points 函数 思路：四个坐标 （a，b） a+b 最大的 是右下的点 最小的是左上 b-a z最小的是右上 最大的是左下 （假设h >w） 返回的是 排序好的rect。如何将四边形转化为 矩形？使用到了四点transformer函数（见后文） 变换 输入 image 原图 和上一步返回的坐标点 输出是变换后的结果。输入的坐标点可能是乱序的，怎么进行上下左右排序？

总结来说，vars() 函数用于获取对象的属性和属性值，并以字典的形式返回。它在调试、动态查看对象的属性和值以及进行反射等场景下很有用。对于内置类的实例对象（如列表、字符串等），vars() 函数返回的字典通常只包含内置属性和方法，并不包含实例化时添加的自定义属性。当在全局作用域内调用 vars() 函数时，它返回当前全局作用域中的变量和值的字典。对于自定义类的实例对象，vars() 函数返回的字典将包含实例的属性和属性值。当在函数内部调用 vars() 函数时，它返回当前函数的局部变量和值的字典。

globals()

它将检查命令行，把每个参数转换为适当的类型然后调用相应的操作。— 应该读取的命令行参数个数，可以是具体的数字，或者是?— 在 usage 说明中的参数名称，对于必选参数默认就是参数名称，对于可选参数默认是全大写的参数名称.— 参数的帮助信息，当指定为 argparse.SUPPRESS 时表示不显示该参数的帮助信息.程序定义它需要的参数，然后 argparse 将弄清如何从 sys.argv 解析出那些参数。— 解析后的参数名称，默认情况下，对于可选参数选取最长的名称，中划线转换为下划线.

用户向浏览器发送http请求，web服务器把客户端所有请求交给Flask程序实例，程序用Werkzeug来做路由分发，每个url请求，找到具体的视图函数。路由的实现是通过route装饰器实现的，调用视图函数，获取数据后，把数据传入模块中，模块引擎渲染响应的数据，由Flask返回给浏览器。是一个非常小的框架，可以称为微型框架，只提供了一个强劲的核心，其他的功能都需要使用拓展来实现。Flask调用视图函数后，会将视图函数的返回值作为响应的内容，返回给客户端。调试、路由、wsgi系统。模板引擎(Jinja2)

'state_dict': model.state_dict(), # 字典里key就是各层的名字，值就是训练好的权重。epoch_loss = running_loss / len(dataloaders[phase].dataset) # 算平均。# 训练完后用最好的一次当做模型最终的结果,等着一会测试。一般默认验证集的损失值经历由下降到上升的阶段；保存在验证集上损失最小的那个迭代模型，其。# 最好的那次模型，后续会变的，先初始化。# 得到最好那次的模型。# 记录最好的那一次。

学习率衰减的作用主要有两方面：一是帮助模型更好地探索训练数据中的不同模式，从而提高模型的泛化能力；学习率衰减的实现方法通常包括手动设置衰减因子、余弦衰减和指数衰减等。scheduler = optim.lr_scheduler.StepLR(optimizer_ft, step_size=10, gamma=0.1)#学习率每10个epoch衰减成原来的1/10。梯度下降算法需要我们指定一个学习率作为权重更新步幅的控制因子，常用的学习率有0.01、0.001以及0.0001等，学习率越大则权重更新。

交叉熵损失函数会自动对输入模型的预测值进行softmax。因此在多分类问题中，如果使用nn.CrossEntropyLoss()，则预测模型的输出层无需添加softmax层。默认是“mean” 也就是说当loss_func_none = nn.CrossEntropyLoss()时 会输出一组batch 的损失平均值。tgt表示样本类别的真实值，有两种表示形式，一种是类别的index，另一种是one-hot形式。

图像识别网络与训练策略——基于经典网络架构训练图像分类模型

清华源下载，离线安装包

Debug调试，是一项学习编程人员的重要技能

huggingFace 中文模型实战

from transformers import BertTokenizer#加载预训练字典和分词方法tokenizer = BertTokenizer.from_pretrained( pretrained_model_name_or_path='thunlp/Lawformer', cache_dir=None, force_download=False,)#这里的pretrained_model要用huggingface中有的网址https://huggingface

1输入网址 https://colab.research.google.com/github2复制网址3找到对应分支4点击运行