qq_38241346的博客

获取tokenizer对象from transformers import BertTokenizertokenizer = BertTokenizer.from_pretrained('bert-base-chinese')encode的几种方法对比总结：tokenizer默认和encode_plus含义一样，即加好了token_type_ids，mask等label，类似于dict一样访问这个函数tokenizer.encode 只是把 input_ids的结果拿下来，然后后面的属.

Pytorch DataLoader用法from torch.utils.data.dataloader import DataLoader官方链接搭配 dataset 使用 collect_fn 实现 格式控制自己定义list类型，可以直接调用DataLoader去变list为dict的Tensor，但是一定要 default_data_collatorDataLoader(d_samples, batch_size=batch_size, collate_fn=default_data_c

1. torch简单创建shape = (2,3,)rand_tensor = torch.rand(shape)ones_tensor = torch.ones(shape)zeros_tensor = torch.zeros(shape)print(f"Random Tensor: \n {rand_tensor} \n")print(f"Ones Tensor: \n {ones_tensor} \n")print(f"Zeros Tensor: \n {zeros_tensor}")

pytorch一些书写习惯1. …的作用a = torch.Tensor([[2,3],[1,4]])a[...,-1,:]…的作用 就是 不去操作前面的维度，相当于前面有0到n-m个：2.contiguous函数transpose，narrow，view，expand都是指向型拷贝，即浅拷贝使用contiguous的目的就是为了进行深拷贝，使得变量之间不共享内存, 并且给予一段连续的空间，crossentropyLoss就是需要的这样的连续空间x = torch.randn(3, 2)

torch.cuda.is_available()torch.device("cuda:0" if (torch.cuda.is_available() and ngpu > 0) else "cpu")torch.cuda.get_device_name(0)nvidia-smi参考链接

训练完train_datasets之后，model要来测试样本了。在model(test_datasets)之前，需要加上model.eval(). 否则的话，有输入数据，即使不训练，它也会改变权值。（这样就导致测试结果不对）这是model中含有batch normalization层所带来的的性质。...

github地址：link有机会从代码角度详叙实现功能：1.基于haar的人脸检测2. 基于Areface的实时人脸识别，效果好3. 优化程序运行效率并现实实时帧率配置环境：1.pytorch2.opencv如何使用：1.创建文件夹：checkspoint2.下载训练好的人脸检测模型， 放到checkpoint。地址：https://pan.baidu.com/s/1tFEX...

问题描述：Missing key(s) in state_dict: “conv1.weight”,Unexpected key(s) in state_dict: “module.conv1.weight”,原因：多了module这个关键字在前面，可能是因为模型是在GPU分布式计算的。改正load：# original saved file with DataParallelstat...