- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 基于ModelScope获取[MASK]位置的top k个候选token
其实ModelScope也是有类似xxxxForMaskedLM的接口的，只不过藏得比较深，而且官网上的文档没有提到
2023-07-09 22:35:59
350
1
原创 无锡VALSE 2023感悟收获（NLP方向）
刘鹏飞老师通过NLP的四个发展阶段——传统机器学习阶段，基于word2vec的神经网络阶段，pre-train fine-tuning阶段以及当前的prompt阶段——来展示下游任务与预训练任务越来越接近，而下游任务与预训练任务越接近，预训练模型就可以在进行下游任务时承担更多的工作（，所以预训练模型就能将自己学习到的能力更全面更充分运用到下游任务上？我看到的大都是一笔带过，大体都是说之所以有效是因为通过提示模板将下游任务重构成了预训练任务的形式云云，那为什么将下游任务重构成预训练任务的形式就能有效呢？
2023-06-12 00:17:57
311
2
原创 对NLP Prompt范式的浅显理解
从预训练-微调(Pre-train Fine-tune)范式说起预训练-微调范式就是预训练好一个初始模型，后续根据具体的下游任务来对初始模型进行微调。预训练-微调范式存在的问题是:①预训练模型有可能会过拟合；②如果微调数据不足，微调的效果就不好；③微调后的模型有可能连用来预训练任务都无法执行。预训练-微调范式预训练出来的模型需要去迎合下游任务，i.e. 要根据具体的下游任务微调模型参数，如②所说，如果微调数据不足，那微调就达不到理想的效果。Prompt范式就登场了，与预训练-微
2021-11-06 15:12:44
1225
原创 ARM汇编实现将寄存器高低位对称换位
实现将寄存器高位和低位对称换位操作，如：R0 = 0x55555555分析：5(十六进制) = 0101(二进制) 高低位对称交换：0101(二进制) -> 1010(二进制) = A(十六进制) 所以最终的结果应该是 R0 = 0xAAAAAAAA思路: 网上有一个什么蝶式交换算法，但是我太笨了，我是真的看不懂，这是我的做法 ...
2020-01-13 17:57:31
3076
原创 ARM汇编求1-50的累加
思路：用一个寄存器来做被加数同时也是最终的结果； 用另一个来做加数同时也是循环的计数器。代码： AREA TEST, CODE, READONLY ENTRY MOV R0, #0 ;每次循环的被加数，也是最终结果存放的寄存器，从0开始加 MOV R1, #1 ;加数，也是计数器，每次加1，循环计数...
2020-01-13 16:22:01
6770
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人