- 博客(21)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Transformer参数量和复杂度
在算法岗面试中经常会问到Transformer相关的基础知识。首先需要清楚Transformer的参数量和复杂度分别在算什么。其他部分包括Input Embedding 、Postion Encoding以及最后解码的Linear层。其中，每个MHSA、Masked MHSA、Multi-Head Cross-Attention和FFN中有含有Add&Norm操作。
2024-09-01 00:56:04
1164
原创 【emnlp 2021】Grammatical Error Correction with Contrastive Learning in Low Error Density Domains
关键词：英语、GEC、
2023-12-11 10:30:01
461
1
原创 [AAAI2022]Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation
关键词： Grammatical Error Correction（GEC）、over-correction、seq2seq、sequence tag model、 Sequence-to-Action (S2A)、汉语和英语大致思路：结合了seq2seq以及sequence tag model两种模型的优点，避免过度校正，以及摆脱人工标注的限制。
2023-09-12 10:49:56
241
1
原创 【ICCV 2023】CDUL: CLIP-Driven Unsupervised Learning for Multi-Label Image Classification
论文原文：https://arxiv.org/pdf/2307.16634.pdf：多标签 图像分类 CLIP 无监督。
2023-08-05 16:54:32
1972
5
原创 【ACL2023】MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
关键词研究动机zeor-shot 在NLP上应用了，然而，它尚未被探索的视觉和多模态任务。由于之前BeiTv3做的大一统，将图片也当做一个imaglish语言处理，所以可以想到用instruction tuning来提升多模态的性能。【那这样的话，多模态就变成了处理NLP的任务，所以很多NLP再做的也可以迁移到这里。主要贡献（1）提出Multi-Instruction ：第一个多模态指令调优基准数据集，它包含62个不同的多模态任务，采用统一的seq-to-seq格式，涵盖10个大类别。
2023-07-30 17:08:57
453
1
原创 MetaICL: Learning to Learn In Context 【NAACL 2022】
MetaICL：消除训练前和下游ICL使用之间的差距。通过简单地调整一些训练示例，没有参数更新或任务特定的template。证明了MetaICL是对人工编写的指令的补充，并且通过结合这两种方法可以获得最好的性能。
2023-07-26 16:41:00
343
1
原创 Retentive Network: A Successor to Transformer for Large Language Models
让“不可能三角”变得可能。
2023-07-23 22:53:10
856
原创 Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
文章主要工作大概是：通过自行构建Prompt的数据集，选取性能较好的Prompt，用于few-shot learning的文本分类任务中，改进分类效果。行文思路大概是：（1）先发现prompt order对于few-shot 分类任务的影响；（2）然后提出寻找有效Prompt order的方法（基于熵）
2023-07-07 23:15:48
513
1
原创 【2023】CiT: Curation in Training for Effective Vision-Language Data
它将数据目标结合到训练中，CiT自动生成高质量的数据，以加速对比图像-文本训练。CiT包含两个循环：一个管理训练数据的外环和一个使用被管理的训练数据的内环。：给定感兴趣任务的元数据，例如类名和大量的图像-文本对，CiT通过度量其文本嵌入和元数据嵌入的相似性，从池中选择相关的训练数据。（2）训练过程中，改变了Training Objective，只计算img2txt的loss部分。（1）主要是在数据上做改变——不定的epoch和动态的训练数据。数据够的话，直接取Dt；数据不够的话则取topK的数据。
2023-07-06 19:06:59
354
1
原创 Please change your current directory to a writable directory outside of the MATLAB installation area
大概意思就是说你的文件目录位置不对。我这里设置的目录是：F:\matlab_work。（我这里就是是 F:\matlab_work）。关键在于第2步，没有第二步我的问题还是没解决。（1）先设置好matlab的起始目录，具体。
2023-06-30 13:11:45
1069
原创 Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding论文阅读
*行文思路：**Instruction + Imagen介绍自己的模型 + Evaluating Text-to-Image Models + Experiment + related work + 展望零、前置出自Google。（1）2021年1月，OpenAI公布了其首个文本生成图像模型DALL·E（2）2021年12月底，OpenAI再次提出GLIDE模型（3）2022年4月，OpenAI又又又提出DALL·E 2。
2023-02-07 15:22:56
803
1
原创 C语言fgets函数和gets函数区别，导致字符串比较出现问题
所以说，用strcmp比较的时候，总会因为后面这个小细节而发生错误。但是呢，最好不要用这个函数读出来的一行数据和你输入的字符串作比较，给个例子：（自己写程序将最后的那个\n换成\0）.而一般的gets不会这样，他会把\n转换成\0.因为如果是读一行，他会在\n之后再加\0;fgets函数用来读文件中的数据。
2022-11-27 15:36:31
378
原创 remi无法加载本地图片问题
初学remi，用来做简单界面，遇到了本地无法加载图片的问题。网上直接搜索好像找不到结果，找了很久都没解决，后来加群解决了问题，在此记录一下。刚开始入门的时候，可能会参照官方的实例去改。我一开始是这么做的，后来发现一个remi的网页编辑版本，很好用，直接用这个网页编辑编辑好自己的页面之后，保存文件就会自己生成，不需要自己写，可以直接再代码中改。remi使用editor在生成的类中的__init__函数中加上静态资源路径。直接写成这样就好，然后在这个文件相同目录下创建res文件夹，里面存放你的图片，
2022-05-20 20:01:59
409
2
原创 pymysql中sql语句引号的问题
初次使用pymysql，遇到sql语句格式的问题，官方文档上的东西真的很少啊，哭了。找了很久不知道问题在哪里，看别人写的sql代码，翻了很多终于找到问题了。起初的sql是这样的：sql = "DELETE FROM `flight` where `f_id`=%s and `f_date`=%s" % (fid,fdate)死活都搞不明白为什么不对，调试的时候也发现传入字符串好像没带引号，但没太多，最后没想到真的是这个问题，格式化的时候它会自动帮你吧引号省略掉。。。修改后： sql = "
2022-05-20 19:39:08
755
1
原创 python中numpy数组的复制问题
记录一下之前没有遇到过的问题。1、首先key是一个numpy数组，但是这个赋值给key_new之后改变key_new 同样也会改变key。相当于是他们两个变量指向了同一块地址，所有改变一个另一个就会变。keyOut[35]: array([[ 1, 2, 3, 4], [14, 6, 14, 14], [13, 2, 1, 9], [ 9, 12, 12, 6], [14, 4, 4, 10]])key_new = k
2022-05-11 09:28:18
2206
原创 Windows连接同一热点的两台主机相互之间无法ping通
ping路由器能通，能够上网，但是无法访问局域网其他电脑，PING有时候是请求超时，有时候是全部无法访问目标主机。（一）关闭防火墙：进入防火墙和网络防护界面，选择你正在使用的网络，如果是连接热点的情况下一般是专用网络，点击专用网络，进入关闭防火墙即可。（二）开启入站和出站规则：打开控制面板——>系统与安全——>Windows Defender 防火墙——>高级设置找文件和打印共享(回显请求ICMP-4-In)此处需要注意：我这里是专用网络的，所以选择开启专用网络的，如果是其他
2021-11-27 13:18:41
12335
1
原创 C语言随机数问题
因为rand()函数产生的随机数是伪随机数，是根据一个数值按照某个公式推算出来的，而这个数值由一个公式计算得来，这个值在电脑启动后是不变的。在这里我将这个公式比作一个种子，现在我们就要修改这个种子。常用的方法是用 srand 修改种子,但是也有一个问题如果用在for循环里面：for 循环运行速度非常快，在一秒之内就运行完成了而 time() 函数得到的时间只能精确到秒，所以每次循环得到的时间都是一样的，这样一来，种子也就是一样的，随机数也就一样了srand((unsigned int)ti
2021-05-05 14:46:20
243
有没有支持中文的正则匹配方案呢？
2022-11-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人