- 博客(117)
- 资源 (6938)
- 收藏
- 关注
RSS订阅翻译 ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation
在本文中，我们提出了一种新的蒸馏方法，显著提高了双编码器的跨架构蒸馏效果。1）引入了一种自实时蒸馏方法，该方法可以有效地将后期交互（即ColBERT）提取到vanilla双编码器；2）结合级联蒸馏过程，与交叉编码器教师进一步提高表现。......
2022-07-02 10:55:45
1638
翻译 Distilled Dual-Encoder Model for Vision-Language Understanding
我们提出了一个跨模式注意力提取框架，用于训练视觉语言理解任务（如视觉推理和视觉问答）的双编码器模型。双编码器模型比融合编码器模型具有更快的推理速度，并且能够在推理过程中对图像和文本进行预计算。...
2022-07-02 10:10:28
2005
翻译 VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction
现有技术试图通过对孪生语编码表示进行额外的交互来解决这一问题，而编码过程中的交互仍然是未知的。为了解决这个问题，我们提出了一种虚拟交互机制（VIRT），通过注意力图提取将交互知识从基于交互的模型转移到孪生编码器。......
2022-07-02 09:45:18
884
翻译 Multi-task Pre-training Language Model for Semantic Network Completion
知识图谱、链接预测、语义匹配、翻译距离、多任务学习。
2022-06-28 23:41:46
1099
翻译 AN EFFICIENT HIERARCHICAL GRAPH BASED IMAGE SEGMENTATION
我们根据Felzenzwalb和Huttenlocher推广的标准，提出了一种基于层次图的图像分割方法。我们用真实图像和合成图像进行了说明，显示了我们方法的效率、易用性和鲁棒性。
2022-06-27 23:49:42
246
翻译 Early Convolutions Help Transformers See Better
在ViT中使用卷积干显著提高了优化稳定性，也提高了峰值表现（通过∼ ImageNet-1k上1-2%的顶级精度），同时保持触发器和运行时。在模型复杂性（从1G到36G触发器）和数据集规模（从ImageNet-1k到ImageNet-21k）的广泛范围内都可以观察到改进。这些发现导致我们建议在这种情况下，使用标准的、轻型的卷积茎作为ViT模型的一种结构选择，与原来的ViT模型设计相比，这是一种更稳健的结构选择。...
2022-06-27 23:27:07
1885
翻译 PCT: Point Cloud Transformer
PCT是基于Transformer的，它在自然语言处理方面取得了巨大的成功，在图像处理方面显示出巨大的潜力。它在处理点序列时具有固有的置换不变性，因此非常适合点云学习。为了更好地捕获点云中的局部上下文，我们通过支持最远点采样和最近邻搜索来增强输入嵌入。......
2022-06-27 22:11:52
4232
2
翻译 FcaNet: Frequency Channel Attention Networks
基于频率分析，我们从数学上证明了传统的全局平均池是频域特征分解的特例。通过证明，我们自然地在频域推广了信道注意力机制的压缩，并提出了多光谱信道注意力的方法，称为FcaNet。
2022-06-26 23:16:56
4729
翻译 QDROP: RANDOMLY DROPPING QUANTIZATION FOR EXTREMELY LOW-BIT POST-TRAINING QUANTIZATION
在这项研究中，我们率先证实，将激活量化适当地纳入PTQ重建有利于最终的准确性。为了深入理解其内在原因，建立了一个理论框架，表明优化后的低位模型在标定和测试数据上的平坦度至关重要。基于这一结论，提出了一种简单而有效的方法，称为QDROP，.........
2022-06-23 22:47:28
1568
翻译 ANNA: Enhanced Language Representation for Question Answering
我们提出了一种扩展的预训练任务，以及一种新的邻居感知机制，该机制更多地关注相邻的tokens，以捕获上下文的丰富性，用于预训练语言建模。
2022-06-22 21:10:13
516
翻译 Learning Disentangled Representations of Negation and Uncertainty
语言学理论认为，否定和不确定性的表达在语义上是相互独立的，它们所修饰的内容也是相互独立的。然而，以前关于表征学习的工作并没有明确地模型这种依赖关系。因此，我们尝试使用变分自动编码器1来分离否定、不确定性和内容的表示。......
2022-06-13 23:46:13
1015
翻译 Transformers for 1D signals in Parkinson’s disease detection from gait
Transformers在一维信号中的应用还不是很广泛，但我们在本文中表明，它们可以有效地从一维信号中提取相关特征。由于Transformers需要大量内存，我们将时间和空间信息解耦，使模型更小。我们的体系结构使用了时间Transformers、降维层来降低数据的维数、空间Transformer、两个完全连接的层和一个输出层来进行最终预测。在Physionet数据集上，我们的模型在区分帕金森病患者和健康患者方面优于当前最先进的算法，准确率为95.2%。...
2022-06-11 12:31:51
1823
翻译 Paying More Attention to Self-attention: Improving Pre-trained Language Models via Attention Guiding
预训练模型、多头自我注意力、注意力引导、注意力地图辨别
2022-06-11 00:39:02
1044
翻译 Survey of Aspect-based Sentiment Analysis Datasets
基于方面的情感分析（ABSA）是一个自然语言处理问题，需要分析用户生成的评论，以确定：a）被审查的目标实体，b）它所属的高级方面，以及c）对目标和方面表达的情感。ABSA的语料库数量众多但分散，这使得研究人员很难快速确定最适合特定ABSA子任务的语料库。本研究旨在建立一个语料库，用于对自主ABSA系统进行训练和评估。此外，我们还概述了有关各种ABSA及其子任务的主要语料库，并强调了研究人员在选择语料库时应考虑的几个语料库特征。...
2022-06-06 23:28:06
866
翻译 Spelling Error Correction with Soft-Masked BERT
使用Soft-Masked BERT纠正拼写错误Shaohua Zhang 1 , Haoran Huang 1 , Jicong Liu 2 and Hang Li 1 1 ByteDance AI Lab 2 School of Computer Science and Technology, Fudan University { zhangshaohua.cs,huanghaoran,lihang.lh } @bytedance.com jcliu15@fudan.edu.cn摘要拼写错误纠正
2022-05-31 01:00:06
1012
翻译 RoBERTa: A Robustly Optimized BERT Pretraining Approach（通篇翻译）
RoBERTa：一种稳健优化的BERT预训练方法Yinhan Liu ∗ § Myle Ott ∗§ Naman Goyal ∗§ Jingfei Du ∗§ Mandar Joshi † Danqi Chen § Omer Levy § Mike Lewis § Luke Zettlemoyer †§ Veselin Stoyanov § † Paul G. Allen School of Computer Science & Engineering, University of Washing
2022-05-29 23:48:19
1083
翻译 Capturing Global Informativeness in Open Domain Keyphrase Extraction
在开放域关键词提取中捕获全局信息Si Sun 1 ? , Zhenghao Liu 2 ? , Chenyan Xiong 3 , Zhiyuan Liu 4 ?? , and Jie Bao 1 ?? 1 Department of Electronic Engineering, Tsinghua University, China 2 Department of Computer Science and Technology, Northeastern University, China 3 Micr
2022-05-21 19:14:18
864
翻译 LayoutLM: Pre-training of Text and Layout for Document Image Understanding
LayoutLM：文本和布局的预训练，用于理解文档图像Yiheng Xu ∗ charlesyihengxu@gmail.com Harbin Institute of Technology Minghao Li ∗ liminghao1630@buaa.edu.cn Beihang University Lei Cui lecu@microsoft.com Microsoft Research Asia Shaohan Huang shaohanh@microsoft.com Microsoft Res
2022-05-20 20:13:57
1569
翻译 PromptBERT: Improving BERT Sentence Embeddings with Prompts （通篇翻译）
PromptBERT：使用提示改进BERT句子嵌入Ting Jiang 1 ∗ , Shaohan Huang 3 , Zihan Zhang 4 , Deqing Wang 1 † , Fuzhen Zhuang 2 , Furu Wei 3 , Haizhen Huang 4 , Liangjie Zhang 4 , Qi Zhang 4 1 SKLSDE Lab, School of Computer, Beihang University, Beijing, China 2 Institute o
2022-04-15 22:02:18
1477
翻译 ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
ESimCSE：用于无监督句子嵌入对比学习的增强样本构建方法Xing Wu 1,2,3 , Chaochen Gao 1,2 ∗ , Liangjun Zang 1 , Jizhong Han 1 , Zhongyuan Wang 3 , Songlin Hu 1,2 1 Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, Universi
2022-04-15 20:13:45
1079
翻译 ERNIE 3.0: LARGE-SCALE KNOWLEDGE ENHANCED PRE-TRAINING FOR LANGUAGE UNDERSTANDING AND GENERATION(翻译)
ERNIE 3.0: LARGE-SCALE KNOWLEDGE ENHANCEDPRE-TRAINING FOR LANGUAGE UNDERSTANDING ANDGENERATION
2022-04-14 00:20:07
3499
翻译 Matching the Blanks: Distributional Similarity for Relation Learning （通篇翻译）
Matching the Blanks: Distributional Similarity for Relation Learning （通篇翻译）
2022-04-11 23:55:22
714
翻译 ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices （翻译）
ShuffleNet：一种用于移动设备的高效卷积神经网络Xiangyu Zhang ∗ Xinyu Zhou ∗ Mengxiao Lin Jian Sun Megvii Inc (Face++) { zhangxiangyu,zxy,linmengxiao,sunjian } @megvii.com摘要我们介绍了一种计算效率极高的CNN体系结构，名为ShuffleNet，它专门为计算能力非常有限的移动设备（例如10-150 MFLOPs）设计。新的体系结构利用了两种新的操作，逐点组卷积和信道shu
2022-04-11 23:01:14
1050
翻译 Improved and Efficient Conversational Slot Labeling through Question Answering
通过问答改进和高效的会话槽标签Gabor Tibor Fuisz ∗ , Ivan Vulić, Samuel Gibbons, Inigo Casanueva, Paweł Budzianowski PolyAI Limited, London, UK ivan@poly-ai.com, pawel@poly-ai.com摘要基于Transformer的预训练语言模型（PLM）在大多数自然语言理解（NLU）任务中提供了无与伦比的性能，包括一系列问答（QA）任务。我们假设QA方法的改进也可以直接在
2022-04-11 00:03:58
991
翻译 Probabilistic Embeddings with Laplacian Graph Priors
具有拉普拉斯图先验的概率嵌入Väinö Yrjänäinen 1 Måns Magnusson 11 Department of Statistics, Uppsala University, Uppsala, Sweden摘要我们使用拉普拉斯先验（PELP）引入概率嵌入。所提出的模型能够将图形侧信息合并到静态单词嵌入中。我们从理论上证明，模型将之前提出的几种嵌入方法统一在一个框架下。PELP概括了图形增强、分组、动态和跨语言静态单词嵌入。PELP还以一种简单的方式实现了这些之前型号的任意组合。此外
2022-04-08 00:03:58
748
翻译 Attention Is All You Need
主要的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，Transformer，它完全基于注意力机制，完全不需要重复和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优，同时更具并行性，需要的训练时间显著减少。我们的模型在WMT 2014英德翻译任务中达到28.4 BLEU，比现有的最佳结果（包括合奏）提高了2 BLEU以上。在WMT 2014年英法翻译任务中，我们的模型在8个GPU上进行了3.5天的训练后
2022-04-07 00:36:29
605
翻译 Deep Reinforcement Learning with Knowledge Transfer for Online Rides Order Dispatching
用于在线乘车订单调度的知识转移深度强化学习
2022-04-05 22:24:15
629
翻译 YOLOv4: Optimal Speed and Accuracy of Object Detection
YOLOv4：目标检测的最佳速度和精度Alexey Bochkovskiy ∗ alexeyab84@gmail.com Chien-Yao Wang ∗ Institute of Information Science Academia Sinica, Taiwan kinyiu@iis.sinica.edu.tw Hong-Yuan Mark Liao Institute of Information Science Academia Sinica, Taiwan liao@iis.sinica.ed
2022-04-01 00:10:48
1728
翻译 WHENet: Real-time Fine-Grained Estimation for Wide Range Head Pose
WHENet：大范围头部姿势的实时细粒度估计Yijun Zhou yijun.zhou1@huawei.com James Gregson james.gregson@huawei.com IC Lab, Huawei Technologies Canada摘要我们提出了一个端到端的头部姿势估计网络，用于从单个RGB图像预测整个头部雅司病的欧拉角。现有的方法在正面视图中表现良好，但从所有角度来看，很少有目标头部姿势。这在自动驾驶和零售业中都有应用。我们的网络建立在多损失方法的基础上，改变了损失函数和
2022-03-30 23:53:50
2189
原创 Tushare Pro注册入口
https://tushare.pro/document/1?doc_id=108注册接口:https://tushare.pro/register?reg=395896 通过此链接注册tushare pro用户。
2020-10-17 10:16:37
2302
转载 修改wordpress的域名
修改wordpress的ip地址：UPDATE wp_posts SET post_content = replace( post_content, '老域名.com','新域名.com') ;UPDATE wp_comments SET comment_content = replace(comment_content, '老域名com', '新域名.com') ;UPDATE wp
2016-03-08 12:11:50
738
原创 wordpress发布文章404
wordpress固定链接最好包含标题名称实现seo;wordpress不能发布带有中文题目的文章，这里采用的是wp_slug_translate插件自动翻译题目；这样还是不行的，需要提供修改注册文件的权限，在httpd.conf中修改：AllowOverride 的None改成All同时查询mod_rewrite.so，把前面的#去掉应该就可以了。
2016-03-08 10:58:10
2416
原创 protobuf 理解
一、什么是protobuf类似我们传统使用的json，xml等传输数据的方式。google 提供了三种语言的实现：java、c++ 和python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用xml 进行数据交换快许多。二、Protobuf的优点1，性能好，效率高，较之json或xml传输速度快，因为它是二进制的，相对应的缺点就是可
2016-01-12 15:04:55
592
转载 session
session对象用于在会话范围内，记录每个客户端的访问状态，以便于跟踪每个客户端的操作状态，在会话存储的信息，在浏览器发出后续请求时可以获取这些会话的有效数据。 在jsp页面中可以直接使用session对象（jsp的内置对象），也可以通过pageContext.getSession()或者request.getSession重新回去session对象。
2015-12-14 18:16:32
458
原创 我用到的常用SQL
由旧表创建新表：create table as select*****；合并表：select a.*,b.colm1,colm2 from table1 a inner join table2 b on a.name=b.name;相同字段合并：（可重复）select * from table1 union all select * from table2； （去重复）select
2015-12-14 13:15:52
457
原创 excel导入mysql
采用的是Navicat for MySQL，具体方法如下：1.对EXCEL中的数据进行处理，一般要去除逗号等符号，然后导出成CSV文件；2.打开Navicat for MySQL，右击表，导入向导，采用txt格式导入，以逗号为分隔符；3.可以选择复制进去还是添加进去，也可以选择重新建立新表。
2015-10-14 10:48:36
426
原创 面试总结
腾讯一面（基础研究）1.自我介绍（主要介绍了自己的本科和研究生主攻的方向，简单介绍了一下自己的兴趣爱好）2.出两道题：文本聚类，文本查重；链表插入删除。5分钟后提交，不会的说一下思路。3.根据我前面的说一下k-means,其改进方向，优缺点。4.自己做得文本挖掘项目。5.自己做得图像识别项目，opencv有哪些应用，介绍haar特征，并介绍其分类器是怎么训练的。6.pca的
2015-09-15 08:35:11
388
转载 R语言 关联规则
代码：library(arules) #加载arules程序包data(Groceries) #调用数据文件frequentsets=eclat(Groceries,parameter=list(support=0.05,maxlen=10)) #求频繁项集inspect(frequentsets[1:10]) #察看求得的频繁项集inspect(sort(frequent
2015-06-21 12:51:51
1635
转载 probit logit
probit模型是一种广义的线性模型。服从正态分布。 最简单的probit模型就是指被解释变量Y是一个0,1变量，事件发生地概率是依赖于解释变量，即P（Y=1）=f(X)，也就是说,Y=1的概率是一个关于X的函数，其中f(.)服从标准正态分布。 若f（.)是累积分布函数，则其为Logistic模型 Logit模型（Logitmodel，也译作“评定模型”，“分类评定模型”，
2015-06-03 11:31:23
6933
转载 SPSS probit回归
转自：结果是以二分类形式表达，同逻辑回归有很大相同点。概率单位分析用于实验研究，逻辑分析更多是观察性研究。概率单位的回归方程是将概率转换为与自变量所对应的标准正态离差，将因变量反应率P作Logit转换，即Logit P=ln（P/（1-P）），则概率单位回归方程变为Logit回归方程。“转换”：“在概率单位分析时，常新将协变量进行对数转换
2015-06-03 11:24:48
11586
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人