fareise的博客

Nbeats系列模型解析

这篇文章给大家详细介绍一下这两种方法，以及采用这两种方法的经典时间序列预测论文。

如何搭建适合时间序列预测的Transformr模型

微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“、”图学习“等获取各个领域干货算法笔记~Transformer诞生于NLP领域，目前已经成为NLP中的主力模型。同时，Transformer在CV领域也逐渐显示出其超强的能力，诸如ViT、Swin Transformer、BEiT等Vision Transformer模型验证了Transformer同样适.

这篇文章就为大家整理了Multilingual多语言预训练语言模型的套路，包括XLM、XLM-R、ERNIE-M、Unicoder、ALM等5个经典模型，以及这些模型之间的演进关系。

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“圆圆的算法笔记”，定期更新深度学习/CV/NLP/搜推广干货笔记，和世间万物的学习记录~层次时间序列预测是工业界非常常见的一个应用场景。当要预估的时间序列之间存在层次关系，不同层次的时间序列需要满足一定的和约束时，就需要利用层次时间序列预测方法解决。设想这样一种场景，我们作为政府负责旅游业的部门，需要预测出澳大利亚每个月的旅游人数，同时还需要预测澳大利亚每个州的旅游人数，以及每个州中每个区的旅游人数。如果澳大利亚包括10个州，每个州包括5个地区，那

目前解决时间+空间预估的方法主要包括基于图的时序预估和基于矩阵分解的时序预估两种方法。本文通过6篇顶会论文介绍了这两种类型方法的发展历程。

这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法，主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型，看看顶会论文中都是如何构造prompt模板并以此提升prompt效果的。

介绍Vision Transformer最新工作BEiT以及和历史工作的对比

本文介绍了来自2018年以来ICML、CVPR等顶会的7篇论文，总结了Finetune的四种类型招式，通过更科学的Finetune方式，提升迁移学习效果。

本文将对分布式训练原理，以及常见的Parameter Server分布式架构和Ring Allreduce分布式架构进行简单介绍。

本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。

本文带你走进命名实体识别（NER）任务，首先介绍了解决NER任务的经典模型结构，然后通过3篇顶会论文介绍当缺少训练样本的时候，如何解决NER任务。

本文梳理了近期10篇Transformer、Attention机制在计算机视觉领域的应用，从ViT到Swin Transformer，完整了解CV Transformer的发展过程。

本文重点介绍近两年几个NLP中finetune优化的经典工作，包括adapter-finetune、side-tuning、mask-finetune以及prefix-finetune等工作。

本文首先介绍了Transformer模型的基本结构，然后详细介绍了9篇针对Transformer效率优化、长序列建模优化的顶会论文。

本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文，涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用

本文从最基础的多任务学习开始，梳理了近几年来7篇多任务学习顶会相关工作，包括Hard/Soft Parameter Sharing、参数共享+门控、学习参数共享方式等建模方式。

本文首先从不同角度介绍对meta-learning的理解，然后进一步介绍meta-learning的典型模型MAML的原理。在此基础上，介绍了5篇近3年的顶会的论文，从3个角度揭示了meta-learning在学术界的优化方向。

本文介绍了深度学习模型在时间序列预测问题中的应用，主要包括RNN、CNN、Transformer、Nbeats等4种类型模型，以及12篇相关顶会论文，全面掌握深度学习时间序列预测方法。

本文介绍了点击率预估模型的发展历程，从DNN模型和FM模型出发，介绍了FM和DNN相结合，以及针对DNN/FM问题进行的改进，梳理了近年来点击率预估模型的整体发展历程，包括DeepFM、FNN、PNN、DCN、Wide&Deep等

Domain Adaptation：缺少有监督数据场景下的迁移学习利器。迁移学习在无监督任务中的实现方法，介绍多篇顶会论文关于Domain Adaptation的最新研究