图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

最近研读Transformer后，发现和GNN极其相似，于是开始调研他们之间的关系(对Transformer熟悉的可以直接跳过这一部分阅读)(对GNN熟悉的可以直接跳过这一部分阅读)

Transformer是起源于NLP领域，然后在图像、视频、声音等领域都得到了广泛应用的基础架构，是继MLP、CNN、RNN’后的公认的第四大基础模型结构。Transformer技术凭借其卓越的表现和广泛的应用前景，已经成为了机器学习领域的一个关键技术。自从2017年Google提出》一文以来，Transformer架构的出现彻底改变了机器学习和深度学习的格局，尤其是在处理语言模型、生成模型以及多模态学习等领域，Transformer几乎成为了不可或缺的技术基石。

本文全面分析了今年AI的发展，包含AI技术栈的基础设施层、基础模型层、应用层、工具层，尤其是各个层面的主要收获、值得关注的趋势与值得关注的初创公司。此外，本文还概括了AI领域的投资和并购情况，以及其他AI趋势。需要指出的是，可能限于作者KelvinMu的关注重心，本文除了对中国基础模型的介绍，没有更多关于中国AI其他技术栈的进展。不过，这并不妨碍本文仍是我们了解2024年AI产业全局的绝佳文本。

聘用合同是聘用单位与受聘人员确立聘用关系，明确双方权利与义务的协议制度。《条例》规定，在事业单位公开招聘工作人员程序最后一项，应订立聘用合同，办理聘用手续。不过值得一提的是，事业单位实行聘用制，是从2002年7月开始的。在此之前，没有什么事业单位聘用合同，事业单位在编人员签的是“聘用干部合同书”。但自从2006年1月1日起，事业单位逢进必考（人才引进和退役军人安置例外）。

在写这篇总结的时候，心中有不少感叹。我常想，如果我在焦虑死磕深度学习的时候我多开窍一些会发生什么，如果我并没有在实习结束的时候完成当时的实验，又会是什么。但现在看来，很多困难和无助都是随机的涨落的一部分，付出足够多的时间和耐心，随机过程总会收敛到和付出相对的稳态。每个人的研究道路都各不相同，我的经历应该也是千万条道路中其中一条罢了。博士的经历就好像是用五年多时间作为筹码投资给自己，去突破自己做自己原来想不到的事情。中不管坎坷曲折都是无可替代的一部分。科研从来不是一个人的事情，对于我来说特别是如此。

如何写论文想idea跑实验

计算机人工智能领域和数据挖掘领域发论文推荐期刊和会议

图神经网络的架构搜索近期进展

KD和迁移学习的区别

小白入门科研必读之物，很是通俗易懂

学术小白指南读后感小记

目录1、简介2、工具文献管理软件1）Endnote2）Notepress3）Zotero统计处理软件1）SPSS2）Origin3）GraphPad Prism学术英文词典工具合集1）近义词辨析：https://wikidiff.com/neglect/omit2）语言模型帮你找搭配：https://linggle.com3）科研论文里常见哪些词组：http://www.esoda.org/4）学术用语检索: https://www.phr..

GNN高效学习，含MLP和GNN联合学习等

GNN相关论文报告汇总

Ada Workshop 2023：一同创造“我们的时刻”

论文引言怎么写

你也可以做到|从博士后成长为PI的建议

整理自作者：叶茫 武汉大学2022年1月份更新部分论文撰写的建议（需要原文件的可以联系个人邮箱）本文内容主要是基于笔者在学院内部一次分享讲座整理而来。以笔者近期的几篇论文投稿为例，分享论文学术论文投稿、撰写与返修（Rebuttal）的经验。希望能够给大家论文投稿和Rebuttal带来一些帮助。主要目的: 1）了解期刊、会议投稿和审稿流程；2）了解论文撰写的一些建议和经验；3）了解论文Rebuttal常见问题和常用表达。部分内容源自于@魏秀参浅谈学术论文rebuttal - 知乎。

WWW 2023 | 推荐系统冷启动问题的架构搜索策略

ChatGPT幕后天才John Schulman写的一篇博文John Schulman就是那位创造了PPO算法的大佬。机器学习研究者的养成指南，吴恩达建议这么读论文 | 机器之心 (jiqizhixin.com)我最初于2017年12月为 OpenAI 研究员项目编写了这篇指南。在这篇文章中，我将根据自己做研究的经验和给他人的建议，为机器学习(ML)领域中的后来者提供一些建议。建议包括如何选择问题，以及如何组织你的时间。我的文章将涵盖类似的领域，但它更适合机器学习领域的特点。

学术论文是发布自己或团队最新研究进展正式且最快捷的途径，也是和同行交流想法最方便、高效的方式。当同行评议（Peer review）作为学术成果正式发布的必经之路已运行200余年[1]时，用正确的姿势进行review rebuttal便成为提高论文录用机率甚至扭转乾坤的最后一搏。本文从“What is peer review？”及“Does rebuttal matter?”三部分来聊聊学术论文（主要针对人工智能领域会议和期刊）rebuttal的那些事。

服务器环境配置

如何给模型加入先验知识？

ACM会议论文投稿前期准备材料

图神经网络在节点分类、链接预测等众多任务中广泛应用，其泛化能力受到越来越多研究人员关注。在单一领域内泛化方面，本报告指出“过拟合”是导致深层GNN表现不佳的主要原因，并介绍深层表现良好的层数自适应图神经网络；在跨领域泛化方面，本报告介绍知识可迁移图神经网络，用于图上“沉默大多数”这一领域的预测问题。

训练模型常用的涨点思路

半监督学习之协同训练方法

IEEE相关文章投稿前的资料准备下载和使用

可扩展的图神经结构搜索系统

预测沉默的大多数：知识可迁移图神经网络

北邮GNN报告专场

图自动学习+NAS

AAAI'23「腾讯」AdaTask：一种多任务学习的任务感知自适应学习率方法

从loss（损失函数）和gradient（梯度计算）方面，优化多任务模型，缓解负迁移或跷跷板的问题。

一种新的具有自适应结构的可解释消息传递方案(ASMP)来防御对图结构的对抗攻击

审稿意见汇总

未来AI尤其视觉这块的研究idea总结

论文绘图代码（可复制直接使用

ML中的时间和空间复杂度分析和计算小结

近年来，虽然研究人员在基于图（网络）数据的机器学习模型上已取得长足进展，但由于图数据中节点之间存在复杂的关联性，图模型很容易被图数据中的微小扰动所欺骗。针对图数据中的噪声和恶意攻击带来的潜在威胁，现有工作往往假设攻击者知道目标模型的信息，而防御者知道攻击者要攻击哪个模型，与现实情况有较大差距，难以应用。本次报告从更实际场景出发，探究攻防的“矛”与“盾”。在攻击层面，即使攻击者不知道目标模型的任何信息，依然能够实施有效攻击；在防御层面，只需要训练一个无监督的鲁棒图编码器，就能够有效防范网络对抗攻击在各种下游任