Momahe-优快云博客

论文题目：An introduction to Deep Learning in Natural Language Processing: Models, techniques, and tools摘要：深度学习技术在NLP中的应用；NLP研究中的主要资源，包括软件，硬件和受欢迎的语料库；主要局限性

2022-06-08 09:43:57 9164 3

原创【联邦学习论文阅读】常用算法理解（SCAFFOLD、FedPD、FedBN）-目前仅SCAFFOLD

SCAFFOLD（ICML-2020）：SCAFFOLD: Stochastic Controlled Averaging for Federated LearningFedPD：https://arxiv.org/abs/2005.11418FedBN（ICLR 2021）：FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION

2022-05-05 10:18:04 6831 2

原创【联邦学习论文阅读】FedProx（2018）Federated Optimization in Heterogeneous Networks

【FedProx】论文链接：https://arxiv.org/abs/1812.06127摘要联邦学习面临两个关键挑战：系统异构性；统计异构性。本文的FedProx可以解决联邦学习的异构性，可看作FedAvg的泛化和再参数化。理论上保证了当数据为非独立同分布时模型的收敛性，同时通过允许每个参与设备执行可变的工作量，保证了设备级别的系统约束。实验证明，广义FedProx框架相对于FedAvg，在异质网络中更具稳健性和稳定性。

2022-04-25 11:42:59 10187 1

原创【联邦学习论文阅读】FedAvg（2016）Communication-Efficient Learning of Deep Networks from Decentralized Data

【FedAvg】论文链接：https://arxiv.org/abs/1602.05629摘要考虑了5种不同的模型和4个数据集，证明本文的方法对不平衡和非独立同分布的数据是鲁棒的，且降低了通信成本。

2022-04-19 15:34:25 13223 3

原创【联邦学习论文阅读】（AAAI-2021）Federated Block Coordinate Descent Scheme for Learning Global and Personalized

在联邦学习中，先利用用户边缘设备中的私有数据学习模型，再将用户的数据聚合到服务提供商的“云”中，从而获得一个全局模型。据此作出两点改进：考虑到用户习惯的不同，提出一个基于二次惩罚的公式，以有效地学习允许局部模型个性化的全局模型。解决与边缘设备的异构训练时间相关的延迟问题：利用分层结构，对云和边缘设备之间的通信，以及云内部的通信进行建模。即设计一个定制的块坐标下降的计算方案，并提供同步和异步云设置的通信协议。

2022-04-11 11:05:42 1059 1

原创【联邦学习论文阅读】（AAAI-2021）Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating

提出一种新颖的融合了反向更新和双层异步并行的垂直联邦学习框架（VFB2），以及在此框架下的 VFB2-SGD，VFB2-SVRG，VFB2-SAGA 三种新算法，助力多方协同训练模型并且不泄漏数据隐私，并在一定程度上破解垂直联邦学习算法不够高效的难点。

2022-04-11 11:03:46 1202 1

原创【联邦学习论文阅读】（AAAI-2021）On the Convergence of Communication-Efficient Local SGD for Federated Learning

在联邦学习最经常使用的模型训练算法“本地随机梯度”之外，提出一种新的高效通信分布式随机梯度算法，可以通过误差补偿双重压缩机制，对worker和server之间交换的梯度进行压缩。解决在联邦学习大规模模型有效训练中通信开销较大的难题，在保证收敛性能和模型精度的条件下，显著降低通信成本。

2022-04-07 16:39:42 1958

原创文本分类概念类大总结（机器学习+深度学习）

基础普及： https://zhuanlan.zhihu.com/p/25928551综述类（有不同算法在各数据集上的性能对比）：Deep Learning Based Text Classification:A Comprehensive Review（20.04）A Survey on Text Classification: From Shallow to Deep Learning（20.08）复现： https://github.com/wellinxu/nlp_store总体步骤：.

2022-03-23 11:49:09 6664

原创贝叶斯分类器的MapReduce实现（VMware + Hadoop）

学校课程要求用 Hadoop 实现朴素贝叶斯分类，这里总结了下大致的操作流程，帮助大家快速入门。使用的是 windows 10，vmware15.5，ubuntu18.04.1，hadoop2.7.7

2022-03-11 11:10:58 8602 1

原创 python实现可视化数独求解器（附代码链接及点点讲解）

写在前面：学校课程要求设计一个数独游戏，能自动生成初盘，也能人工设置初盘，能检测人工设置初盘的合法性；并编写一个求解数独终盘的算法。使用的是 windows 10，python 3.7，pycharm 2018.2，anaconda 2020.111. 准备工作找了不少资料，这个可视化感觉挺好看的，但是我写完啦，就没仔细看了（这是讲解？的链接，里面有给 github 的地址）：https://blog.youkuaiyun.com/u010751000/article/details/109610683学.

2022-03-08 17:10:41 5151

原创【网页版 GitHub】操作指南（搜索、下载等）

写在前面：GitHub也可以用来学习大佬们的开源代码，也可以找到许多的笔记哦~1. 用GitHub搜索2. 对喜欢内容的操作一般可以进行三种操作：watch、star、fork2.1 watch2.2 star2.3 fork

2020-10-09 21:45:11 3533

原创【网页版 GitHub】简单操作

写在前面：对小白来说，网页版更友好一些，能满足一般使用需求。这里记录一些常用的基本操作，便于查看。新手建议使用火狐 / 谷歌浏览器，可进行网页翻译。附网页版网址： https://github.com/1. 注册&登录1.1 若没有账号直接按照指示，输入你的用户名、邮箱、密码，进行注册 sign up后续会进行一些个性化定制，个人的话，选择公共的免费版 for free 就可以啦 ~最后点击 submit 完成注册。1.2 若已有账号点击右上角 sign in 登录（若忘记密码

2020-10-07 17:48:33 1531

weixin_42567789的博客

原创【更爽运用电脑】记常用快捷键

原创【VsCode】连接使用远程服务器（python）

原创【多智能体强化学习】协作 + 值分解 + QMIX算法及其改进

原创 VMWare 安装 Centos7 + Redis 出错及解决

原创各类指标学习（解释 + 公式）

原创【Anaconda】复现论文遇到的环境问题汇总

原创【学术论文】理解及查找论文/配套代码（持续更新~）

原创【更爽运用电脑】记问题解决和应用发现

原创【Anaconda】创建虚拟环境 + Jupyter Notebook + Pycharm + 安装包

原创自然语言处理NLP 2022年最新综述：An introduction to Deep Learning in Natural Language Processing