- 博客(19)
- 收藏
- 关注
RSS订阅原创 【LearningChain】WhenMachineLearningMeetsBlockchainADecentralizedPrivacy-preserving and SecureDesign
When Machine Learning Meets Blockchain: A Decentralized, Privacy-preserving and Secure Design主要贡献1、提出基于区块链的去中心化的联邦系统LearningChain，考虑了线性和非线性模型（传统FL对非线性模型的隐私问题关注较少），并理论分析其安全性和隐私性；2、提出一个拜占庭容错的聚合算法( l-nearest aggression)；3、设计不同的隐私策略来保护数据持有者的隐私，线性或非线性模型中；3
2021-12-23 16:41:01
11531
原创 【论文】【BLADE-FL 】When Federated Learning Meets Blockchain: A New Distributed Learning Paradig
When Federated Learning Meets Blockchain: A New Distributed Learning Paradigm贡献 BLADE-FL（LearningChain）1、设计BLADE-FL（blockchain assisted decentralized FL）框架；2、并探讨了BLADE-FL中的问题（隐私、资源分配、懒客户的检测）并给出解决方案；3、实验证明解决方案的有效性；BLADE-FL框架介绍完全去中心化：所有节点都参与训练ML模型并负责挖矿
2021-12-21 19:44:12
790
原创 【论文】【CwMed】Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates
Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates摘要：1、提出一个分布式优化算法健壮性和最佳性能的证明方式；2、基于证明方式提出了两种满足鲁棒性的分布式梯度下降算法（基于中位数或基于修剪后的平均操作）；3、为增强通信效率，提出一个基于中位数的仅使用一轮通信的分布式算法，并证明了其鲁棒性，并证明在强凸二次损失中，该算法与鲁棒分布式梯度下降算法具有相同的最优错误率。背景介绍：1、1982年Lamport提
2021-12-20 20:57:57
1619
原创 【论文】【PIRATEA】 blockchain-based secure framework of distributed machine learning in 5g networks
PIRATE: A blockchain-based secure framework of distributed machine learning in 5g networks主要贡献：5G时代，通信延迟和网络带宽不再是移动设备的瓶颈，每个移动设备都可参与分布式学习（可用性），分布式系统在上传本地模参和聚合模型过程中可能会遭受拜占庭攻击，模型安全成为新的问题；拜占庭攻防，本文提出基于区块链分片技术(sharding)的安全计算框架（PIRATE）待解决的问题移动设备计算力足够，但因设备异
2021-12-17 20:52:32
12508
原创 【论文】【BFLC】 A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus
中山大学研究团队2020提出基于区块链委员会机制的联邦学习系统（BFLC）。相比BFL的优点：1、减少共识计算量2、减少恶意攻击讨论了BFLC的扩展性（理论安全、存储优化、激励机制）【1】FL（C/S）存在的问题中央服务器功能：执行更新聚合并广播（要求网络高带宽）、客户端节点选择、全局模型的维护存在的问题：服务器稳定性受服务器提供商影响、偏向某些客户端导致模型倾斜、服务器恶意投毒或从模型更新中收集用户隐私数据；解决方案: 去掉中央服务器，使用分布式节点代替—>区块链(分布式数据库)
2021-12-14 19:21:23
15670
原创 【FATE - 3】 FATE ON Spark（ZooKeeper+Hadoop）+ Pulsar + Nginx 部署指南
FATE ON Spark/CDN FATE部署指南1.基础环境配置1.1 hostname配置(可选)1）修改主机名在128 root用户下执行：hostnamectl set-hostname VM-0-1-centos在 129 root用户下执行：hostnamectl set-hostname VM-0-2-centos2）加入主机映射在目标服务器（128、129 ）root用户下执行：vim /etc/hosts192.168.0.1 VM-0-1-centos19
2021-08-12 14:29:45
1529
9
原创 【FATE - 2】Centos7上Hadoop + Spark集群部署
本文参考至Fate集群部署下的hadoop+spark集群部署指南, 仅记录本人部署过程中的操作历程。一、系统准备【1】、集群规划节点名称主机名IP地址操作系统MasterVM-0-1-centos192.168.26.128CentOS 7.2Slave1VM-0-2-centos192.168.26.129CentOS 7.2Slave2VM-0-3-centos192.168.26.130Centos 7.2【2】、基础环境配置1、
2021-08-05 17:39:56
617
原创 【FATE - 1】设置虚拟机固定IP以及免密登录
一、前期准备1、VMWare上新建三个Centos7的虚拟机2、VMWare虚拟机的三种联网方式1、桥接模式 – 桥接： 默认使用VMnet0这一种联网方式最简单，在局域网内，你的主机是怎么联网的，你在虚拟机里就怎么连网。把虚拟机看成局域网内的另一台电脑就行了!2、NAT模式 – 网络地址转换：默认使用VMnet8联网方式：1）静态IP 、2）动态IP使用NAT技术，主机能上网，虚拟机就可以访问Internet，但是主机不能访问虚拟机。3、Host-Only – 私有网络共享主机：默认使用
2021-08-04 09:59:26
287
原创 【FATE】Ubuntu18.04上部署单机 Fate1.6.0, 并使用PyCharm进行开发和调试。
本文主要记录在ubuntu18.04上部署单机Fate1.6时遇到的问题以及解决方案。参考至：Fate官方部署指南一、准备工作【1】win10上通过Hyper-V 安装的Ubuntu18.04的虚拟机;【2】win10上安装FileZilla + Ubuntu上开启ftp服务，两者之间互传文件;win10上下载linux上Professional版本的PyCharm，并上传至ubuntu用户的Downloads目录下；win10上下载单机1.6.0版本的Fate，并上传至ubuntu用户的Do
2021-07-23 17:07:41
971
1
原创 Apache Pulsar架构简介
一、架构概述【1】Pulsar租户架构图【2】Pulsar集群架构【3】Pulsar订阅模式图二、订阅模式介绍【1】四种订阅模式【2】Producer【3】Consumer【4】Topic【5】多Topic订阅【6】数据分区【7】路由模式【8】消息存留、过期、去重三、对比Kafka具 体 内 容一、Pulsar框架介绍Apache Pulsar将高性能流式处理（Apache Kafka所追求的）和灵活的传统队列（RabbitMQ
2021-07-15 18:10:43
854
原创 Ubuntu20.04裸机上配置单机 Pulsar2.7.0 成功并生产消费消息
一、系统说明：本机是Window10系统，开启虚拟机Hyper-V后，创建Ubuntu20.04的系统，并在系统上安装JDK1.8之后，成功启动单机模式Pulsar，并在单机集群上消费生产消息；二、前期准备（ubuntu开启FTP服务 +win10上安装FileZilla客户端）windows和linux文件互传：FileZilla【1】开启Ubuntu端的FTP服务;1、安装FTP服务；sudo apt-get install vsftpd2、软件安装完后，使用VI命令打开 /etc
2021-07-14 18:24:06
448
原创 20210312~java面试记录
算法笔试40mins+基础面试20mins算法题：------【1】判断两棵二叉树的同构，同构：一棵树的任意节点的左右子树任意次交换后，能和另外一棵树相同，那么这两棵树是同构的；judge(root1, root2): 1、都为空树，则同构 2、一空一非空，则非同构 3、根值不同，则非同构 4、两棵树的左子树都为空，则judge(root1.right, root2.right) 5、两棵树的左子树都不为空，且值相同： judge(r
2021-03-12 21:05:57
146
原创 【MindSpore】Ubuntu16.04上成功安装GPU版MindSpore1.0.1
本文是在宿主机Ubuntu16.04上拉取cuda10.1-cudnn7-ubuntu18.04的镜像，在容器中通过Miniconda3创建python3.7.5的环境并成功安装mindspore_gpu_1.0.1；一、前期踩过的坑二、安装成功的流程【1】拉取cuda10.1-cudnn7-ubuntu18.04的镜像【2】镜像内创建容器此处一定是nvidia-docker创建【3】在容器内安装Miniconda【4】使用conda创建python3.7.5的虚拟环境并激活【5】通过可执行文
2020-12-11 22:14:28
458
原创 Ubuntu18.04上安装CUDA_10.1(nvidia-driver)和cuDNN_7.6.5
这里写自定义目录标题一、 前期准备二、 RUN方式安装CUDA _10.1 (我有安装过11.0，11.1,后因项目需求又改为10.1，图片有点混)三、 deb方式安装cuDNN_7.6.54、本文参考文章:本文是在Ubuntu18.04.5服务器上安装CUDA_10.1（nvidia-driver455）和cuDNN_7.6.5,Ubuntu 18.04.5CUDA_10.1 (nvidia-driver455)cuDNN_7.6.5一、 前期准备1、查看系统版本和显卡型号cat
2020-11-18 16:38:43
1013
1
原创 【MindSpore】Docker上成功使用MindSpore1.0.0的GPU版本
本文是在宿主机Ubuntu16.04上安装Docker，并成功进行MindSpore1.0.0的GPU训练；Ubuntu 16.04DockerNvidia-docker (cuda:10.1-base)mindspore-gpu:1.0.0 Dokcer hub上配置好的mindspore-gpu镜像一、 先讲述成功的流程【1】mindspore官网GPU安装教程查看具体流程系统需要ubuntu18.04，但是我的ubuntu系统版本是16.04，因为是多人共用系统，不能直接升级系统
2020-09-27 11:15:56
548
原创 Window10 上MindSpore(CPU)用LeNet网络训练MNIST
Windows10Miniconda 4.8.3Python 3.7.7MindSpore r0.7 mindspore的gitee地址本文是在windows10上安装了CPU版本的Mindspore,并在mindspore的master分支基础上使用LeNet网络训练MNIST数据集，实践已训练成功，此文为记录过程中的出现问题；【1】首先使用conda activate mindspore 进入mindspore虚拟环境【2】再切入mindspore中lenet网络的train.py所在.
2020-09-21 15:53:41
3290
5
原创 Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)
一、本文思路【1】、配置java环境–JDK12（Hadoop的底层实现语言是java,hadoop运行需要JDK环境）【2】、安装Hadoop1、解压hadoop2、配置hadoop环境变量3、配置Hadoop文件二、所需下载文件【1】JDK下载地址【2】Hadoop下载地址—推荐binary版本是提前编译好的【3】hadoop在windows上运行需要winutils支持和hadoop.dll等文件在github仓库中找到对应版本的二进制库hadoop.dll
2020-08-21 18:35:03
561
1
原创 Win10使用VMWare15安装Ubuntu-18.04.2-desktop-amd64
本文在Win10系统中使用VMWare Workstation Pro 15.1.0虚拟机安装Ubuntu-18.04.2-desktop-amd64.iso系统，同时安装VMWare Tools(实现ubuntu界面与win10系统桌面之间的文件拷贝)。一、前提二、相关下载三、安装虚拟机（VMWare Workstation Pro 15.1.0）四、新建虚拟机、安装镜像文件五、安装VMWare Tools—解决以下问题一、前提1、win10 X642、虚拟机 VMWare Workst
2020-08-21 17:24:31
655
原创 Windows上使用jekyll+github搭建免费博客
**jekyll+github搭建个人博客**（一）下载Ruby（二）安装jekyll（三）开启jekyll服务器（四）使用github展示博客一、下载RubyRuby，一种简单快捷的面向对象（面向对象程序设计）脚本语言，安装Jekyll需要电脑上安装Ruby：window系统下，可以使用rails install来安装ruby环境，下载地址，建议下载2.3以上的新版；下载 RailsInstaller 之后，双击 railsinstaller-3.2.0 文件，启动 Ruby安装向
2020-08-21 16:47:06
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人