
大数据
文章平均质量分 93
enough_time
这个作者很懒,什么都没留下…
展开
-
深度学习模型---卷积神经网络
卷积神经网络CNN的组成卷积层池化层zero padding全连接层LENET神经网络ALEXNET神经网络较流行的神经网络注意卷积神经网络(Convolutional Neural Network)是一种前馈神经网络。常用于图像领域。CNN的组成CNN由卷积层、池化层、全连接层组成。卷积层卷积层的作用是进行特征提取。通过卷积核在输入数据上进行卷积计算(即卷积核对应输入数据的矩阵和卷积核矩阵的内积运算,对应位置的数字相乘再相加求和),从而减少数据的维度,达到特征提取和降低维度的作用。如下:对原创 2021-09-22 21:05:27 · 2307 阅读 · 0 评论 -
机器学习------联邦学习的安全与隐私
联邦学习的安全与隐私安全和隐私攻击攻击目标攻击方式1.恶意参与者2.恶意服务器攻击方法投毒攻击对抗攻击参与者GAN攻击推理攻击联邦学习的防御措施安全防御措施1.投毒攻击的防御--异常检测、对抗训练2.对抗攻击防御隐私防御措施1.同态加密与安全多方计算2.差分隐私保护联邦学习面临的挑战联邦学习是一种新型的分布式学习框架,与分布式机器学习中的数据并行化训练具有相似的逻辑结构(即拥有不同训练数据的多个节点共同执行一个机器学习任务)。允许多个参与者之间共享训练数据而不会泄露其数据隐私。参与者的数据隐私可以通过只上原创 2021-08-28 21:57:00 · 4442 阅读 · 0 评论 -
机器学习------安全与隐私问题综述
近年来机器学习的发展十分迅速,机器学习被用在很多场景。机器学习的学习方式1.集中学习即传统的机器学习训练,在模型训练之前,各方的数据需要被数据收集者集中收集,然后由数据分析者进行模型训练。数据收集者和数据分析者可以不同缺点:用户的数据被收集之后,用户很难获得对数据的控制权2.联邦学习联邦学习则是通过共享一个全局模型,参与者的数据保留在本地,只需将训练后的模型更新参数上传到参数服务器,由参数服务器整合参数,从而实现模型更新即可。与传统机器学习相比,联邦学习提高了学习效率,还能解决数据孤岛问题,保原创 2021-08-28 21:52:05 · 3501 阅读 · 0 评论 -
minikube集群中部署nginx
minikube集群中部署nginx1.通过kubectl expose的方式将资源发布2.通过deployment方式部署3.通过创建service资源去部署nginxservice类型为cluster ipservice的类型为nodeportservice类型为loadbalancer4.通过Ingress发布服务为ingress创建TLS认证,从而可以使用HTTPS去访问服务在集群中部署nginx的服务,需要有pod节点,可以通过rc、rs、deployment等管理工具去创建pod,也可以直接创原创 2020-12-03 09:53:53 · 2749 阅读 · 0 评论 -
swarm集群搭建
swarm集群搭建基础知识swarm集群搭建步骤理论知识步骤第一步:搭建前的环境准备第二步:构建集群注意事项/常见错误:基础知识swarm是docker公司推出的一个docker容器编排工具。Swarm是Docker公司推出的用来管理docker集群的平台,几乎全部用GO语言来完成的开发的, 它是将一群Docker宿主机变成一个单一的虚拟主机,Swarm使用标准的Docker API接口作为其前端的访问入口Docker Compose 是一个在单个服务器或主机上创建多个容器的工具,而 Docker原创 2020-08-31 22:12:39 · 940 阅读 · 0 评论 -
hadoop、spark、zookeeper
Hadoop:是一个能够在跨计算机的分布式环境中存储和处理大数据的开源框架。既有高容错、高可靠性、高扩展性的特点。可靠性体现在:1.数据的冗余2.机架策略(通过节点之间发送一个数据包,感应节点是否在同一个机架,一般本机架设置一个副本,其他机架再设置一个副本)3.心跳机制(NameNode 周期性从 DataNode 接受心跳信息和块报告,NameNode 根据块报告验证元数据)适合于大规模数据、流式数据(写一次,读多次)、能在一般硬件上运行。不适合读大量的小文件、低延时的数据访问、频繁的修改原创 2021-03-10 18:12:56 · 451 阅读 · 1 评论