大数据技术
关注
分享
扫一扫
頔潇
哈尔滨工业大学计算学部本科生
展开
-
联邦机器学习 Federated Machine Learning
联邦机器学习又名联邦学习，联合学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。原创 2020-06-02 23:09:17 · 2521 阅读 · 0 评论 -
基于Python+Spark分布式数据操作：求精确中位数并验证
生成1万个随机数，存储在HDFS文件系统中的data1.txt中，每个数字之间用“,”分隔。从HDFS上读入data1.txt，生成RDD，找到这个数据集合的**中位数**（精确的），只能使用RDD有关API，并且不能调用Spark提供的中位数计算的API，在Spark平台上实现中位数算法后，验证结果的正确性。原创 2020-05-12 17:06:56 · 1062 阅读 · 0 评论 -
Spark大数据开发技术简介
Spark大数据开发技术简介：历史沿革、Spark的优点、对比、Apache Spark堆栈中的不同组件、基本原理、架构组成、部署和体系结构、Spark运行模式、页面原创 2020-04-25 13:09:06 · 1176 阅读 · 0 评论