
大数据
文章平均质量分 67
withSandra
我真心的喜欢,所以付出百倍的努力。得之,我幸;不得,我命。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
jps -- process information unavailable-hadoop集群错误
之前集群正常,装了个MySQL后,jps就变成了这样了,我试了许多方法,就这个对我有用,特此记录,防止日后类似问题。 错误: 之前的: 解决: (1)首先删除 /tmp/下的 hsperfdata_用户名 文件,我的是hsperfdata_root,参考以下博客。 原文链接:https://blog.youkuaiyun.com/qq_42385284/article/details/89503773 (2)重新启动hadoop。 提示进程还在运行。 (3)关闭集群,再重新启动 .原创 2020-07-01 09:34:13 · 589 阅读 · 0 评论 -
利用MapReduce框架,编程实现数据去重与排序。
利用MapReduce框架,编程实现数据去重与排序。 熟练掌握map-reduce工作流程; 核心思想:分而治之,把大的数据集分成许多小数据块,在多台机器上并行处理。 透彻理解map-reduce工作流程中每个“节点”的功能。 Input: 输入文件的存储位置 Split: 大数据集拆分成小数据集。 Mapper:<1> 把输入目录下的文件进行逻辑切片,每个切片由一个MapTa...原创 2019-11-12 15:55:01 · 1959 阅读 · 0 评论 -
HBase的安装、部署、与测试
HBase的安装、部署、与测试 (1)Zookeeper的安装与配置; vim zookeeper/data/myid 1(master) 主节点 vim zookeeper/data/myid 2(slave1) 从节点1 vim zookeeper/data/myid 3(slave2) 从节点2 zookeeper的验证: zookeeper 的启动与关闭: (2)H...原创 2019-11-12 15:45:11 · 760 阅读 · 0 评论