fct2001140269的博客

参考资料：Hadoop集群搭建，14张过程截图超详细教程目录目录hadoop集群构建 for ljgk一、基础环境准备修改主机名称配置yum源1. 局域网中配置代理环境2.或者使用私有的yum源的方式关闭防火墙配置ip映射集群免密登录修改操作系统最大打开文件数(句柄数量)设置服务器时间同步二、构建hadoop集群安装jdk添加hadoop用户，并赋予权限(强烈推荐做)修改hadoop配置文件(不完全配置)格式化hdfs的节点验证部署结果[参考文档]HDFS新增节点与删除节点待完成(非紧急)搭建集群之前的准备

typora-copy-images-to: …\typora-pictureSpark history UI历史监控构建created by fangchangtan | 202006091 构建历史spark ui回放功能的目的​ spark steaming运行过程中，如果spark streamming程序异常终止，则spark ui后台线程立即消失，导致后期追踪恢复spark问题现场困难，此时只能通过spark的日志来发现问题，但是spark的日志本身保存时间短（2天），日志中可.

转载自：https://blog.youkuaiyun.com/clerk0324/article/details/53218284本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBa...

解决数据倾斜的办法，前辈已经写得非常完整了，我这里就直接搬砖吧 （建议先看这个链接文章，非常好） https://blog.youkuaiyun.com/chyeers/article/details/78320778下面是自己的总结：一、Hadoop中的数据倾斜：什么是数据倾斜？（见下图）简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。举个 wo...

转载 ：https://www.cnblogs.com/ahu-lichang/p/6645074.html MapReduce简介MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。MapReduce执行流程&...