自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

manbufenglin的专栏

manbufenglin 优快云认证博客专家优快云认证企业博客

码龄18年

95: 原创

4万+: 周排名

224万+: 总排名

28万+: 访问

: 等级

4001: 积分

1012: 粉丝

25: 获赞

22: 评论

71: 收藏

私信

关注

热门文章

分类专栏

最新评论

springboot项目在spark yarn 集群上部署运行
b u g: spark-submit --class 启动springboot启动类后，spark任务运行完成main的内容就完了。有什么办法解决吗
springboot项目在spark yarn 集群上部署运行
manbufenglin: run 方法下加入日志或设置断点，试试
springboot项目在spark yarn 集群上部署运行
DataCareer: D:\SourceCode\spark-merge>spark-submit --class com.afanti.SparkApplication --master local --deploy-mode client target/spark-merge-1.0-SNAPSHOT-jar-with-dependencies.jar DouyinAwemeInfoMerge "2022-02-09 00:00:00" 1 abc [DouyinAwemeInfoMerge, 2022-02-09 00:00:00, 1] log4j:WARN No appenders could be found for logger (org.springframework.core.env.StandardEnvironment). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==============|___/=/_/_/_/ :: Spring Boot :: (v1.0-SNAPSHOT)
springboot项目在spark yarn 集群上部署运行
DataCareer: 我的使用spark-submit运行时不执行CommandLineRunner子类的run方法。
Hadoop与Hbase 版本兼容（官网）
唔昂么萤衣唔俺: 就是说hbase官方说的现有版本都不支持hadoop3.2以上是么？

Hadoop 管理与调优

关注

记录一些关于hadoop相关的学习笔记

关注数：文章数：1 文章阅读量：1639 文章收藏量：1

作者: manbufenglin

技术兴趣：大数据技术、技术架构、JAVA、数据库开发，C#(Asp.NET)等；

展开

Hadoop 数据存储之NameNode、DataNode

NameNode的功能： NameNode通过执行以下任务来管理文件系统命名空间。维护与文件系统相关的元数据，如文件层次结构和每个文件的块位置；管理用户对数据文件的访问；数据块和集群中存储节点的映射关系；执行对文件系统的操作，如打开或关闭文件以及目录；为集群中的DataNode成员提供注册服务并处理来自DataNode的周期性心跳；确定哪些节点上的数据应该被复制，并删除超出的复制块；处理DataNode发送的块报告并维护数据库的存放位置。虽然Namenode知道HDFS块的所

原创 2020-10-19 21:11:52 · 1639 阅读 · 0 评论