Hadoop
关注
分享
扫一扫
jast_zsh
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop Yarn REST API未授权漏洞利用挖矿分析
目录一、背景情况二、 漏洞说明攻击步骤：三、入侵分析四、安全建议清理病毒安全加固五、IOCs一、背景情况5月5日腾讯云安全曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对...转载 2020-04-04 08:23:45 · 1274 阅读 · 0 评论 -
Yarn 监控 - 监控任务运行状态 （包括Spark，MR 所有在Yarn中运行的任务）
平时开发中可以在yarn的web页面查看应用程序运行状态，如下图下面代码实现了，代码监控Yarn运行程序，可以对部分任务进行实时监控Maven pom引用 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop...原创 2020-02-22 18:01:47 · 8742 阅读 · 1 评论 -
Cloudera-Manager-agent 误删恢复
场景：同事操作失误，将agent节点误删了解决方法1.对比正常agent节点与被删除节点安装包差异 yum list installed |grep cloudera2.通过和正常的服务器对比我们发现，丢失的只有cloudera-manager-agent.x86_643.查看yum源中所有cloudera-manager组件：yum search c...原创 2020-01-15 10:56:20 · 1977 阅读 · 1 评论 -
迁移 Cloudera Manager 节点 ，迁移Cloudera Scm Server端
目录1.迁移节点信息：212 -> 442.压缩存储目录，备份SCMServer数据3.在新服务器安装server端4.修改 cloudera-scm-server 配置文件5.解压恢复备份数据到新服务器指定配置的目录中6.修改所有agent节点的配置文件内容7.迁移ClouderaManagementService节点8.停止原有的server端与所有...原创 2020-01-15 10:35:47 · 1228 阅读 · 0 评论 -
CM，CDH 修改迁移元数据库
1.停止所有服务2.停止Cloudera Management Service服务3.登录CM所在服务器，停止cloudera-scm-server服务，命令如下：systemctl stop cloudera-scm-server4.停止CM服务和CDH集群后，对数据库进行迁移数据导出mysqldump -uroot -p --all-database...原创 2020-01-15 10:42:58 · 2949 阅读 · 0 评论 -
Centos7.x 安装 CDH 6.x
前置条件ntp服务安装 防火墙关闭执行以下优化代码echo "* soft nofile 128000" >>/etc/security/limits.conf echo "* hard nofile 128000" >>/etc/security/limits.conf echo "* soft nproc 128000" ...原创 2019-09-01 15:12:22 · 791 阅读 · 0 评论 -
CDH中文文档下载，Cloudera中文手册，CM中文文档
CDH中文文档下载链接：https://pan.baidu.com/s/1G-8WCafpPZ3p7ZDeXLcgug提取码：ubxz原创 2019-07-18 09:42:06 · 6040 阅读 · 0 评论 -
CDH 配置YARN动态资源池的计划模式，根据时间划分资源，不同时间不同队列使用不同资源
公平调度配置可参考：http://datamining.blog.youkuaiyun.com/article/details/94554469目录计划模式设置队列资源抢占分配计划模式设置1.创建计划规则2.设置白天配置，可以根据业务选择具体配置计划，调整资源，选择每天，就是每天的固定时间范围。这里选择每天，时间初步划分为区分白天和晚上3.创建完成后可以看到配...原创 2019-07-04 14:56:48 · 10937 阅读 · 0 评论 -
NameNode所需配置，NameNode内存配置计算，NameNode与block关系
搭建Hadoop配置，NameNode 所需大小，与Block大小，HDFS副本数均有关，计算方式如下：Namenode需要的内存注意：以上计算Block数量只是粗略计算，文件名称的长度和系统目录的个数 两个也需要NameNode来进行管理。原创 2019-07-09 13:45:26 · 4210 阅读 · 0 评论 -
CDH Yarn资源动态分配 - 指定资源限制 公平调度具体设置
日常工作中会涉及到各种资源分配等问题，跨部门，跨业务等等，这里介绍基于CDH版本的Yarn 公平调度（实际使用DRF调度）不同时间配置不同资源参考（计划模式）：https://datamining.blog.youkuaiyun.com/article/details/94613928DRF与FAIR区别：DRF：根据 CPU 和内存公平调度资源。 (建议，CDH自带)FAIR：仅根据内...原创 2019-07-04 13:36:05 · 4319 阅读 · 0 评论 -
hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations)
关键字：hdfs fsck、block、locations在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行，普通用户无权限。[hadoop@dev ~]$ hdfs fsckUsage: DFSck [-list-corruptfileblocks | [-move | -del...转载 2019-06-26 14:08:42 · 2283 阅读 · 0 评论 -
大数据技术讲解
HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoo...转载 2019-05-20 10:22:56 · 691 阅读 · 0 评论 -
Cloudera Manager agent无法启动，拒绝链接 Failed! trying again in 2 second(s): [Errno 111] Connection refuse
启动agent节点失败，提示拒绝连接，百度一下很多人说解决方式是用ps -ef | grep supervisord查看是否有进程，有的话 kill 掉（使用kill -9 会自动拉起进程，使用kill），然后重启即可，kill掉后依然无法启动 cloudera-scm-agent.log日志文件报错如下[01/Apr/2019 16:46:19 +0000] 97874 ...原创 2019-04-09 18:41:58 · 5716 阅读 · 2 评论 -
Hadoop文章收集汇总 - 如禁止转载，请及时联系本人 收集学习互联网各位前辈分享的文章
工具自动自动集成文章列表与URL 公众号名称 标题 作者 发布时间 Hadoop实操 如何使用Sentry管理Hive仓库目录外的其他目录的acl同步 Fayson 2018/9/30 8:27 Hadoop实操 如何使用Impala合并小文件 Fayson 2018/9/29 1:14 Hadoop实操 如何规...转载 2018-09-30 11:00:24 · 2347 阅读 · 0 评论