sunqingok的博客

由于集群的名称配置成了带有下划线的名称，hdfs是不识别带特殊符号（中间线除外）的名称的，导致hive连接时报错。于是修改配置，重新设置集群名称并修改集群名称相关的所有配置。hadoop集群配置中，如果修改了core-site.xml中的fs.defaultFS属性及hdfs-site.xml中的dfs.nameservices属性等集群相关的属性，该如何处理呢？首先，要删除掉所有节点tmp目录下的dfs文件夹，然后启动每个节点的journalnode进程，然后在主节点上对namenode格式化（bin

查看日志报错如下：2021-04-24 15:00:17,359 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/bdlog/hadoop/tmp/dfs/data/in_use.lock acquired by nodename 11815@apa-node012021-04-24 15:00:17,360 WARN org.apache.hadoop.hdfs.server.common.Storage:

作业调优检查的范围：Mapper的数量mapper需要运行多长时间？如果平均只运行几秒钟，则可以看是否能用更少mapper运行更长时间，通常一分钟左右。时间长度取决于使用的输入格式。Reducer的数量为了达到最高性能，集群中reducer数应该少于reducer的任务槽数。这将使reducer能够在同一个周期完成任务，并在reducer阶段充分使用集群––Combiner作业能否充分利用combiner来减少通过shuffle传输的数据量中间值的压缩对map

Hadoop fsck / -files –blocks 显示块信息Md5 aa.txt bb.txtHadoop URLCat hdfs://localhost/user/tom/aa.txtHadoop FileSystemCat hdfs://……Hadoop FileCopyWithProgress …aa.txt hdfs://…Hadoop ListStatus hdfs://localhost hdfs://localhost/usr/… 显示路径集目录列表

读流程1） 客户端通过调用FileSystem对象的open（）方法来打开希望读取的文件，对于HDFS来说，这个对象是分布式文件系统（DistributedFileSystem）的一个实例。2） DistributedFileSystem通过使用RPC来调用namenode，以确定起始块的位置。对于每一个快，namenode返回存有该块副本的datanode地址。这些datanode根据它们与客户端的距离来排序。如果该客户端本身是一个datanode，并保存有相应数据块的一个副本时，该节点就会从本地d

一、 代码结构如图二、 实例编程步骤及代码（1） 定义Calculate接口，提供加法和减法计算package org.example.YarnRpcTest;public interface Calculate { public int add(int num1,int num2); public int minus(int num1,int num2);}（2） 定义两个proto文件，CalculateMessage.proto定义请求的消息，CalculateSer

什么是RPC？远程过程调用（Remote Procedure Call，RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，而程序员无需额外的为这个交互作用编程。RPC采用客户机/服务器模型。请求过程如图：客户端程序->客户端Stub程序 ->通信模块 -> 远程请求 -> 通信模块 -> 调度程序 -> 服务器端Stub程序 -> 服务程序**实例代码：**package org.e

Protocol Buffer是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化和反序列化，适合做RPC的数据交换格式。具有平台无关性、可扩展性等。如何使用protocol buffer？（java）1） 编写.proto文件代码如下：Student.protopackage tutorial;option java_package = "org.example";option java_outer_classname = "StudentProtos";message Stu

Yarn模拟器是 一个能够在一台机器上装载应用程序，模拟一个大规模的yarn集群的工具。模拟器使用实际的yarn resourcemanager，在相同的java虚拟机内，通过处理和调度NM/AMs心跳事件，模拟NodeManager和ApplicationMaster来移除网络因素。集群的规模和应用负载可以从配置文件中加载。模拟器在执行时会产生实时的指标：1） 整个集群和每个队列的资源使用率，可以被用来配置集群和队列的容量。2） 详细的应用程序执行跟踪记录可以用来分析，以便理解和验证调度器的行为（包

一、特点1） 可配置的层级队列：所有队列都来自于root队列。可用的资源被分配给root队列的孩子队列，孩子队列分得的资源可统一分配给孩子队列的孩子队列。公平调度支持为每个队列设置不同的策略，让队列通过用户想要的方式来分享资源。2） 自动把应用程序放置到队列中：允许管理员配置策略，把提交的应用程序自动的放置到合适的队列中。二、 配置1） 配置ResourceManager：在conf/yarn-site.xml中配置yarn.resourcemanager.scheduler.class，值为or

一、特点1） 层级队列：在其他队列被运行使用空闲资源之前，层级队列可确保资源在改组织的子队列之间被共享，从而提供更多的可控制性和可预测性2） 容量保证：每个队列都分配了一部分容量，它们可以支配这部分资源。所有应用程序提交到一个特定队列，它将有权使用分给该队列的资源。管理员可以配置每个队列容量的最低保证和资源使用上限。3） 安全性：每个队列都有严格的ACL（控制访问列表），它可以控制用户提交应用程序到特定队列上。同时确保某一用户不能查看或修改其他用户提交的应用程序，并且支持队列管理员和集群系统管理员的设

Hadoop集群使用stop-all.sh停止时，停止不了，提示各个进程都找不到，但是各个进程都存在。问题原因：hadoop启动停止都是通过hadoop-deamon.sh文件，脚本是通过pid文件来停止hadoop服务的。集群默认配置的pid文件位于/tmp目录下，linux系统默认每30天清理一次/tmp目录下的文件，pid文件丢失将导致无法正确关闭相应进程。问题解决：由于pid文件已经无法找回，所以只能先用jps获取进程号，然后用kill -9杀掉对应进程，停止集群。参考stop-all.sh及

hive启动时报错如下：Exception in thread “main” java.lang.IllegalArgumentException: java.net.UnknownHostException: clusterat org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:377)a...

搭建hadoop集群时，namenode格式化报错如下：WARN namenode.NameNode: Encountered exception during format:org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exc...

Sqoop1、安装1）解压sqoop安装包2）配置进入conf目录下 mv sqoop-env-template.sh sqoop-env.sh3）将mysql的jar包放到sqoop的lib目录下4）启动先启动hadoop，再使用sqoop二、sqoop使用命令1、sqoop improt1）访问明码访问：sqoop list-databases \–connect...

yarn的高可用中一个resourcemanager异常退出，查看日志报错如下：Received stat error from Zookeeper. code:CONNECTIONLOSS. Not retrying further znode monitoring conne问题描述：zookeeper连接丢失解决：修改zookeeper的配置文件，在zoo.cfg中，修改ticktim...

高可用集群其中一个NameNode退出，另一个namenode状态为standby，查看执行日志报错如下：2019-07-25 15:32:27,481 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: starting log segment 7913 failed for required journal (Jour...

一、克隆虚拟机，准备三台linux系统1、安装一台虚拟机后，关机，右键->管理->克隆，点击“下一步”，选择“虚拟机的当前状态”，点击下一步，选择“创建完整克隆”，点击“下一步”，可以修改虚拟机的名称及位置2、修改克隆的虚拟机的网络设置1）登录系统后，使用命令ifconfig及ping命令查看网络协议是否连通2）修改网卡：通过 vi /etc/udev/rules.d/7...

1、zookeeper启动报错，JMX enabled by default Using config: /home/hadoop/app/zookeeper/bin/…/conf/zoo.cfg Error contacting service. It is probably not running.问题解决：时钟不一致，没有创建zkdatalog目录2、集群中的一个datanode节点（扩...