jzy3711的博客

我这里测试集群，自定义安装了flink，hue，ES，presto等，应在未安装之前启用kerberos，因为amabri是不支持这个自定义kerberos的，需要自己在自定义是配置，或者后期添加配置，我这里是直接先停停掉，在安装的，但是测试集群很多人再用，停止前要和大家商量好。公司的测试集群是amabri安装的，HDP3.1.4版本，前面已经安装好了kerberos主从，现在要在集群上开启kerberos认证。集成kerberos后，kafka访问方式：（必须使用主机名，如果是ip会报错）

背景公司在黑龙江的集群用了7年，最近总是遇到namenode双活，数据无法写入问题。问题2022-03-28 11:02:38,318 INFO ipc.Server (Server.java:run(2172)) - IPC Server handler 49 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.getBlockLocations from 136.192.59.173:43484 Call#4 Retry#3

现象datanode 运行一段时间后，先stale，最后dead报错查看datanode日志：2021-12-18 07:36:09,868 ERROR datanode.DataNode (DataXceiver.java:writeBlock(869)) - DataNode{data=FSDataset{dirpath='[/data01/hadoop/hdfs/data, /data02/hadoop/hdfs/data, /data03/hadoop/hdfs/data, /data04/

Datanode-side support for getVolumeBlockLocations() must also be enabled in the client configurationHDFS 源码分析/** * Get block location information about a list of {@link HdfsBlockLocation}. * Used by {@link DistributedFileSystem#getFileBlockStorageLocat

目的因业务需求需要查找hfds上不合规的文件因无法登陆客户的服务器，但提供了vpn 可以访问hdfs50070端口使用fsck api即可访问url : http://1x.x.x.x:50070/fsck?ugi=hadoop&path=/hotyuqi/hivePublicOpinionList&files=1ugi后面跟的是参数，path是要查询的路径，fil...

HDFS优化 DataNode打开最大文件数配置 操作场景一个HDFS Datanode同时打开的文件数量是有上限的，该上限是通过参数dfs.datanode.max.transfer.threads设置的，默认值为4096。根据集群的数据量和操作相应调高此值。操作步骤参数入口：在Ambari系统中，选择“服务 > HDFS > 配置”，通过过滤框搜索相应的参数配置...

原因：hdfs上没有root用户，也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx , 我的为/user/root,   由于 root用户对hdfs目录并没有写入权限，所以导致异常的发生。而hdfs才有权限创建/user/root解决方法：1、第一种在hdfs的配置文件中，将dfs.permi...

建表语句api="TodayHot"hadoop dfs -mkdir /jzytest/hive${api}/ hive -e 'create external table if not exists jzy'$api'json( category string, description string, hotUrl string, addrlocal string, med...

hadoop distcp hdfs://pc1:8020/user/uar/receive/click/ （文件夹） hdfs://pc4:8020/user/uar/receive/click/（文件夹） 如果是同步文件，把文件夹换文件就好了  18/10/30 16:23:01 INFO tools.DistCp: Input Options: DistCpOption...

shell 脚本hadoop dfs -mkdir /jzytest/hivePublicOpinionList/#创建hive外部双分区表hive -e 'create external table if not exists jzyPublicOpinionListjson( channel  string, publishTime string, source string...