
hadoop
虎斗
我就是我,不一样的烟火
展开
-
HDFS fsimage文件解析
指定hdfs 客户端内存 export HADOOP_CLIENT_OPTS=’-Xmx5000m -Xms5000m’ 解析fsimage文件,结果以逗号分隔 nohup hdfs oiv -t /data/tmp/fsimage -p Delimited -delimiter , -i fsimage_000000000xxx -o result_file & 30gb大的fsimage文件解析大概耗时2小时。 结果文件需要删除首行列名 sed -i ‘1d’ result_file原创 2021-01-01 22:29:22 · 904 阅读 · 0 评论 -
CDH添加外部HDFS集群nameservice
如CDH自带HDFS的nameservice为nameservice-dev,现在添加对外部HDFS集群nameservice-test的支持。 在配置项”hdfs-site.xml 的 HDFS 客户端高级配置代码段(安全阀)“中添加配置 <property> <name>dfs.nameservices</name> <value>nameservice-dev,nameservice-test</value> </pro原创 2020-10-12 15:46:17 · 1283 阅读 · 0 评论 -
cloudera manager 离线安装cdh hadoop
软件环境:cm 5.6,cdh 5.6 cm 离线安装包下载 http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.9.0/cdh 离线安装包下载 http://archive-primary.cloudera.com/cdh5/parcels/kakfa 离线安装包下载 http://archive.cloudera.com/k原创 2017-01-18 08:28:37 · 237 阅读 · 0 评论