docsz的博客

Hive批量删除表分区#!/usr/bin/bash#获取当前脚本所在路径cur_dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"cd ${cur_dir}#导出所有hive数据库名hive -e "show databases;" > ${cur_dir}/all_database.txt#获取以src开头的库名cat all_database.txt | awk '{print $2}' | awk '/

Windows安装Hadoop运行环境

Hadoop-3.X优化参数

1、HDFS Safemode退出安全模式的办法：强制离开进入安全模式hdfs dfsadmin -safemode enter离开安全模式hdfs dfsadmin -safemode leavesudo -u hdfs hdfs dfsadmin -safemode leave安全模式是否开启 on：开启 off关闭hdfs dfsadmin -safemode get- 修改配置修改dfs.safemode.threshold.pct，缺省是0.999，修改为一个比较小的值

1 环境准备：yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool2 下载源码https://github.com/twitter/hadoop-lzo/releases/tag/release-0.4.203 修改pom.xml（根据需要）<hadoop.current.version>2.7.2</hadoop.current.version>4 声明两个临时环境变量export

1、java 环境安装配置 etc/profile：#JAVA_HOMEexport JAVA_HOME=/usr/java/jdk1.8.0_141-clouderaexport PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAH​OME/bin:PATHexport CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar#MAVEN

1：TestDFSIO测试HDFS的IO性能写入：hadoop jar /usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-3.1.1.3.1.4.0-315-tests.jar TestDFSIO -write -nrFiles 10 -size 10MB -resFile /tmp/TestDFSI...