sungang1120的专栏

 今天安装hbase HA之后启动hbase shell之后 输入list出现以下异常信息:不过前提要保证你hbase相关进程都是正常运行 然后查看hbase 配置的logs目录出现 去google 了一下发现是这是由于hadoop启动是还处在安全模式造成的通过下面名查看 果然处于安全模式开启状态hadoop dfsadmin -safemode ge...

 今天将临时表里面的数据按照天分区插入到线上的表中去，出现了Hive创建的文件数大于100000个的情况，我的SQL如下： hive> insert overwrite table test partition(dt) > select * from table_tmp; table_tmp表里面一共有570多G的数据，一共可以分成76个分区，SQL运行的时...

 今天使用flume采集apache access log到hive表中，然后使用hiveQL进行日志分析，出现错误：  需要修改1,HIVE_HOME/conf/hive-env.sh加上HADOOP_HOME=you home 2,HIVE_HOME/conf/hive-site.xml加上 <property> &l...

 今天给大家分享下 使用flume采集日志，直接将日志导入对应的hive表中，然后使用hive进行日志分析 下面就以apache access log为例 具体使用hive的外部表还是普通的表，个人决定哈 我这里就以普通表来讲解，首先我们创建一个hive表(注：此表我是从hive官网上直接拷贝修改了下表名,哈哈) 1，首先进入hive 命令行模式我创建了一...

 众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。在使用HDFS的过程中，应尽量避免生成过多的小文件。 本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中，对小文件的合并方法将本地的小文件合并，上传到HDFS假设存放...