qiangzi_lg的博客

基于solr创建hbase多表的二级索引

cdh开启sentry之后，hive on spark报错，网上的方法试了一遍都没有解决我的问题，经过一番摸索，最终解决。报错日志：ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2b98a332-72e0-4917-9357-5c1799e4a3ae

下载zabbix-agent的rpm包下载地址：http://repo.zabbix.com/zabbix/4.4/rhel/7/x86_64/

//查看所有文件 final Iterable<Result<Item>> results = minioClient.listObjects(bucket.name()); for (Result<Item> result : results) { System.out.println(result.get().objectName());...

源码下载地址https://github.com/search?utf8=%E2%9C%93&q=hortonworks&type=编译命令mvn versions:set -DnewVersion=3.1.1.3.0.1.0-187 package -Pdist -DskipTests -Dtar【3.1.1版本的需要依赖2.5.0版本的protobuf】protobuf下载地址https://github.com/google/protobuf/releases.

1、安装启动httpd服务<注：如果只是本机使用yum源，可不用安装httpd服务，httpd服务可实现其他主机对源软件的共享。>yum install httpd -y如果需要修改httpd服务的配置，可在/etc/httpd/conf/httpd.conf中修改，包括监听的端口号等等。service httpd start #启动service httpd status #状态service httpd stop #停止状态如下图则为正常：2、

今天测试部门的彩虹妹妹卸载flume之后，造成其他组件装不上去，报错信息如下：报错信息：页面报错：查看server.log，一直在刷下面的报错信息......22 十月 2019 08:51:09,477 ERROR [ambari-client-thread-99880] HostImpl:1085 - Config inconsistency exists: unknow...

今天使用集群的时候发现/目录下的使用空间不足，使用df -h查看这尼玛。。。/home占了2T，/目录才50个G切记！/home如有数据请注意备份！切记！/home如有数据请注意备份！切记！/home如有数据请注意备份！1、umount /home并删除逻辑卷/dev/centos/home# umount /home# lvremove /dev/centos/hom...

思路:编写UDF函数,实现hive的UDF接口创建hiveContext对象,注册编写的UDF函数编写表的结构DStream==&gt;RDD==&gt;rowRDD==&gt;DataFrame==&gt;SQL查询UDF以监听端口号为例,每隔五秒一个批次object Test_UDF { def main(args: Array[String]): Unit = { ...

下面纯属原创，只是实现其功能，性能上对于大规模数据尚有欠缺，直接上代码：导入： public ImportDataResponse importData(String connectionID, String dataBase, String tableName, String sourceFileType, String sourceFilePath) throws Exception...

1.Parquet文件格式介绍Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，那么这里就总结下Parquet数据结构到底是什么样的一个Parquet文件是由一个header以及一个或多个block块组成，以一个footer结尾。header中只包含一个4个字节的数字PAR1用来识别...

java.io.IOException: Could not read footer: java.lang.NoSuchMethodError: org.codehaus.jackson.map.ObjectMapper.writerWithDefaultPrettyPrinter()Lorg/codehaus/jackson/map/ObjectWriter; at org.apache.p...

前言:好久没有更新了,可能变懒了吧,现在重新拾起来,多写写吧..............Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)...

今天在搭建HA环境时,已经完成99%了,一路顺利,But就在格式化HDFS的时候,却给我突然出来这个问题?????顿时满脸黑线,总共七台服务器,不会要全部改一遍吧,于是机智的我打开了百度......第一检查一下/etc/profile中的路径是否配置正确($符不能忘,:是冒号,不是分号)第二检查配置完成的/etc/profile有没有生效(有点低级,但我想说我就是找了半天才发现是没有生效造成的)二...