- 博客(19)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 hive执行CTAS报错“Hive Runtime Error while processing row”
hive执行sql“create table tableA as select cloumn from tableB”报错java.lang.IllegalArgumentException: bucketId out of range: 4279。表tableB没有设置分桶，也不是事务表。hive3的内部表默认是事务表，所以建表语句后边加external，为外部表初步解决。其他情况比如可能是元数据信息缺失，尝试。
2025-03-28 15:19:28
322
原创 clickhouse用户sql语句权限
clickhouse sql语法类型分为以下几个部分1、读数据语法：SELECT,SHOW,DESCRIBE,EXISTS.2、写数据语法：INSERT,OPTIMIZE.3、配置语法：SET,USE.4、DDL语法：CREATE,ALTER,RENAME,ATTACH,DETACH,DROPTRUNCATE.5、KILL QUERY.一、rea...
2020-04-01 15:41:20
1189
原创 hive官网翻译之管理员配置篇
hive变量的配置可以通过以下方法实现，并以优先级的顺序展出。 1、在CLI或者beeline中使用set 命令 为set命令后面的所有语句配置变量 设置会话级别值。（原文很绕，笔者表示已尽力）例如，下面的命令为后续语句设置临时目录为/tmp/mydir. set hive.exec.scratchdir=/tmp/mydir;
2016-11-01 15:12:45
519
原创 hive官网翻译之总体概述
Apache Hivehive官网原文地址 https://cwiki.apache.org/confluence/display/Hive/Home;jsessionid=91AF539FA31786D88F9DCAA009B31ED9 hive 数据仓库使用基于分布式存储和查询的sql语义，能够很方便地的读写，管理海量数据集。 基于hadoop,hive
2016-11-01 11:59:31
3580
原创 h5py/api_compat.h:27:18: error: hdf5.h: No such file or directory
在安装h5py这个python包的时候遇到错误如下h5py/api_compat.h:27:18: error: hdf5.h: No such file or directory解决办法到http://www.hdfgroup.org/HDF5/release/obtain5.html下载相应的版本export HDF5_D
2016-09-13 17:10:39
2798
原创 scala array转换成map
需求： 有一个二维数组 eg:Array(Array(1,20),Array(3,5),Array(7,9)) 转化为map(1->20,3->5,7->9)实现方法如下： 使用Array的map方法变量里边的数组元素，利用case class 先把数组转化为tuple，再用tuple的toMap方法转化为map。这个方法在spark程序中同样适用。只有短短
2016-09-06 10:46:41
14799
原创 SparkR的编译安装
在编译从github下载SparkR-pkg-master.zip 解压后编译#SPARK_VERSION=1.5.2 SPARK_HADOOP_VERSION=2.6.0 ./install-dev.sh * installing *source* package ‘SparkR’ ...** libs** arch - ./sbt/sbt assemblyLaunc
2015-12-16 10:18:50
1642
原创 安装paretochart
paretochart安装报错缺少matplotlib-1.5.0在安装matplotlib-1.5.0过程中报错如下： OPTIONAL PACKAGE DATA dlls: no [skipping due to configuration]=============================
2015-11-17 15:33:19
565
原创 hadoop namenode启动报Permission denied
昨天需要重启一下集群，集群是chd版的，重启后发现namenode启动不了，查看日志一直报这个错2015-11-13 21:56:14,538 INFO org.apache.hadoop.http.HttpServer2: Jetty bound to port 500702015-11-13 21:56:14,538 INFO org.mortbay.log: jetty-6.1.26
2015-11-14 10:33:56
4184
原创 scala ide 报错：错误: 找不到或无法加载主类
下载scala ide后写第一个入门程序运行报 “错误: 找不到或无法加载主类”原来是这样的 scala与java是不一样的，在创建scala工程后 new scala object，而不是new scala class。
2015-08-12 21:00:58
15439
原创 Reginserver启动时报ClockOutOfSyncException
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server hadoop12,60020,1432777128683 has been rejected; Reported time is too far out of sync with maste
2015-05-28 09:54:57
742
原创 storm Field ui.port must be an Integer within type range
storm Field ui.port must be an Integer within type range今天配置storm的时候启动报这个错误原因： ui.port: 8081后边的8081不要加“”
2015-05-27 16:50:06
2789
原创 hadoop2.6.0 namenode格式化报错
今天在安装hadoop2.6.0时格式化namenode时报错15/05/12 18:28:19 INFO ipc.Client: Retrying connect to server: hadoop3/192.168.110.139:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSle
2015-05-13 10:09:11
2024
原创 zookeeper报错解决
在安装完毕zookeeper后启动客户端连接zkCli.sh,一直循环报下边的错误 2015-05-12 03:32:31,748 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@975] - Opening socket connection to server localhost/127.0.0...
2015-05-12 13:13:37
714
原创 使用monit监控storm
在百度上搜不到相关的，so摸索了几天，自己摸索出的方法，有不合适的地方请指出 一、安装。首先去monit官方下载最新的monit版本，老的版本可能不支持 官网地址是http://mmonit.com/monit/ yum源没有配的话用rpm安装。 yum –y install pam-devel tar -zxf m...
2015-03-17 16:07:43
276
原创 给30服务器配置jdk环境变量
最近要给30台服务器配置jdk环境。刚开始的时候用jps命令，报 [root@hadoop1 ~]# ssh solr1 'jps' bash: jps: command not found 于是去看看环境变量配置/etc/profile，发现classpath和path都没有配置，难过没有呢但是30的服务器都没有配置。还是用shell脚本...
2015-02-13 14:51:22
258
原创 storm org.apache.thrift7.transport.TTransportException:java 解决
关于storm 搭建的文章很多了，这里就不写了。 搭建好storm后运行第一个例子，发现报错了，错误如下： Exception in thread "main" java.lang.RuntimeException: org.apache.thrift7.transport.TTransportException: java.net.ConnectException: ...
2015-01-06 15:45:51
714
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人