Hadoop
关注
分享
扫一扫
大而话之-Big Data
IT从业者
展开
-
Hive表里的Map类型字段映射Hbase表里的列簇
一、Hbase中创建表create 'user_profile','cf'二、hive里创建Hbaseuser_profile的映射表CREATE EXTERNAL TABLE user_profile ( username STRING, labels map<string, string> )STORED BY 'org.apache.hadoop.hive...原创 2019-11-15 15:48:25 · 1201 阅读 · 0 评论 -
Phoenix 建立二级索引报错：Mutable secondary indexes must have the hbase.regionserver.wal.codec property
在Phoenix建立二级索引create index test1_name on "test1"("cf1"."name") include("cf1"."age");Error: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to...原创 2019-11-15 13:08:19 · 845 阅读 · 0 评论 -
cdh中在线安装及使用Phoenix
1.1： 下载CDH 需要parcel包下载地址：http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcelCLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0...原创 2019-11-12 13:09:51 · 458 阅读 · 0 评论 -
Hive数据仓库——事实表Fact、缓慢变化维SCD 应用实例
Fact就是数据仓库里的事实表，把事实表做成一个分区表，事实表一般数据量很大，一般根据日期做分区生成一个订单的事实表================================================= 模拟订单数据==========================模拟第一天数据#模拟订单表数据内容：order_id,user_id,price #维表，事实表1,...原创 2019-11-06 15:19:00 · 1194 阅读 · 0 评论 -
Hive表的序列化和反序列化SerDe
SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。序列化作用序列化是对象转换为字节序列的过程。 反序列化是字节序列恢复为对象的过程。 对象的序列化主要有两种用途：对象的持久化，即把对象转换成字节序列后保存到文件中；对象数据的网络传送。 除了上面两点， hive的序列化的作用还包括：Hive的反序列化是对key/value反序列化成hive tabl...原创 2019-11-06 15:13:14 · 1150 阅读 · 0 评论 -
Hadoop集群跑mapreduce任务报错Download and unpack failed
sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 10000application_1570857844866_0007 failed 2 times due to AM Container for appattempt_15...原创 2019-10-14 10:45:43 · 3733 阅读 · 4 评论 -
Spark java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
“java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)Vat解决方法：也可通过设置"spark.io.compression.codec","snappy"或其他压缩算法规避。鉴于修改源码重新打包替换较为繁琐，建议设置其他压缩算法...原创 2019-06-26 14:37:55 · 1300 阅读 · 0 评论 -
Phoenx create view Table is read only.
Error: ERROR 505 (42000): Table is read only. (state=42000,code=505)org.apache.phoenix.schema.ReadOnlyTableException: ERROR 505 (42000): Table is read only.at org.apache.phoenix.query.ConnectionQuer...原创 2019-01-28 16:08:52 · 2945 阅读 · 0 评论 -
Hive UDF自定义函数-----------报错解析
一、报如下错误-----Diagnostic Messages for this Task:Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesi...原创 2019-01-16 21:29:46 · 2458 阅读 · 0 评论 -
实战：Hive在内容推荐系统中的应用（二）
3.6 转换成key,value的方式select a.user_id,concat_ws(':',b.kw,cast(count(1) as string)) as kw_w from user_actions as a left outer join( select article_id,kw from articles la...原创 2019-01-17 15:53:55 · 348 阅读 · 0 评论 -
导出Yarn application日志
执行下面的命令，可以导出application日志:yarn logs -applicationId application_1545890266346_0052 > application.log原创 2019-01-11 17:09:22 · 4851 阅读 · 0 评论 -
sudo oozie-setup sharelib create -fs hdfs://cdh1:8020 -locallib /usr/lib/oozie/ 报错
今天在配置ooize，执行oozie-setup时，报出下面的错误， 因为忽略了下面的配置，导致排错了好长时间，请大家注意！sudo oozie-setup sharelib create -fs hdfs://cdh1:8020 -locallib /usr/lib/oozie/oozie-sharelib-yarn.tar.gzby: java.lang.IllegalArgum...原创 2019-01-06 00:17:33 · 305 阅读 · 0 评论 -
HDFS HA+Federation配置
一、HDFS HA+Federation 实现双HA 二、集群规划HOSTNAME IP HDFS节点 zookeeper节点 Journalnode节点 CDH1 192.168.123.101 NS1-namenode1 CDH2 192.168.123.102 NS2-namenode1 Quor...原创 2018-12-25 09:48:54 · 460 阅读 · 0 评论 -
Hue 操作Hive_over_HBase表提示“SemanticException Error while configuring input job properties”异常
hbase_t是张Hive_over_HBase表（数据存于HBase的表test_hbase中），用户对hbase_t进行操作（如查询），Hive客户端显示执行错误SemanticException Error while configuring input job properties”异常，是因为用户没有获得HBase表的权限。 ...原创 2018-12-22 17:21:48 · 919 阅读 · 0 评论 -
Bad connect ack with firstBadLink as 192.168.123.152:1004
一、今天提交Job任务时，报出下面的一个错误8/12/26 22:18:45 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Bad connect ack with firstBadLink as 192.168.123.152:1004 at org.apache....原创 2018-12-26 22:49:11 · 822 阅读 · 0 评论