
hadoop
文章平均质量分 61
AI干IT
AI产品经理
展开
-
hadoop2.7.2 hbase hive kylin-2.4.0-bin-hbase1x 环境搭建
1.下载包hadoop 2.7.2hbase 1.2.5 hive 1.2.2 kylin-2.4.0-bin-hbase1x第一部分hadoop安装2.创建Hadoop账号并修改权限[root@Master:/root]#useradd -m hadoop -s /bin/bash[root@Master:/root]#passwd hadoop添加新...原创 2018-07-02 17:34:57 · 696 阅读 · 0 评论 -
kylin hadoop yarn 文件夹空间不足问题
先看我的yarn-site.xml配置 <configuration> <!-- Site specific YARN configuration properties --> <property> &原创 2018-07-30 14:33:40 · 2431 阅读 · 0 评论 -
kylin 整合笔记
修改hadoop配置文件kylin访问异常 1.修改hadoop配置文件重启hadoop服务 2.重启完hadoop,需要重启hbase,个人经验要重启两次服务蔡靠谱,一次可能重启不成功。 3.还要再挨个节点重启kylin。Directory /usr/local/hadoop/tmp/dfs/name is in an inconsistent state: storage direc...原创 2018-07-27 11:04:26 · 662 阅读 · 0 评论 -
kylin cube集成kafka源码阅读
首先看一条kafka cube构建语句curl -X PUT –user ADMIN:KYLIN -H “Content-Type: application/json;charset=utf-8” -d ‘{ “sourceOffsetStart”: 0,”sourceOffsetEnd”: 9223372036854775807,”buildType”: “BUILD”}’ http://9...原创 2018-08-10 15:25:13 · 666 阅读 · 0 评论 -
hadoop yarn 开启jmx监控
打开{hadoop_home}/etc/hadoop/yarn-env.sh文件,文件最后添加三行。YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”YARN_OP...原创 2018-08-14 16:38:59 · 3272 阅读 · 1 评论 -
如何动态调整hadoop日志级别
日志文件:2018-08-07 15:24:32,767 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Application application_1533624199682_0095 transitioned from NEW to INITING ...原创 2018-08-07 15:32:47 · 1060 阅读 · 0 评论 -
maven protobuf 编译hadoop源码生成jar包,打印运行日志排障
下载源码包 hadoop-branch-2.7.2.zip apache-maven-3.5.4-bin.zip protobuf-2.5.0.zip(hadoop 2.7.2指定需要)解压&设置环境变量path;例如我要调试yarn里面包含的DeletionService服务源码导入eclispe修改源码,取个易记的名称。 LOG.warn(“———–test———...原创 2018-08-07 16:18:22 · 450 阅读 · 0 评论 -
kylin cube kafka streaming LZ4Exception异常
在kylin中使用kafka streaming消费topic,消息的生成加密方式采用lz4算法,cube异常中断。 configMap.put(StreamsConfig.producerPrefix(ProducerConfig.COMPRESSION_TYPE_CONFIG), “lz4”);Error: java.lang.ClassNotFoundException: net.jp...原创 2018-08-24 16:42:59 · 855 阅读 · 0 评论