
大数据
大数据构建
lf266run
2012年毕业
展开
-
flume-hdfs启动报错
java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configurationflume采集数据到hdfs报错解决在项目中配置了flume采集数据到hdfs中,启动agent报错如下:ume.source.kafka.KafkaSource2020-06-11 22:40:47,447 (conf-file-poller-0) [INFO - org.apache.flume.source.kafka.KafkaSource.doConfig原创 2020-06-11 23:33:15 · 628 阅读 · 0 评论 -
logstash
1 官网https://www.elastic.co/guide/en/logstash/current/index.html2 安装2.1 上传logstash-2.3.1.tar.gz2.2 解压tar -zxvf logstash-2.3.1.tar.gz mv logstash-2.3.1 logstash3 first demo通过命令执行logstash的进程...原创 2020-04-30 17:31:43 · 335 阅读 · 0 评论 -
hbase安装
Hbase先部署一个zookeeper集群和hadoop集群 安装目录 /var/local/hbase 部署为三台机 hdp-node-01 02 031、上传hbase安装包hbase-1.2.1-bin.tar.gz2、解压3、配置hbase集群,要修改3个文件注意:要把hadoop的hdfs-site.xml、core-site.xml 放到hbase/conf下 /...原创 2020-04-30 17:33:12 · 126 阅读 · 0 评论 -
hadoop集群安装
集群安装1、从网上下载http://archive.apache.org/disthadoop是基于java编写的,但是里面有环境是使用到c,native有与平台打交道的;2、需要编辑hadoop课件中的是编译好的,centOS6.7-hadoop-2.6.4.tar,编译见编译文档;3、准备安装环境,主要是jdk;4、目录详解sbin目录很重要,里面都是启动命令;5、集群的...原创 2020-04-30 17:33:50 · 205 阅读 · 0 评论