Hadoop生态系统
关注
分享
扫一扫
文章平均质量分 74
维维weiwei
热衷于软件开发行业
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka之Java API操作
1.kafka-producer(生产者)配置文件：producer.properties# list of brokers used for bootstrapping knowledge about the rest of the cluster# format: host1:port1,host2:port2 ...bootstrap.servers=master:909原创 2017-05-09 09:38:23 · 400 阅读 · 0 评论 -
Flume之监控文件内容变化
vim /usr/local/flume/conf/exec-file.conf# Name the components on this agent#定义了当前agent的名字叫做a1a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the s原创 2017-05-08 16:15:22 · 3266 阅读 · 0 评论 -
MapReduce之SequenceFile转普通文件
package com.uplooking.bigdata.mr.writablez.sequecefile;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache原创 2017-05-07 10:54:33 · 665 阅读 · 0 评论 -
MapReduce二次排序
package com.uplooking.bigdata.mr.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWr原创 2017-05-07 11:01:09 · 235 阅读 · 0 评论 -
MapReduce之Join操作
package com.uplooking.bigdata.mr.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hdfs.DistributedFileSystem;import org.apache.hadoo原创 2017-05-07 11:03:38 · 278 阅读 · 0 评论 -
MapReduce之TopN
package com.uplooking.bigdata.mr.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWri原创 2017-05-07 11:04:23 · 395 阅读 · 0 评论 -
Zookeeper之Shell和API 操作
Zookeeper的Shell操作:1.连接到Zookeeper服务[root@service zookeeper0]# bin/zkCli.sh -server localhost:21812.使用ls命令查看当前Zookeeper中包含的内容。 # ls /3.创建新的znode，使用create命令 # create /zk testCRUD4.获取节点中的值，g原创 2017-05-07 19:56:46 · 1466 阅读 · 0 评论 -
MapReduce之普通文件转SequenceFile
package com.uplooking.bigdata.mr.writablez.sequecefile;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileUtil;import org.apac原创 2017-05-07 10:53:48 · 487 阅读 · 0 评论 -
MapReduce之自定义Key和Value
package com.uplooking.bigdata.mr.writablez;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.T原创 2017-05-07 10:47:53 · 1895 阅读 · 0 评论 -
MapReduce之多数据源输入
package com.uplooking.bigdata.mr.format.in;import com.uplooking.bigdata.mr.wc.WordCountApp;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hado原创 2017-05-07 10:42:05 · 1287 阅读 · 0 评论 -
MapReduce之多文件输出
package com.uplooking.bigdata.mr.format.out;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.原创 2017-05-07 10:43:27 · 419 阅读 · 0 评论 -
Flume之监听目录变化
vim /usr/local/flume/conf/exec-dir.conf# Name the components on this agent#定义了当前agent的名字叫做a1a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the sou原创 2017-05-08 16:17:41 · 1724 阅读 · 0 评论 -
Flume之监听目录变化并上传文件到HDFS中
vim /usr/local/flume/conf/exex-hdfs.confa1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the sourcea1.sources.r1.type = spooldir a1.sources.r原创 2017-05-08 16:21:27 · 2818 阅读 · 0 评论 -
Storm并行度编程
package com.uplooking.bigdata.storm.cluster;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.StormSubmitter;import org.apache.storm.generated.Storm原创 2017-05-09 10:34:55 · 278 阅读 · 0 评论 -
Storm之网站实时统计
package com.uplooking.bigdata.storm.test;import org.apache.storm.Config;import org.apache.storm.Constants;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology原创 2017-05-09 10:58:38 · 1197 阅读 · 0 评论 -
Storm之定时调度
package com.uplooking.bigdata.storm.test;import org.apache.storm.Config;import org.apache.storm.Constants;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology原创 2017-05-09 10:56:18 · 951 阅读 · 0 评论 -
Storm集成Kafka
package com.uplooking.bigdata.storm.statictics;import com.uplooking.bigdata.storm.utils.JedisUtils;import org.apache.storm.Config;import org.apache.storm.Constants;import org.apache.storm.Lo原创 2017-05-09 10:54:08 · 1316 阅读 · 0 评论 -
Storm之WordCount
package com.uplooking.bigdata.storm.local;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology;import org.apache.storm.shade.or原创 2017-05-09 10:51:28 · 298 阅读 · 0 评论 -
Storm之数字求和
package com.uplooking.bigdata.storm.local;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology;import org.apache.storm.spout.Sp原创 2017-05-09 10:50:35 · 297 阅读 · 0 评论 -
Storm之GlobalGrouping
package com.uplooking.bigdata.storm.group;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.StormSubmitter;import org.apache.storm.generated.StormTo原创 2017-05-09 10:46:26 · 417 阅读 · 0 评论 -
Storm之监听文件并夹
package com.uplooking.bigdata.storm.group;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.generated.StormTopology;import org.apache.storm.shade.or原创 2017-05-09 10:44:53 · 518 阅读 · 0 评论 -
Storm之自定义分组
package com.uplooking.bigdata.storm.group;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.StormSubmitter;import org.apache.storm.generated.GlobalS原创 2017-05-09 10:41:34 · 626 阅读 · 0 评论 -
Stome之接受上游数据
package com.uplooking.bigdata.storm.group;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.StormSubmitter;import org.apache.storm.generated.StormTo原创 2017-05-09 10:39:26 · 686 阅读 · 0 评论 -
Storm之Toplogy编程
package com.uplooking.bigdata.storm.cluster;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.StormSubmitter;import org.apache.storm.generated.Alrea原创 2017-05-09 10:37:47 · 332 阅读 · 0 评论 -
MapReduce之数据库操作
package com.uplooking.bigdata.mr.format.in;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.N原创 2017-05-07 10:40:30 · 992 阅读 · 0 评论 -
MapReduce之WordCount
package com.uplooking.bigdata.mr.wc;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWrita原创 2017-05-07 09:51:06 · 208 阅读 · 0 评论 -
HDFS之API操作
package com.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsAction;import org.apache.hadoop.fs.permission.FsPermissi原创 2017-05-07 09:14:52 · 274 阅读 · 0 评论 -
Redis安装
Redis安装 下载 下载地址：http://download.redis.io/releases/ 这里下载的版本为redis-3.2.0 # wget http://download.redis.io/releases/redis-3.2.0.tar.gz # tar -zxvf redis-3.2.0.tar.gz -C ../ # c原创 2017-04-19 20:01:25 · 199 阅读 · 0 评论 -
Kafka安装配置
安装配置： 解压： # tar -zxvf soft/kafka_2.10-0.10.0.1.tgz -C /usr/local # cd /usr/local # mv kafka_2.10-0.10.0.1 kafka # vim /etc/profile export KAFKA_HOME=/usr/local/kafka原创 2017-04-19 19:50:20 · 3583 阅读 · 0 评论 -
Kafka的Topic操作
Kafka shell topic操作 创建Topic hadoop kafka]# bin/kafka-topics.sh --create --topic hadoop --zookeeper master:2181,slave01:2181,slave02:2181 --partitions 1 --replication-factor原创 2017-04-19 19:57:43 · 6547 阅读 · 0 评论 -
Scala安装配置
1.下载Scala 下载地址：http://scala-lang.org/download/all.html 2.安装Scala tar -zxvf scala-2.10.5.tar -C /usr/local mv scala-2.10.5 scala3.配置环境变量 vim /etc/profile export SCALA_HOME=/原创 2017-04-19 17:04:57 · 248 阅读 · 0 评论 -
ElasticSearch核心概念
ElasticSearch核心概念 1. Cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。ES的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看ES集群，在逻辑上是个整体，你与任何一个节点的通信和与整个ES集群通信是等价的。 主节点的职原创 2017-04-19 19:45:12 · 309 阅读 · 0 评论 -
ElasticSearch插件操作
ElasticSearch插件的操作 ES本身服务相对比较少，其功能的强大之处就体现在插件的丰富性上。有非常多的ES插件用于ES的管理，性能的完善，下面就给大家介绍几款常用的插件。 BigDesk Plugin BigDesk主要提供的是节点的实时状态监控，包括jvm的情况，linux的情况， elasticsearch的情况，推荐原创 2017-04-19 19:23:26 · 390 阅读 · 0 评论 -
ElasticSearch之CURL操作
CURL的操作 curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。简单的认为是可以在命令行下面访问url的一个工具。在centos的默认库里面是有curl工具的，如果没有请yum安装即可。 curl -X 指定http的请求方法 有HEAD GET POST PUT DELETE -d原创 2017-04-19 19:03:22 · 14048 阅读 · 0 评论 -
ElasticSearch安装配置
# unzip soft/elasticsearch-2.3.0.zip # mv elasticsearch-2.3.0 /usr/local/elasticsearch# cd /usr/local/elasticsearch前台启动 # bin/elasticsearch 后台启动# bin/elasticsearch -d 访原创 2017-04-19 18:25:33 · 269 阅读 · 0 评论 -
Hive操作Hbase
启动hive，进入hive的终端 hive --auxpath /opt/hive/lib/hive-hbase-handler-2.1.0.jar, /opt/hive/lib/zookeeper-3.4.6.jar --hiveconf hbase.master=master:16010 --hiveconf hbase.zookeeper原创 2017-04-19 18:12:59 · 1052 阅读 · 0 评论 -
Hbase的安装
1.解压hbase-1.3.0-bin.tar.gz tar -zxvf hbase-1.3.0-bin.tar.gz –C /usr/local mv hbase-1.3.0-bin hbase2.将hbase添加到环境变量中 export HBASE_HOME=/usr/local/hbase export PATH=$PATH:$HB原创 2017-04-19 17:45:50 · 319 阅读 · 0 评论 -
Redis操作
Redis支持五种数据类型： 第一种：string(字符串) 设置一个值：set命令 set name hadoop 在设置的时候可以指定当前key的过期时间 set key value EX seconds ---->指定key之后seconds的存活时间，seconds之后消失 获取一个值：get命原创 2017-04-20 09:14:04 · 369 阅读 · 0 评论 -
Hive的安装
第一步：安装MySQL 1.查询linux中已有的mysql依赖包 # rpm -qa | grep mysql 2.删除linux中已有的mysql依赖包 # rpm -e --nodeps `rpm -qa | grep mysql` 3.安装mysql原创 2017-04-19 17:17:55 · 224 阅读 · 0 评论 -
Hive之JDBC操作
package com.uplooking.bigdata.sql;import com.uplooking.bigdata.domain.Student;import java.beans.PropertyDescriptor;import java.lang.reflect.Method;import java.sql.*;/** * Java版本，最后对结原创 2017-05-10 22:56:12 · 627 阅读 · 0 评论