echo的博客

spark和kafka是用scala写的storm是用Clojure写的storm分为本地和集群模式，其中本地模式的代码，不用在windows上安装storm直接就可以用工具IDEA就可以跑起来storm可以看作是一个和hadoop平级的一个架构，并不需要依赖于Hadoop...

表的结构create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)                    row format delimited fields terminated by ','stored as textfile;create table course(Cno int,Cname str...

#开启分桶模式set hive.enforce.bucketing=true;#制定reduce个数是4set mapreduce.job.reduces=4;创建一个分桶表create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)clustered by(Sno)   //这里的clustered是因为...

准备数据1,a2,b3,c4,d7,y8,u2,bb3,cc7,yy9,pp建表：create table a(id int,name string)row format delimited fields terminated by ',';create table b(id int,name string)row format delimited fields terminated by ','...

先要安装mysql服务centos6.5可以直接用yum下载具体可参考https://mp.youkuaiyun.com/postedit/80139841这篇文章----------------------------------------------------------------------------------------------------------------------------...

beeline可以用!connect jdbc:hive2://localhost:10000 用来连接hiveserver2启动的hive服务建表操作CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT col_comment], ...)]    [COMMENT table_co...

如果mysql是安装在windows上的话，hive在Linux上，要保证两者能通信的话需要改变windows上的字符集形式为latin1方法如下alter database hive character set latin1；话不多说码代码（hive shell里面        机器只启动了hdfs没有启动yarn所以没有启动hadoop的mapreduce程序）create table pe...

 //创建一个List    val lst0 = List(1,7,9,8,0,3,5,4,6,2)    //将lst0中每个元素乘以10后生成一个新的集合   解析 ：       lst0.map(_*10)    //将lst0中的偶数取出来生成一个新的集合   解析 ：      lst0.filter(_%2==0)    //将lst0排序后生成一个新的集合    解析 ：    ...

1.1. 声明变量       var 代表变量    val 代表值不可变1.2. 常用类型   Scala和Java一样，有7种数值类型Byte、Char、Short、Int、Long、Float和Double（无包装类型）和一个Boolean类型1.3. 条件表达式package cn.itcast.scala/** * Created by ZX on 2015/11/7. *...

在hbase-site.xml中加入一下内容即可<property><name>hbase.master.info.port</name><value>60010</value></property>

hmaster不做数据管理，而是让zk来管理关于这部分的学习可以参考有道云笔记里面的hbase文档点击打开链接

这里贴一下自己写的调用hbase的java api程序package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.C...

spark streaming 是实时计算spark core 之类的涉及到rdd的是离线计算所以说spark即是实时计算，又有离线计算spark streaming 的第一个例子利用 nc -lk 8888 在192.168.235.128的8888端口开启一个输入消息的应用在IDEA上建立一个spark streaming的程序package com.wxa.spark.fourimpor...

分为本地模式如果是本地的话可以直接将代码运行起来如果是在集群上跑的话，最好将打了包的jar传上来，这样可以防止一些没有的jar包上面本身就有。需要注意的是 provide是将包不打进来                    compile是默认的打包方式，是将包都打进来storm jar wxaStormwordcount-1.0.jar  cn.itcast.storm.kafkaAndStor...

（单节点+单broker）启动kafka！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！kafka是要先启动的！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！kafka-server-start.sh config/server.properties创建一个名为hellotopic的topickafka-topics.sh --c...

启动kafka！！！！！！！！！！（通过kafka-server-start.sh  $KAFKA_HOME/config/server.properties启动）kafka是要先启动的！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！（重要的事情说三遍）telnet不通9092不一定是开不开放端口的问题有可能是端口上的程序没有启动的原因，只有先启动了程序才能判断这个端口是...

kafka java api生产者package com.wxa.storm.kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;import ja...

要注意的是运行的时候可能会遇到日志文件jar包重复的情况，这里要用到<exclusions>排除如下 <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifact...

启动kafka！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！kafka是要先启动的！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！下面是server.properties的配置文件 server.properties的配置文件#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，produce...

命令启动zookeeper启动两台机器上的kafakanohup kafka-server-start.sh  $KAFKA_HOME/config/server.properties &启动kafka的消费端kafka-console-consumer.sh --zookeeper hadoop01:2181 --topic test启动flume端(kafka是两个机器都要启动，flu...

使用Flume关键就是写配置文件需求一：从指定网络端口采集数据输出到控制台conf的书写# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sou...

配置avro-memory-kafka#me the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = avroa1.sources.r1.bind = hadoop02a1.sources.r1.port =...

IDEA 需要配置maven变量将hadoop环境配置上去eclipse 参照下面两个链接https://blog.youkuaiyun.com/yunlong34574/article/details/21331927https://www.linuxidc.com/Linux/2015-08/120943.htm记得将防火墙什么的都关掉，要不然无法访问...

用ll（LL的小写）命令可以查看文件的大小，也可以用ls -lht 可以查看文件的大小粘贴出一个错误Exception in thread "main" java.io.IOException: Error opening job jar: myword        at org.apache.hadoop.util.RunJar.run(RunJar.java:160)        at o...

scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-env.sh  slaves mapred-site.xml.template yarn-site.xml hadoop2:/export/servers/hadoop/etc/hadoop[root@hadoop01 ~]# hadoop fs -put andy.txt /[root@ha...