- 博客(85)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBase简单介绍
概述HBase是一个构建在hdfs之上的分布式的的Nosql数据库HBase适合对于海量数据进行实时随机读写HBase一张表能够支撑数十亿行，数百万列HBase从设计上来说由三部分构成 HBase Master :负责处理region分配 DDL 操作 Region-server ： 数据读写 底层数据存储和集群协同交给 hdfs 和 zookeeper进行管理数据模型思维数据...
2019-06-20 10:31:58
284
原创 scp 指定端口映射传文件
scp -P 21822 -r CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel root@ip:/root/
2019-06-18 11:33:34
1825
原创 CentOS7下Elasticsearch-6.6.2安装部署
CentOS7下Elasticsearch-6.6.2安装部署下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz解压tar -zxvf elasticsearch-6.2.4.tar.gz配置ymlelasticsearch.ymlcluste...
2019-06-04 22:49:48
567
原创 CentOS7下Kibana-6.6.2安装部署
CentOS7下Kibana-6.6.2安装部署下载wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.2-linux-x86_64.tar.gz解压tar -zxvf kibana-6.6.2-linux-x86_64.tar.gz编辑文件kibana.ymlserver.port: 5601server....
2019-06-04 22:25:49
939
原创 flume avro sink
ink端的memory channel的capacity和transactionCapacity一定要设置的比source的大，否则会报错，如下 ERROR flume.SinkRunner: Unable to deliver event. Exception follows.org.apache.flume.EventDeliveryException: Failed to send events at org.apache.flume.sink.AbstractRpcSink.proces
2019-05-27 14:47:51
2683
原创 Spark 算子 reduceByKey vs groupByKey 对比
Spark 算子 reduceByKey vs groupByKey 对比
2019-05-15 15:54:48
363
原创 spark join的几种方式以及subtract intersection cartesian 区别
spark join的几种方式subtract intersection cartesian 区别1. join2. leftOuterJoin3. fullOuterJoin4. rightOuterJoina.subtract(b).collect()a.intersection(b).collect()a.cartesian(b).collect()
2019-05-08 14:40:32
774
原创 Shell $0, $#, $*, $@, $?, $$的含义
$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。$#传递给脚本或函数的参数个数。$*传递给脚本或函数的所有参数。$@传递给脚本或函数的所有参数。$* 和 $@ 都表示传递给函数或脚本的所有参数，不被双引号(" “)包含时，都以”$1" “2"…"2" ...
2019-05-01 23:20:15
74025
8
原创 scala入门系列(十一) 模式匹配 match 偏函数 PartialFunction
/** * 模式匹配(值/类型) * 异常处理 */object MatchApp { def main(args: Array[String]): Unit = { val matchs = Array(60,70,80,90) val value = matchs(Random.nextInt(matchs.length)) value match {...
2019-05-01 09:30:16
368
原创 scala入门系列(十) - implicit 隐式转换
/** * 隐式转换 implicit * 偷偷为一个类的方法进行增强 * java proxy *//** * rdd rddparifunction */object ImolicitApp { def main(args: Array[String]): Unit = { implicit def man2supman(man:Man):Superm...
2019-04-30 15:17:32
173
原创 scala入门系列(九) - apply
object ApplyApp {def main(args: Array[String]): Unit = {// for (i <-1 to 10){// ApplyTest.add// }// println(ApplyTest.count)// ApplyTest.static// val a = new ApplyTest//...
2019-04-30 15:12:38
114
原创 scala入门系列(八) case class
object CaseClassApp {def main(args: Array[String]): Unit = {// val user=User(“s”)val user=new User(“s”)user(“b”)println(user(“b”).name)println(user.name)}}//case class 不用new apply 表面不new...
2019-04-30 15:06:57
180
原创 scala入门系列(七) String常见用法
字符串常见用法object StringApp { def main(args: Array[String]): Unit = { val str = "aaa" println("str:"+str) //字符串插值 println(s"str:$str") val multiLines= """ |ss ...
2019-04-30 15:01:27
227
原创 scala入门系列(六) - 集合 Array Map List
arrayobject ArrayApp { def main(args: Array[String]): Unit = { //定长 val str = new Array[String](5) println(str.length)//5 //println(str.toString) //mkstring val b = Ar...
2019-04-30 14:58:20
304
原创 scala入门系列(三) - 函数 map filter left right flod flatten flatmap
object FunApp { def main(args: Array[String]): Unit = { val l = List(1,2,3,4,5,6,7,8) val l2 = l.map(x=>x*2) println(l2) val l3 = l.map(_*2) println(l3) val l4 = l.map(_*2...
2019-04-30 14:36:12
338
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人