- 博客(27)
- 收藏
- 关注
RSS订阅原创 kafka生产者API与消费者API
生产者import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.common.serialization.StringSerializer;import java.util.Pr...
2019-01-15 15:21:29
246
原创 自定义flume的source源
import org.apache.commons.io.FileUtils;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.EventDrivenSource;import org.apache.flume.channel.ChannelProcessor;imp...
2019-01-04 15:45:24
417
原创 kafka偏移量利用redis来管理
import Utils.RedisOffsetimport day09.Jpoolsimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.{ConsumerStrat...
2018-12-27 20:19:56
1114
原创 ZK管理kafka偏移量
import java.langimport kafka.utils.{ZKGroupTopicDirs, ZkUtils}import org.I0Itec.zkclient.ZkClientimport org.apache.kafka.common.TopicPartitionimport org.apache.kafka.common.serialization.StringDes...
2018-12-26 19:03:29
1335
原创 mysql管理kafka偏移量
import java.langimport Utils.OffsetManagerimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010._import org.ap...
2018-12-26 19:02:41
1016
原创 Spark自定义排序
排序规则：先按照年龄排序，年龄小的往前排，年龄如果相同，按照按照作品次数排序方式一import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object CustomSortDemo1 { def main(args: Array[String]): Unit = { va...
2018-12-14 14:03:17
224
原创 Spark读取数据库表中的文件
import java.sql.DriverManagerimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object JdbcRDDDemo { val getConnection = () => { DriverManager.getConnect...
2018-12-13 19:54:32
474
原创 Spark读取本地数据到数据库
主程序import org.apache.spark.broadcast.Broadcastimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object ProvinceAndIpDemo { def main(args: Array[String]): Unit = {...
2018-12-13 19:53:27
777
原创 Spark基础（RDD）(常用算子)
什么是RDDRDD 是 Spark 的计算模型。RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是 Spark 中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作 RDD 就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。RDD的三种创建形式集合并行化创建（通过 scala 集合创建） sca...
2018-12-11 00:05:14
2976
原创 Spark基础WordCount(Java于Scala)
java代码import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.s...
2018-12-10 17:50:04
123
原创 scala中Nil，Null，None，Nothing的区别
NothingNothing是所有类型的子类，它没有对象，但是可以定义类型，如果一个类型抛出异常，那这个返回值类型就是NothingNullNull是AnyRef的子类（引用类型） null是Null唯一的对象NoneNone是Option的一个子类，一个Some集合，一个None，如果Option中没有值，则返回NoneNilNil是一个空List，定义为List[Nothing]...
2018-12-07 11:24:28
2753
原创 scala语法(五)
柯里化柯里化是是一个过程是指将原来接收两个参数的方法变成新的接收一个单一参数的方法的过程，新的方法返回一个以原有第二个参数为参数的方法def add(x:Int,y:Int)= x+y//add(1,2)def add(x:Int)(y:Int) = x+y//add(1)(2)结果都一样，这个过程就叫柯里化，柯里化之后，方法通用性降低，适应性有所提高...
2018-12-05 21:10:15
146
原创 scala语法(四)
多态scala中的多态同java1.父类引用指向子类对象2.接口指向实现类3.方法需要重写//父类abstract class Element { def demo(): Unit ={ println("Element invoked") }}//子类class ArrayElement extends Element{ //重写demo方法 overr...
2018-12-04 22:38:10
162
原创 Scala语法(三)
scala构造器主构造器1.在scala中，主构造器是和类名放在一起的，有且只有一个，与java不同，java可以有多个构造方法，多个构造方法之间可以实现重载2.主构造器还可以通过使用默认参数，来给参数默认的值3.在类中，没有定义在任何方法中的代码（包括成员类型），都属于主构造器的代码，且执行顺序与代码的书写的顺序是一致的辅助构造器1.辅助构造器可以又多个2.多个辅助器之间可以调用...
2018-12-03 22:20:42
194
原创 Scala语法(二-补充)
集合中的常用方法reduce方法val arr = Array(1,2,5,7,10)arr.reduce((x,y) => x+y) //25arr.reduce((x,y) => x*y) //700//reduce 默认请求是reduceLeft,从左到右开始计算val arr2 = Array(1,2,3,4,5)arr2.reduce(_-_) // -13 ...
2018-12-02 21:00:07
262
1
原创 Scala语法（二）
集合数组可变长数组：长度和角标元素都可变不可变长数组：长度不可变，但是角标元素可变默认的数组都是不可变数组//Array初始化的时候并不是不需要new，而是Array实现了apply方法，该方法帮我们实现了new关键字scala> val arr = Array(1,2,3,4,5)arr: Array[Int] = Array(1, 2, 3, 4, 5)scala&gt...
2018-12-01 23:20:07
208
原创 Scala语法（一）
1.变量的声明和定义var：可变的val：不可变的尽量用val标准格式 val name:String=“zhangsan”val:变量声明name:变量名:分隔符String:变量类型“zhangsan”:变量值注意：如果说变量的值是默认值的话，那么变量的声明一定是需要可变的，否则就没有声明变量的实际意义了默认值对应java2.scala数据类型同java跟java相...
2018-11-30 21:09:57
307
原创 hbase角色
HMaster1.监控RegionServer2.处理RegionServer故障转移3.处理region分配或出4.在空闲时进行数据的负载均衡5.通过Zookeeper发布自己的位置给客户端RegionServer1.负责存储HBase的实际数据2.处理分配给他的Region3.刷新缓存到HDFS4.维护Hlog5.负责处理Region分片...
2018-11-18 20:01:59
548
原创 hbase shell命令
进入hbase命令行./hbase shell退出命令行exit 或 quit显示hbase中的表list创建person表，包含info，data两个列族create ‘person’,‘info’,‘data’向person表中插入信息，rowkey为001，列族info中添加name列标识符，值为zhangsanput ‘person’,‘001’,‘info:name’...
2018-11-18 19:47:11
349
原创 hbase集群启动配置文件修改
1.修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55告诉hbase使用外部的zkexport HBASE_MANAGES_ZK=false2.修改hbase-site.xmlhbase.rootdirhdfs://hadoop01(自己的主机名):9000/hbasehbase.cluster.distributed...
2018-11-18 18:48:19
1152
原创 hive常用命令
1.启动服务器到后台nohup bin/hiveserver2 1>/dev/null 2>&1 &2.连接bin/beeline -u jdbc:hive2://hadoop01:10000 -n root3.建表create table t_order(id string,o_time string,amount int,price float)row ...
2018-11-13 17:03:11
128
原创 Linux常用命令大全
文件以及文件夹修改cd 切换目录ls 列出指定目录下得信息ll 列出指定目录下得详细信息ls -a 列出指定目录下得信息，包括隐藏文件pwq 显示当前所在目录得全路径mkdir 创建单机目录mkdir -p 创建多级目录mv 要移动得文件夹 要移动得到得位置mv -a 多级移动rm -rf 强制删除文件/文件夹 -r 递归删除 ...
2018-10-28 16:13:03
181
原创 TCP+多线程实现文件多个客户端上传文件
自定义客户端线程import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.net.So...
2018-08-23 11:32:33
1583
原创 TCP实现上传文件功能
一丶客户端具体步骤看代码import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.ne...
2018-08-23 11:19:51
1485
原创 UDP实现聊天室
客户端线程1.创建客户端DatagramSocket 2.创建数据包（ip,端口号,内容）（DatagramPacket）并发送 3.关闭资源（1.5 try…catch新特性）import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;import java....
2018-08-22 20:13:47
493
原创 自定义常量池
自定义一个常量池具体方法以及步骤import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;public class ThreadPoolUtils { //1.创建一个私有的静态的线程池 private static ExecutorService thread...
2018-08-21 21:10:25
347
原创 线程两种实现方式
线程两种实现方式1.线程第一种实现方式 继承Thread类 重写run方法 class MyThread extends Thread{ public MyThread() { } public MyThread(String name) { super(name); } p...
2018-08-21 18:51:57
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人