- 博客(5)
- 收藏
- 关注
RSS订阅原创 JAVA连接ES7
标题JAVA连接ES7 添加jar包 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.10.0</version> </dependency&g
2021-03-17 16:19:40
763
原创 Spark流程图
Spark流程图超详细(1) 将 Spark 程序通过 spark-submit(shell)命令提交到结点上执行，其实会通过反射的方式，创建和构造一个 DriverActor 进程出来，通过 Driver 进程执行我们的 Application应用程序。(2) 应用程序的第一行一般是先构造 SparkConf，再构造 SparkContext；(3)SparkContext 在初始化的时候，做的最重要的两件事就是构造 DAGScheduler 和TaskScheduler；(4)TaskSc
2020-11-04 14:38:35
1550
原创 impala实现oracle Minus函数
去整理别人的存储过程实现sql的时候，发现用到了oracle的Minus函数，然后就根据业务逻辑实现。sql代码如下：– 找出在Ａ表中的数据在Ｂ表中不存在的数据SELECTs.pro_no,nvl ( s.lsg_month, ‘209912’ ) lsg_month,s.brd_season_noFROMdws_hive.tb1 sLEFT OUTER JOIN(SELECTs1.pro_no,s1.lsg_month,s1.brd_season_noFROM( SELECT
2020-09-09 11:24:32
950
原创 hive的数据导入与导出
hive数据导入：从本地导入是复制从hdfs导入时mv（移动）从本地文件系统导入hive表中1.向表中加载数据（load）语法； 本地文件加local load data [local] inpath '文件路径' [overwrite] into table 表名[partition ....]；2.通过查询语句插入数据（...
2020-03-04 14:00:42
390
原创 MapReduce的Wordcount求top
//自定义MyMapper类继承Mapperpublic class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {private Text outkey = new Text();private IntWritable outval = new IntWritable(1);private St...
2020-02-18 18:47:15
353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人