- 博客(11)
- 收藏
- 关注
RSS订阅原创 hadoop集群运维的坑合集--datanode和nodemanager无法启动
后面因为服务器整体降配，需要重启，发现其他组件启动都没有问题，刚好在hdp100上这台的datanode和nodemanager均无法启动
2022-08-26 10:38:36
1660
原创 spark3.x on hive3.x idea配置和相关坑
一：spark on hive 的两种方式1，通过jdbc的方式连接hiveserver2的方式来读取数据两种方式虽然都可以，但是第一中相对比较事多，我用的spark3.0.0里面，没有针对hive的dialect,我们自己需要根据源码实现一个 ，然后注册进去。基于jdbc的读取代码如下 ：//利用jdbc方式+hive2方式读取hive数据(spark on hive报错，改用这个方式)def readDfdatafromHive(db: String, tablename: Stri
2022-05-31 14:38:23
1031
原创 Flink的两阶段提交
1.EXACTLY_ONCE语义EXACTLY_ONCE语义简称EOS，指的是每条输入消息只会影响最终结果一次，注意这里是影响一次，而非处理一次，Flink一直宣称自己支持EOS，实际上主要是对于Flink应用内部来说的，对于外部系统(端到端)则有比较强的限制 外部系统写入支持幂等性 外部系统支持以事务的方式写入Flink在1.4.0版本引入了TwoPhaseCommitSinkFunction接口，并在Kafka Producer的connector中实现了它，支持了对外部Kaf...
2022-05-13 18:22:30
3163
原创 【无标题】策略模式使用
1.简介在现实生活中常常遇到实现某种目标存在多种策略可供选择的情况，例如，出行旅游可以乘坐飞机、乘坐火车、骑自行车或自己开私家车等，超时促销可以采用打折、送商品、送积分等方法。在软件开发中也常常遇到类似的情况，当实现某一个功能存在多种算法或者策略，我们可以根据环境或者条件的不同选择不同的算法或者策略来完成该功能，如数据排序策略有冒泡排序、选择排序、插入排序、二叉树排序等。如果使用多重条件转移语句实现（即硬编码），不但使条件语句变得很复杂，而且增加、删除或更换算法要修改原代码，不易维护，违背开闭原则。如
2022-05-12 14:32:26
241
转载 Flink触发器理解和自定义触发器案例
【深入浅出flink】第10篇：聊聊flink窗口计算的触发器（Trigger）_雷恩Layne的博客-优快云博客_flink触发器Flink自定义窗口触发器_shirukai的博客-优快云博客_flink自定义窗口自动触发Flink窗口函数自定义触发器_番薯seven的博客-优快云博客_flink自定义窗口自动触发...
2022-05-11 17:02:08
313
原创 接口泛型怎么泛？
一：首先我们看一下接口如何定义：[ 修饰词语] + interface +接口名[<泛型>] public interface Info<T> { public T getinfo();}二：接口定义好了，我们怎么定义一个继承自接口的类呢？1，定义时候刚给一个泛型//在子类的定义上声明泛型类型这里Cat必须要加上<T>,否则会报错public class Cat<T> implements In...
2022-04-29 10:17:58
226
原创 一次搞懂java的代码块，静态代码块，构造方法的执行顺序
一：对于单个类的执行顺序【 静态代码块 ------->普通代码块 ------> 构造方法】public class Child { public Child() { System.out.println("构造方法"); } { System.out.println("普通代码块"); } static { System.out.println("静态代码块"); } public static void main(String[] args) { n
2022-04-29 09:33:28
622
原创 搞懂接口interface在项目中的具体使用
一：首先我们给出一个案例：说明为什么要接口。有一个电脑类(Computer)，电脑除了有基本的开机关机功能外，还有连接任何外接设备的功能，比如能电脑能连接外置键盘（Keyboard），鼠标(Mouse)，投影仪（Projecter）等很多外置设备，请用代码来实现该需求； class Keyboard { public void work(){ System.out.println("外置键盘可以用来输入数据"); }}// 鼠标类 class Mouse{ public
2022-04-27 12:11:33
732
原创 spark3.0.x用jdbc读取hive3.1.x数据，结果出现值和列明一样
代码：def readDfdatafromHive(db:String,tablename:String,sparksession:SparkSession ):DataFrame={ val df= sparksession.read .format("jdbc") .option("driver","org.apache.hive.jdbc.HiveDriver") .option("url","jdbc:hive2://hdp100:1111/") .opt
2022-04-25 19:28:43
2201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人