Sou1yu-优快云博客

原创 Flink 基于DataStream 实现三流Join

Flink 基于DataStream 实现三流JoinFlink版本1.7.0 官方提示，Table API &SQL模块还在积极开发当中，不是所有功能都可以支持实现。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-irDlaqn0-1619339799100)(C:\Users\sou1yu\AppData\Roaming\Typora\typora-user-images\1618307901224.png)] 本打算引流进入生成Flink Table 然后

2021-04-25 16:38:12 1997 1

原创 2021-04-23

Shell中引用HIVE查询结果作为变量背景在开发中需要实现一个功能，动态获取HIVE中表A的数据，以表A中的数据作为创建MySQL表的字段。实现思路HQL拼接两列，一列用自定义字段作为标志，一列为需求的字段将hive查询结果以csv方式输出使用grep -w 字符串精确匹配自定义的标志字段使用awk -F 指定分隔符及需要提取的字段#！bin/bashdataStr= `beeline -outputformat=csv2 -e "select '查询结果' result , s

2021-04-23 10:32:58 153

原创 Shell -死循环执行

Shell -死循环执行背景接到的一个需求，把HIVE表计算后的数据写往ES集群。计算后的数据落地在一个新的表中，每日推至ES当中。HIVE数据每日大概500MB。由于数据量比较大，所以使用SPARK开发应用对接HIVE和ES中的数据。在上线几日后，执行SPARK开发的jar包总有报错。查看日志显示内存溢出异常，于是调整执行spark程序的shell语句，将Driver内存、Executor个数、Executor核数、Executor内存都做了调整（机器资源充沛扩大到Executor 10G，Dr

2021-04-01 17:24:57 663

原创 Hbase工具类

连接Hbase之后的操作工具类：方法包含：获取表、插入单列数据、插入多列数据、根据rowkey查询数据、根据rowkey删除数据、批量数据插入config.properties文件#zookeeperzookeeper.connect=node01:2181pom文件：  <repositories> <repository> <id>cloudera&lt

2020-11-02 17:43:12 937

原创 Redis工具类

配置文件 config.properties:#redisredis.host=node01:7001,node01:7002,node01:7003redis.maxTotal=10redis.minIdle=2redis.maxIdle=5加载配置文件类：ReadConfig:（反射获取properties内容）import java.io.IOException;import java.io.InputStream;import java.util.Properties;

2020-11-02 17:11:57 112

原创 KMeans算法，采用肘部法则获取类簇中心个数K的值。

K-Means是一种非常常见的聚类算法，在处理聚类任务中经常使用，K-Means算法是一种原型聚类算法。该算法重要的一步就是确定K的值的划分，通常我们采用肘部法则选取K值，再依据轮廓系数，及各个数据集中数据的数量综合去评估哪个K值为最佳。肘部法则1 ）、对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中心的距离的平方和；2）、平方和是会逐渐变小的，直到k时平方和为0，因为每个点都是它所在的簇中心本身。3）、在这个平方和变化过程中..

2020-10-13 20:55:43 6577

原创 List集合中的遍历方式。

在ArrayList集合中可以使用普通for循环来遍历集合的数据，但是在使用普通for循环的过程中其中不要往集合中移除数据！下面的小题目先回顾一个List集合中的遍历方式。需求：移除ArrayList集合中长度大于5之后的字符串元素之后，如果元素中包含c++则添加一个hadoop字符串元素。1.使用普通for循环加上get()遍历public class DemoTest { @Test public void test(){ ArrayList<S

2020-07-01 22:42:30 604

原创登录小Demo（错题记录）

Demo描述：实现C3P0数据库池连接数据库。部署Tomcat服务器，使用servlet完成简单登录测试。错误描述：测试时，登录账号名和密码与数据库表中信息一致。但是提示登录失败，控制台无错误提示。产生原因：细节问题。忽略了setCharacterEncoding设置字符的编码方式.注意点：1.setCharacterEncoding只对post请求有效。 2.setCharacterEncoding必须写在第一个request.getParameter()方法之前...

2020-07-01 21:17:50 265

weixin_46613998的博客