hust_lpx的博客

内网版本的mysql的安装过程可能与网上教程中的过程不同。1）在win程序处可以看到 Mysql Server 5.72）在开始界面的Mysql 5.7 Command Line Client处点击无反应。

mpp命令

clickhouse时间数据常用sql

hive笔记

情况：观察到某job半个多小时之前重启，于是查询jibmanager日志，只能找到如下问题。所以联想到端口的分配问题、错误占用会导致job重启。日志：2022-06-22 10:35:30,951 | INFO | [main] | Unable to allocate on port 32326, due to error: Address already in use (Bind failed) | org.apache.flink.util.NetUtils (NetUtils.java:386)

背景：近期有个其他业务组业务，从hive导出数据到redis，但是观测到部分数据丢失，遂帮忙查询情况：该业务组用的string的方式存储数据，key即为不同的id，因id个数达9亿，所以在观察是keys * 半天才出来，通过dbsize命令查询已经存储了1.9亿的key。但经redis配置查询，每个实例能存储的最大的key的数量为2的32次方，即2.5亿。所以是装不下目标9亿的。解决方案：建议分区hash存储...

不明白为什么使用状态时要用transient修饰？Transient关键词的含义是表示一个成员变量不是该对象序列化的一部分，当这个对象被序列化的时候，transient型的变量的值不包括在序列化的结果中。但是在flink官网中，使用valueState的实例里，都给了transient关键词，其中到底有没有深意呢？...

测试代码如图：传进来的数据是依次递加的整数，存的状态是valueState测试结果：可以看出，整数4，6和8都进的第一个线程，但是他们的valueState并没有被共用，而是每个都是自己本身的计数。结论：valueState就类似于以前java里面用的map，键就是flink程序中keyBy的key。...

1.要全局的配置放入config里，然后放入环境中：env.getConfig().setGlobalJobParameters(config);2.组件的open方法里：ExecutionConfig.GlobalJobParameters globalJobParameters = getRuntimeContext().getExecutionConfig().getGlobalJobParameters();Map<String, String> globConf = globa

1.maven的本地仓库重新配置2.删除本地仓库中因为断网未下载完全的lastupdate的jar包find 本地仓库地址 -name “lastUpdated” | xargs rm -rf

之前在某地市进行开发时，布撤控处（下面简称A端）RedisTemplate将匹配字段放在redis,java的代码（下面简称B端）用来匹配redis的信息输出预警结果，用的是jedis api.在接入的redis的配置都一样的情况下，发生了A端数据可存入redis，且可查询到。但是B端检查不到存入的数据。解决方案：后面修复结果是，A端使用StringRedisTemplate代替RedisTemplate，即解决。反思：虽然StringRedisTemplate继承自RedisTemplate，但是两者

Properties properties = new Properties();//第一种properties.load(Thread.currentThread().getContextClassLoader().getResourceAsStream(“xxx.properties”));Thread.currentThread().getContextClassLoader().getResourceAsStream(“xxx.properties”);//第二种InputStream i

command > /dev/null 2>&1通过以上三部分介绍该语句的函数就是将标准输出和标准错误输出重定向到伪设备/dev/null,它的作用就是执行某个命令将不会有任何日志输出。/dev/null 2>&1 &最后一个&是后台执行的意思。那日志的路径和名字是如何制定的呢？日志的路径和名字是在resources下的log4j2.xml里面配置的。而且日志能够每天自动覆盖。而且这个日志也并不是每次重启就会覆盖以往的，而且会覆盖到某个点，这个是

[16:26:01:417] [ERROR] - org.apache.curator.framework.imps.CuratorFrameworkImpl.logError(CuratorFrameworkImpl.java:703) - Background exception was not retry-able or retry gave up java.lang.NullPointerException: null at org.apache.curator.framework.imps.Ens

public class TestZookeeper {public static void main(String[] args) {/*1.将zookeeper的相关配置从数据库中获取出来/String zkStr = “”;int retryInterval = 0;int retryIntervalCelling = 0;int retryTimes = 0;/2.根据zookeeper创建curator客户端/ZookeeperConnect zookeeperConnec

1.先得到配置文件的路径，包括本地路径和服务器路径System.getProperty(“sp.home”, ServerConfig.class.getResource("/").getFile());

zookeeper节点更新失败问题，20210408又一次遇到。两个代码一模一样，但是一个可以连接，一个不可以，最后是发现两个代码的pom配置的zookeeper版本不一样。一个zookeeper是kafka自带的zookeeper版本，一个是用的服务器zookeeper的安装版本3.5.1。修改zookeeper版本和zookeeper服务器安装版本保持一致就可以了。...

下面的知识点是摘自于b站“课工场优越实训中心”的文章《三张图讲清楚大数据基础设施》文章链接为：https://www.bilibili.com/read/cv8768704?share_source=copy_link&share_medium=iphone&bbid=Z74E607FA37E3C304E68B048B0E9982CAA2A&ts=1611108435lambda架构：结构：1.ServingLayer主要是想用用户的请求，根据用户需求把Batch层和Spe

异或的逻辑：相同为0，不同为1可以理解为：异或=加法不进位，减法不借位算法实现：不使用第三方变量，交换两个变量的值方式一：缺点：可能发生溢出a=a+b; 2+3=5b=a-b; 5-3=2a=a-b; 5-2=3方式二：a=a^b; 11 10 =01b=a^b; 01 10 =11a=a^b; 01 11 = 10...

因zk服务器版本升级、ip更换，application也需要更换配置数据库，所以重新在原服务器上部署一次app。遇到的坑：1.zk版本换成了安全版本，所以要进行安全认证。找到产品文档中的安全认证实例代码，添加；下载安全认证的秘钥，打进JAR包或者放到application的config目录。2.zk版本升级成3.5.1，但application原来的依赖的kafka_2.10里面自带的zookeeper是2.5.6，所以需要在原kafka的依赖里排除zk，然后再单独添加zk的依赖。查原代码的版本依赖的

错误描述：gdjzbd-redis6->oracle$ imp rtwtest/rtwtest@qyw full=y file=/home/rtw-flink-oracle.dmp ignore=nImport: Release 11.2.0.4.0 - Production on Tue Jan 5 17:14:28 2021Copyright © 1982, 2011, Oracle and/or its affiliates.All rights reserved.IMP-00058:

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar