weixin_43103956的博客

原创 doris _stream_load There is no 100-continue header 报错解决

request headers增加参数即可：“expect”: “100-continue”

原创 cron表达式

‌不包含 8 点整‌：若需在 8:00 停止，将小时字段改为 23,0-7，最后一次执行时间为 7:55。：23,0-8 表示 ‌当天 23 点 + 次日 0 点至 8 点‌，覆盖完整时间范围。分（Minutes） 0/5 从 0 分钟开始，每 5 分钟触发一次。时（Hours） 8-23 每天 8 点至 23 点之间触发。‌包含 8 点整‌：若需在 8:00 执行最后一次，表达式保持 0-8。需求二：23点到第二天8点 每五分钟执行一次。需求一：每天8点到23点五分钟执行一次。

原创 centos安装python3.9.9总结和笔记

2.上传到centos服务器，我验证的目录为:/data/py3install/Python-3.9.9.tgz。（1）/data/py3install/Python-3.9.9路径问题，第一次home路径错误，导致安装失败。解释说明一下（标记核心的包务必安装。注意路径/data/py3install/Python-3.9.9，路径一定要对。解压：tar -zxvf Python-3.9.9.tgz。两个都是官网地址，本次安装我选择的是3.9.9。

原创 Flink测试环境Standalone模式部署实践

6.优化参看另一篇实践总结：https://blog.youkuaiyun.com/weixin_43103956/article/details/145569759?本次验证用的是：https://www.apache.org/dyn/closer.lua/flink/flink-1.18.1/flink-1.18.1-bin-scala_2.12.tgz。1.下载Flink：https://flink.apache.org/downloads/

原创 MVN the trustAnchors parameter must be non-empt问题解决

分支问题三原因：com.google.guava:guava:jar:32.1.3-jre依赖的是OracleJDK，而我本地安装的是openJDK，用openJDK，证书验证不通过。##在IDE工具IDEA上增加上面参数，继续报错，参考：https://blog.youkuaiyun.com/kai563596378/article/details/112699671。（3）分支问题一解决：在当前工程目录下（pom文件所在的目录）执行cmd命令，再执行。至此，全部问题解决，工程跑起来了。Maven官方入门教程链接。

原创 使用spring-boot-starter-test做单元测试简单示例

【代码】使用spring-boot-starter-test做单元测试简单示例。

原创 Test ignored.java.lang.ClassNotFoundException:TestContextAnnotationUtils问题解决

将spring-boot-test版本改成和spring-boot-starter-test版本一致即可。问题：使用@SpringBootTest做单元测试时报错。

原创 pom: unexpected markup ＜!d (position: START_DOCUMENT seen \n＜!d... @2:4) @ line 2, column 4问题解决

解决：把本地maven localRepository 删除掉报错的jar包（C:\appinstall\maven\localRepository\org\lz4\lz4-java\1.7.1），然后重新下载(maven/ Reload project)；原因：jar依赖包报错，我遇到的是lz4-java-1.7.1.jar报错，可以查看报错信息；

原创 Flink提交pyflink任务

1.官方文档：2.提交PyFlink作业 - Submitting PyFlink Jobs #（1）环境检查当前用户可以通过命令行提交PyFlink作业。不要指定 jar 文件路径或者主类入口，跟Java作业提交不一样。当使用 flink run 提交Python作业时，Flink会运行命令 python。请运行下面的命令确保Python可执行程序在当前环境中，并指向Python 3.6+ 版本。

原创 批量修改mysql字符串字段子字符串

将 table_name 表中 column_name 字段的所有 old_value 替换为 new_value。WHERE 子句用于限制只更新包含 old_value 的行（可选）。REPLACE 函数会查找并替换所有匹配的子字符串。

原创 mysql：You are using safe update mode and you tried to update a table问题解决

You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column.问题解决。启用了安全更新模式 (SET sql_safe_updates = 1;或WHERE条件中未使用索引列（KEY column）UPDATE语句中缺少WHERE条件。方案一：修改UPDATE语句（推荐）方案三：调整WHERE条件。方案二：临时禁用安全模式。

原创 Flink内存配置和优化

taskmanager.memory.task.off-heap.size：设置 TaskManager 的堆外内存大小（用于网络缓冲、状态后端等）。jobmanager.memory.process.size：设置 JobManager 的总内存大小，包括堆内存和堆外内存。taskmanager.memory.task.heap.size：设置 TaskManager 的 JVM 堆内存大小。taskmanager.memory.process.size：设置 TaskManager 的总内存大小。

原创 java解析复杂json

二、基于jackson，spring内部解析json也是这个，最终生产上使用的这个；2.test json，精简后的测试json。3.解析源码，代码都是验证过的。一.基于org.json。我个人验证了两个方法。

原创 某集团业务系统和大数据分析架构方案

【代码】某集团业务系统和大数据分析架构方案。

原创 flink报错Could not acquire the minimum required resources.解决方案

taskmanager.numberOfTaskSlots: X(调大点，比如30，50)解决方法是修改配置文件 flink-conf.yaml，重新设置任务槽的数量。

原创 flink job busy(max)100%

主要是消息有挤压，本次遇到的问题是消费kafka offset从earlist开始，消费从十天前开始的，所以出现了短暂的busy(max)100%

原创 【Flink】flink或java异常日志输出不完整问题解决

flink submit job，报错查看日志，只有Caused by: java.lang.ClassCastException，异常详情没有，jvm解决办法：增加jvm参数：-XX:-OmitStackTraceInFastThrow。flink或java异常日志输出不完整问题解决。

原创 git如何忽略文件和取消忽略

idea中文件颜色和git状态的关系。gitignore控制。

原创 idea 文件颜色和git状态对应关系

主参考：https://blog.youkuaiyun.com/weixin_37646636/article/details/120442228。

原创 SQL优雅编码总结

例： Create table ， Drop table ， Create database ， Drop database ，Alter table ，grant …a)@Transactional 事务不要滥用，事务会影响数据库的 QPS，另外使用事务的地方需要考虑各方面的回滚方案，包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。当某一列的值全是 NULL 时，count(col)的返回结果为 0，但 sum(col)的返回结果为NULL，因此使用 sum()时需注意 NPE 问题。

原创 mysql问题：‘The last packet successfully received from the server was xxx milliseconds ago‘

（2）从报错信息来看，这里设置的超时是10000毫秒，debug mysql-connector源码，发现有socketTimeout参数的值正好是10000，于是在datasource.url后面socketTimeout参数配置，重启测试发现能被正确识别，正常。1.springboot + druid + mysql 在查询某些比较耗时的sql会报错。（1）sql上增加分页限制不会报错；

原创 org.apache.ibatis.ognl.ParseException: Encountered “ ＜IDENT＞ “AND ““ at line 1

中 的 要， 会报错报错：正确：

原创 Docker logs 命令

获取容器的日志。

原创 docker ps(查看容器列表、查看容器id)

显示所有的容器，包括未运行的。静默模式，只显示容器编号。根据条件过滤显示的内容。列出最近创建的n个容器。启动容器时运行的命令。指定返回值的模板文件。显示最近创建的容器。

原创 Swagger、OpenAPI和springdoc-openapi-ui

OpenAPI 规范（OAS）是一种通用的、和编程语言无关的 API 描述规范，使人类和计算机都可以发现和理解服务的功能，而无需访问源代码、文档或针对接口进行嗅探。springdoc-openapi 的工作机制是基于 Spring 配置、类结构和各种注释，在运行时检查应用程序，推断 API 语义。是一种用于描述RESTFUL API的规范，它提供了一种简单的来描述API的请求和相应参数、错误码、返回数据类型等信息，是开发者可以方便了解API使用方式。三、springdoc-openapi-ui。

原创 微服务项目技术栈选型参考-备份

原创 Swagger、OpenAPI和springdoc-openapi-ui入门

OpenAPI 规范（OAS）是一种通用的、和编程语言无关的 API 描述规范，使人类和计算机都可以发现和理解服务的功能，而无需访问源代码、文档或针对接口进行嗅探。始于 Swagger 规范，Swagger 规范已于 2015 年捐赠给 Linux 基金会后改名为 OpenAPI，并定义最新的规范为 OpenAPI 3.0。：是一种用于描述RESTFUL API的规范，它提供了一种简单的来描述API的请求和相应参数、错误码、返回数据类型等信息，是开发者可以方便了解API使用方式。(4)yaml文件配置。

原创 JVM双亲委派机制

是一种组织类加载器之间关系的一种规范,他的工作原理是:如果一个类加载器收到了类加载的请求,它不会自己去尝试加载这个类,而是把这个请求委派给父类加载器去完成,这样层层递进,最终所有的加载请求都被传到最顶层的启动类加载器中,只有当父类加载器无法完成这个加载请求(它的搜索范围内没有找到所需的类)时,才会交给子类加载器去尝试加载.3.AppClassLoader：由Java语言实现，父类加载器为ExtClassLoader 自定义类加载器，父类加载器肯定为AppClassLoader。

原创 JVM优化备份

5.减少GC对老年代的回收。设置生代带垃圾对象最大年龄，进量不要有大量连续内存空间的java对象，因为会直接到老年代，内存不够就会执行GC。1.在实际工作中，我们可以直接将初始的堆大小与最大堆大小相等， 这样的好处是可以减少程序运行时垃圾回收次数，从而提高效率。2.初始堆值和最大堆内存内存越大，吞吐量就越高， 但是也要根据自己电脑(服务器)的实际内存来比较。3.最好使用并行收集器,因为并行收集器速度比串行吞吐量高，速度快。4.设置堆内存新生代的比例和老年代的比例最好为1:2或者1:3。

原创 JVM常用参数说明

XX:SurvivorRatio=n 年轻代中 Eden 区与两个 Survivor 区的比值。-XX:NewRatio=n 设置年轻代和年老代的比值。如: -XX:NewRatio=3，表示年轻代与年老代比值为 1：3，年轻代占整个年轻代+年老代和的 1/4。-Xmx：最大堆大小，JVM 运行过程中，如果初始堆空间不足的时候，最大可以扩展到多少。整个堆大小=年轻代大小+年老代大小+持久代大小。-XX:NewSize=n 设置年轻代初始化大小大小。-XX:MaxPermSize=n 设置持久代大小。

原创 idea中git提交代码出现：commit and push checks failed

参考：https://blog.youkuaiyun.com/qq_46548855/article/details/126506747。

原创 JVM jstat工具

S0 -Heap上的Survivor space 0区已使用空间的百分比。S1 -Heap上的Survivor space 1区已使用空间的百分比。YGCT -从应用程序启动到采样时Yang GC所用的时间【单位秒】GCT -从应用程序启动到采样时用于垃圾回收的总时间【单位秒】FGCT -从应用程序启动到采样时Full GC所用的时间。E -Heap上Eden space区已使用空间的百分比。O -Heap上的Old space区已使用空间的百分比。FGC -从应用程序启动到采样时Full GC的次数。

原创 JVM虚拟机掌握和优化

一、Java文件编译的过程 ：1.程序员编写的.java文件2.由javac编译成字节码文件.class：（为什么编译成class文件，因为JVM只认识.class文件）3.在由JVM编译成电脑认识的文件 （对于电脑系统来说 文件代表一切）二、Java是跨平台语言 ：1.这个夸平台是中间语言（JVM）实现的夸平台 java有JVM从软件层面屏蔽了底层硬件、指令层面的细节让他兼容各种系统；2.难到 C 和 C++ 不能夸平台吗 其实也可以 C和C++需要在编译器层面去兼容不同操作系统的不同层面，写过C和C++

原创 selenium+egdedriver+opencv 爬虫使用教程

1、下载地址：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/4、selenium常用api简介：https://blog.youkuaiyun.com/qq_22003641/article/details/79137327。3、在使用时需要调用到OpenCV提供的动态链接库，下载地址：https://opencv.org/releases/2、Window环境在edge浏览器中输入：edge://version/

原创 常见web安全漏洞和解决思路

奇安信（网神SecVSS 3600）： https://www.qianxin.com/product/detail/pid/1。绿盟（WVSS）： https://www.nsfocus.com.cn/html/2019/206_0911/8.html。启明星辰（天镜）： https://www.venustech.com.cn/article/type/1/253.html。知道创宇（websoc）： https://scanv.yunaq.com/websoc/index.html。

原创 大数据立体监控平台方案规划

业务方案技术方案。

原创 理解maven命令clean、package、install、deploy的联系与区别

依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)、install、deploy等９个阶段。依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)、install等8个阶段。依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)等７个阶段。

原创 ruoyi-vue-pro新建module后后端接口报错404

(1)经过排查发现是没有在“xxx-server”模块的配置文件“pom.xml”里加上此模块的依赖。(2)maven->package 或 install，否则本地依然找不到依赖；

原创 @RequestParam 接收参数的值为null报错处理

上述方式station参数如果为空，为空或null不会报错，同时将使用默认值；上述方式station和area参数可以为空，为空或null不会报错；上述方式station和area参数不能为空，否则会报错；

原创 Java判断字符串是否为空

表示声明一个字符串类型的引用，其值为""空字符串，这个str引用指向的是空字符串的内存空间；表示声明一个字符串对象的引用，但指向为null，也就是说还没有指向任何的内存空间；""表示的是一个空字符串，也就是说它的长度为0。：判断某字符串是否为空，为空的标准是 str==null 或 str.length()==0。思路：判断某字符串是否为空，为空的标准是str==null或str.length()==0。ps：=左边的是存放在栈中（stack），=右边是存放在堆中（heap）。