AinUser的博客

springboot2.x –spring.config.location不生效问题

[Ljava.lang.Object; cannot be cast to class [Ljava.net.URI; ([Ljava.lang.Object; and [Ljava.net.URI

Caused by: 类找不到: org.apache.flink.table.planner.delegation.ParserFactory或者ExecutorFactory

PushGateway+Prometheus+Grafana构建Flink实时监控

flink-sqlClient和hadoop-hive写入数据

flink Could not acquire the minimum required resources

# 情境分析今天在为项目集成sonar单元测试覆盖率的过程中，发现了许多问题，在这里记录下，为大家提供一下解决思路# 单测覆盖率执行思路1. 首先通过maven打包，然后生成测试文件2. sonar扫描导入maven生成的测试文件，出现单测覆盖率# 可能出现问题的点1. 可能没有生成测试文件2. 生成的测试文件可能为空，没有数据# 上面两个问题，如何确定呢？ (通过查看日志)1. 使用 Surefire 配置破坏 JaCoCo 代理在maven install打包的日志中，.

# 今天在将flink-ml程序集成到现有项目中报错如下所示Caused by: java.io.IOException: Found local file path with authority 'C:\Users\cc\AppData\Local\Temp\flink-io-bf1d6783-b04e-4d7c-af1f-7ad2d7cc32fc' in path 'file://C:%5CUsers%5Ccc%5CAppData%5CLocal%5CTemp%5Cflink-io-bf1d6783.

编写单元测试是设计生产应用程序的基本任务之一。如果不进行测试，那么一个很小的代码变更都会导致生产任务的失败。因此，无论是清理数据、模型训练的简单作业，还是复杂的多租户实时数据处理系统，我们都应该为所有类型的应用程序编写单元测试。下面我们将提供有关 Apache Flink 应用程序的单元测试指南。Apache Flink 提供了一个强大的单元测试框架，以确保我们的应用程序在上线后符合我们的预期。1. Maven依赖如果我们要使用 Apache Flink 提供的单元测试框架，我们需要引入如下依赖：

# 环境要求依赖Flink Table API (flink-version：1.14.0以上)# 算法模型1. KNN2. 逻辑回归3. 朴素贝叶斯4. kmeans5. 热编码算法# maven依赖(1) 使用工件flink-ml-core_2.12来开发自定义 ML 算法(2) 使用工件flink-ml-core_2.12和flink-ml-iteration_2.12开发需要迭代的自定义 ML 算法(3) 使用工件flink-ml-lib_2.12以使用中现成的 ML.

# 数据支持elasticsearch5/7、clickhouse、cdcgithub地址：https://github.com/ainusers/flink-adapter-datasource

# 前言其实和flink没啥关系，只是正好场景使用的是flink，问题在于elasticsearch5的参数设置# 问题之前代码，数据无法写入，但是也不报错，后来添加了一个参数设置，就可以写入了# 参数配置config.put("bulk.flush.max.actions", "1");在如下代码中，已经加入该参数配置@Test void contextLoads() throws Exception { // 获取流处理执行环境 .

# 1. 首先，先展示一张常规编写算子计算流程的示意图# 2. 如上图所示，常规编写算子，相当于死代码，我们不能够在服务运行的时候，动态的去变更算子流程，不过这个地方受限于flink生成的计算流图，当服务启动至运行的过程中，flink会将算子的计算流图生成好，不能够进行动态的变更。当然下面的技术调研，也没有突破这个瓶颈，只是可以在不停止服务，不影响原有算子编排任务前提下，创建新的算子编排任务...

# CPU查看CPU信息（型号）[root@master ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 32 Intel(R) Xeon(R) CPU E5-2630 v3 @ 2.40GHz# 查看物理CPU个数[root@master ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l2# 查看每个物理CPU中core的个数(即核数).

# 情景当前使用flink1.13写入es5.1.1，在使用idea启动项目过程中，报错如下所示：Elasticsearch client is not connected to any Elasticsearch nodes!# 问题原因这个主要是因为代码中cluster.name写错了# 获取cluster.name# 注意主要代码如上所示，需要注意的是，1. cluster.name 需要先查询之后再写2. es5.x之前端口是9300，es6.x之后端..

# 情景如标题所示错误，是在做flink调试的时候报错的# 原因主要是maven依赖，版本不一致问题# 解决<properties> <java.version>11</java.version> <scala.version>2.11</scala.version> <guava.version>23.0</guava.version> &.

# 情景介绍目前要对flink进行多数据源适配工作，需要支持的有pclickhouse,elasticsearch# 版本介绍flink：1.13.1elasticsearch:7.6.2clickhouse:21.9.3.30# 参考文献# githubflink全量案例demo：https://github.com/zhisheng17/flink-learningflink-connector连接器：https://github.com/DTStack/flinkxfli.

# 情景我是在flink集成es的时候，出现的当前问题# 问题NoSuchMethodError: org.elasticsearch.client.RestHighLevelClient.ping([Lorg/apache/http/Header;)Z# 现象启动报错，flink无法提交job# 原因主要是maven依赖问题# 解决<!-- kafka-flink-source/sink连接器 --><dependency> <g.

# flink部署1. standalone 模式2. yarn模式 session-cluster模式 job-cluster模式3. k8s模式注：yarn模式需要依赖hadoop环境，搭建请参考：https://blog.youkuaiyun.com/AinUser/article/details/120142220

# 1. 配置三台机器的IP地址master 10.43.80.80slave1 10.43.80.81slave2 10.43.80.82# 2. 关闭三台机器防火墙systemctl stop firewalld.service# 3. 修改主机名对应IP地址，修改对应的主机名master 10.43.80.80slave1 10.43.80.81slave2 10.43.80.82执行命令hostnamectl set-hostname masterhostname.

# flink简介apache旗下开源项目，logo是松鼠flink是一个分布式处理引擎，用于对无界和有界数据流进行状态计算的框架