weixin_40366684的博客

一言以蔽之：datax可能会因为脏数据太多导致频繁回滚操作，进一步让jvm内存触发gc，让速度降低到0，可以在sql语句中规避脏数据的写入来规避1.问题datax使用类型转换触发jvm gc然后降速至0失去响应。->脏数据为什么会触发gc->脏数据导致datax回滚写入降速a.首先是开始就低速，发生在动态基线策略里面b.到八十万条左右的时候就开始低速，发生在动态基线和状态评价里面，这时日志伴随脏数据记录输出。c.id会从2049开始，是否有一个2048的块大小进行抽取，然后过一段时

如何在服务器上使用nginx部署iview-admin（vue cli 3.0）环境准备nginx需要安装nginx网上有很多教程，在Ubuntu系统下：https://blog.youkuaiyun.com/qq_23832313/article/details/83578836在CentOs上：https://blog.youkuaiyun.com/t8116189520/article/details/81909574?utm_medium=distribute.pc_relevant_t0.none-task-

如何用Echart+vue可视化后台分析的数据结果​ echarts在运维可视化中是最常见的一个可视化工具，这里介绍如何去对后台分析的结果进行可视化。同时此页面基于vue并且使用了iview插件库，框架使用vue-cli3.0（iview-admin）。实际上不用管这些，非必须，简单来说就是vue+echarts来对后台返回的分析结果数据进行可视化。应用场景​ 这里做了一个动态基线的demo，也就是说对服务器的运维状态进行一个分析，然后产生一个结果数据来对当前服务器的状态信息进行比较提供参考。整体

Flink中kafkaconnector自定义序列化与反序列化对象与String自行互转进行生产与消费​ 当我们对Flink的kafka-connector有了一个大概的认识，并且能够对String，Json等类型的数据进行一个生产和消费操作后，能够想到的是那么对于更复杂的对象的生产与消费呢，比如某一个自定义的对象（POJO类），乃至任意的一个Object。​ 首先，我们发现可以很简单地发送String到kafka中，从其中去进行一个String类型地消费也很简单。那么首先可以想到的是，可以将对象信息

Kafka与Flink结合使用本地连接kafka首先可以先以本地模式来对kafka进行操作。当我们在系统（可以是windows，尽量linux）上部署好了Zookeeper和kafka集群，值得注意的是单机也可以部署一个假集群来对实际生产环境做一个模拟（参考：https://blog.youkuaiyun.com/weixin_40366684/article/details/106258816），接下来我们可以启动zookeeper集群。# bin/zkServer.sh start conf/zoo-1.c

kafka原理与起步使用 （+zookeeper）https://www.jianshu.com/p/d3e963ff8b70https://blog.youkuaiyun.com/java_66666/article/details/81015302http://kafka.apachecn.org/quickstart.htmlhttps://blog.youkuaiyun.com/liyiming2017/article/details/83035157https://www.cnblogs.com/ultranm

Flink傻瓜式配置失败？可用节点为0？AMD背锅。问题发现过程在windows上配置Local模式的Flink的时候一切感觉都很顺利，如同优快云上面一篇篇一摸一样的配置介绍文档一样，结果完成了，顺利打开WebUI以为顺利完成的时候。发现明明没有运行任何任务，可用节点居然是0。解决方案总结解决方案一言以蔽之：直接去看Flink文件夹里面log文件夹里面的日志，根据日志寻找对应的问题，有可...

Flink入门介绍Flink学习记录（窗口，状态原理及基础使用）Flink为什么流行1.擅长处理有界和无界数据2.部署到任意地方3.运行任意规模的应用4.利用内存性能Flink怎么运作Flink背后的方法支撑1.灵活的窗口机制2.有状态的计算以出租车数据处理过程为例1.环境准备与起步2.行驶数据清洗（基本算子的使用）4.费用匹配（状态的使用）5.计时器（过期状态的处理）Flink学习记录（窗口，...