Brave_heart4pzj的博客

kafka

https://www.jianshu.com/p/6492b762c171 重复消费的原因分析https://www.jianshu.com/p/35e57b10cb33 解决办法

情况：这边对接了kafka，但是，kafka里面数据是乱序的，比如，5月20号，可能里面包含了，17号，18号，19号的数据，而且，队列里数据，是只能向前消费，无法回到之前的offset进行消费。于是，以前按照系统当前时间，创建索引的方式，不能使用了。index => "ods_harmful_%{+YYYY-MM-dd}"修改：注意字段对应关系： mutate{ split => ["message","^"] add_field => {

首先说明下2个重要的参数：consumer.group.id (消费者组)auto.offset.reset :earliest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费latest当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据nonetopic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常注意

[2022-05-12T15:09:13,065][ERROR][logstash.outputs.elasticsearch][unreasonable_use_kafka][d2128c0736a801fa462a2aea862c6bbf3923c3cce59e00fc70fa6e234d9dac33] Encountered a retryable error. Will Retry with exponential backoff {:code=>400, :url=>"http://

logstash 版本：7.12.0conf文件内容如下：input { kafka{ bootstrap_servers =>["1.1.1.1:9092,2.2.2.2:9092,3.3.3.3:9092"] group_id => "a_topic_group" auto_offset_reset => "latest" consumer_threads => 5 decorate_events => true topics => [

https://blog.youkuaiyun.com/weixin_39372979/article/details/105551335

https://blog.youkuaiyun.com/qq877507054/article/details/116355893

https://blog.youkuaiyun.com/wangbo0130/article/details/91865438

https://zhuanlan.zhihu.com/p/118376818

https://zhuanlan.zhihu.com/p/365802989

https://blog.youkuaiyun.com/qq_19524879/article/details/82848797

https://www.cnblogs.com/windpoplar/p/10747696.html

https://blog.youkuaiyun.com/appleyuchi/article/details/111302917注意两点：1、log.dirs配置的路径要正确2、删除这里面的meta.properties文件即可成功启动

https://blog.youkuaiyun.com/huangbaokang/article/details/115067485

https://www.cnblogs.com/momo-88/p/13588736.html

https://blog.youkuaiyun.com/qq_43672652/article/details/107349063 推荐https://www.cnblogs.com/fengyumeng/p/11133924.html

https://www.cnblogs.com/saryli/p/9729591.html

docker pull elasticsearch:7.13.0docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 --name ES01 elasticsearch:7.13.0查看运行状况：docker ps -aCONTAINER ID IMAGE COMMAND CREATED STAT

环境描述：Centos7上已安装Docker工具第一步：下载rabbitMQ镜像命令下载带management的镜像包，它有web页面供测试使用docker pull rabbitmq:3-management查看下载结果：docker images第二步：运行rabbitMQ镜像命令运行，并做端口映射： docker run -d -p 5672:5672 -p 15672:15672 --name myrabbitmq 415614b8c071查看运行结果：docker ps

https://zhuanlan.zhihu.com/p/60288391

安装过程1、下载http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/解压tar -zxvf zookeeper-3.4.14.tar.gz2、关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld....

本篇讲zookeeper的锁常用命令什么是乐观锁：举个例子，因为第一次用version的时候，版本号已经控制了dataVersion的值，他会把dataVersion变为3，然后再继续对version为2操作的时候就会失败，因为这两个是并发的操作，这时就可以保证这个节点的数据的一致性。整个version的操作是原子的。这个是由zookeeper去控制的。set:命令用来设置某个节点的值也可...

本篇讲zookeeper的节点知识永久顺序节点：create -s /abc/bbb/ccc ccc-data,下面创建的都是永久的节点。ccc-data：这个值得类型是byte。写得时候是字符串，但是存储得时候转成byte来存储节点得名称是不能重复的临时节点：create -e /node/temp temp-data:当我主动退出会话的话，会把当前的node节点下的temp节点给...

基本操作命令带sh结尾的就是shell脚本的命令清理的命令:zkCleanup.sh客户端的命令:zkCli.sh环境的配置：zkEnv.sh服务端的配置:ZkServer.sh1、如何去判断zookeeper是真得启动通过status来查出standalone就是单机版得启动2、连接到客户端默认得就是连接到localhost如果连接得zookeeper不在本地，可以这...

https://www.cnblogs.com/qmillet/p/12549698.html

消息队列在大型电子商务类网站，如京东、淘宝、去哪儿等网站有这深入的应用，队列的主要作用是消除高并发访问高峰，加快网站的响应速度。在不使用消息队列的情况下，用户的请求数据直接写入数据库，在高并发的情况下，会对数据库造成巨大的压力，同时也使得系统响应延迟加剧。在使用队列后，用户的请求发给队列后立即返回（当然不能直接给用户提示订单提交成功，京东上提示：您“您提交了订单，请等待系统确认”），再由消息队列的消费者进程从消息队列中获取数据，异步写入数据库。由于消息队列的服务处理速度远快于数据库，因此用户的响应延迟可得到

https://blog.youkuaiyun.com/t610654893/article/details/82982392 （包含图文）https://blog.youkuaiyun.com/qq_27409289/article/details/89510687

https://www.cnblogs.com/saryli/p/9729591.html

Flink Source & Sink在 Flink 中，Source 代表从外部获取数据源，Transfromation 代表了对数据进行转换操作，Sink 代表将内部数据写到外部数据源一个 Flink Job 一般由 Source，Transformation，Sink 组成Flink 提供了 Kafka Connector 用于消费/生产 Apache Kafka Topic ...