Logstash 使用fingerprint filter过滤重复数据

最新推荐文章于 2025-05-30 21:49:35 发布
最新推荐文章于 2025-05-30 21:49:35 发布
阅读量1.3k 收藏 2
点赞数 2
分类专栏： ELK 文章标签： elasticsearch es logstash fingerprint 重复
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_28834355/article/details/109247257
版权
本文介绍了如何使用Logstash的fingerprint过滤器来过滤Oracle数据库同步到Elasticsearch时的重复数据。通过配置fingerprint插件，根据特定字段生成唯一ID，当重复数据出现时，新的数据会覆盖旧数据，从而保持索引的唯一性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 概要

工作中，Elasticsearch有个索引是通过Logstash同步Oracle数据生成的。但是又需要根据一定的规则，过滤掉重复的数据，生成另一个索引。用一张图来表示就是这样：

在这里插入图片描述

  • 数据源是Oracle数据库
  • Logstash Input插件使用Jdbc
  • Logstash Filter插件使用FingerPrint（指纹过滤器）
  • Logstash Output插件就是Elasticsearch，最终输出就是ES

2. Logstash配置

话不多说，直接上配置Demo

input {
   
  stdin {
   
  }
  jdbc {
   
	type
了解本专栏 订阅专栏 解锁全文 超级会员免费看
银行卡账户交易异常已被限制部分功能，怎么办？
专注于计算机研发知识和资讯分享
03-21 6209
不能使用银行卡在ATM机存取款，不能使用网银、手机银行转账，不能刷卡购物，不能通过购物网站快捷支付，不能注册支付宝账户，不能使用支付宝、微信收发红包、账号充值、打赏、扫码付款和其他消费形式。尤某，用自己和亲友的“身份”办理多张银行卡，连同身份信息一起在网上出售，相关银行卡、微信、支付宝等账户沦为电信网络诈骗工具。切莫出租、出售、出借自己的个人信息、手机卡、银行卡或社交账号，以免沦为诈骗分子实施违法犯罪的帮凶!数字货币、虚拟房产项目，主要诈骗手段是收取税费，打着党和国家旗号，通过数字货币、房产等进行诈骗。
检察日报：提供银行卡过账套现赚佣金是违法犯罪，涉嫌掩饰、隐瞒犯罪所得罪。
专注于计算机研发知识和资讯分享
10-12 158
在此期间，蒋某等15名“下线”明知转入其银行卡的资金系犯罪所得，为获取取现资金5%～10%以及介绍卡主取现资金1%～5%的高额佣金，仍然积极提供银行卡或介绍他人提供银行卡用于接收违法犯罪资金，并配合上线添加成某的微信，用来制作虚假的借款协议和聊天记录，以逃避公安机关的打击和银行工作人员的核实。如果遇到兼职客服，叫你提供银行卡转账额度、查询密码、支付密码、预留手机号码、身份证号码、姓名、手机银行登录密码、开户行、卡号等私密信息时，让你绑定微信钱包，进行测卡的请立马报警。
支付通道如何搭建，为什么服务商搭建的异地收款码，能做到低风控低拦截？
qq_21171735的博客
10-23 445
举一个很简单的例子，各位喜欢购物的小姐姐，每年双11的时候，会各种电商网站上下单买东西，他们购物下单不管多少次都能支付成功，为什么呢，因为这些平台使用的是官方支付通道，h5支付，APP支付，报备了支付场景，所以付款的时候没有拦截。不论是实体店老板，还是做微商电商的从业者，收款码是必不可少的工具，但是有时候需要异地收款的时候，你的收款码被客户一扫提示交易有风险等，谨慎的客户就直接跑了，是不是白白跑单了！我们以微信和支付宝为例：服务商也是在官方申请的通道，那么微信和支付宝官方有那些适合异地收款的产品呢？
个人免签支付宝即时到账收款接口申请
个人即时到账接口
05-12 5826
不少人现在都会自己做一个网站，然后也会涉及到支付的问题，那么这时候我们就会用到支付宝即时到账收款接口，不过听别人说要用接口都必须是公司才可以申请，那么下面我来说下个人申请支付宝即时到账收款接口。 现在很多个人用‌‌户，没有企业，没有营业执照无法直接对接支付宝微信接口，包括用于收款成熟网站，有一定的流量和用户，有一定交易量；收款网站价格比较单一，固定价格，而且价格不多，比如卖会员，充值等；对收款安...
从Drools规则引擎到风控反洗钱系统V0.2.3
08-03
从Drools规则引擎到风控反洗钱系统V0.2.3
如何避免支付宝被风控
qq_43062837的博客
02-20 5342
如果避免支付宝风控
商户监控中一个基础的反洗钱规则不要漏了
weixin_45545159的博客
12-30 3936
商户监控无论是目前的偏向场景化的医美贷款和小微贷款中，还是信用卡场景的信贷场景中，都是目前而言在金融机构管理中比较重要的一个环节，俗称B端商户监控。其中银行机构同学有做反洗钱监控的，对商户的日常监控是其日常工作之一。 另外在信贷风控中的反欺诈场景中，反欺诈商户监控也往往是需要部署防控的。在之前的关于反欺诈场景的防控中，我们跟大家介绍了一部分关于商户监控的场景，其中涉及的反欺诈案例，内容参考： 反欺诈指标FSTQPD在商户风控监控规则的应用 … 而关于场景反欺诈中，今天再跟大家介绍跟商户反欺诈的内容，今天会跟
支付宝支付和微信支付容易被风控可以看一下这个操作
热门推荐
A13071066017的博客
11-12 1万+
1.主要问题：微信支付使用过程中容易出现微信支付商户号被交易拦截，关闭支付权限，关闭体现结算等风控情景。 支付宝支付的过程中，用户付款经常会提示防范兼职刷单等风控提醒，暂停支付，关闭商户收款权限，资金冻结，清退商户等情况 2.针对上面的问题怎么解决呐，相信是很多朋友都头痛的事情，眼看着客户想付款而付不进来，造成很大的损失 3.造成风控的原因： 一般有一下几种原因，第一个就是付款用户本人支付宝本身有异常，影响到了商户本身 第二就是商户本身有关联经营异常情况，比如有别的收款账号曾经被风控 第三就是，商..
反洗钱：农行盐城金融城支行工作人员，成功堵截一起柜面异常大额取现案件
专注于计算机研发知识和资讯分享
10-09 219
客服经理核实大额取现用途时，客户回答得支支吾吾，前言不搭后语，内勤行长立即警觉起来。通过反电诈平台查询客户交易明细发现，客户农行卡的资金在9月11日16:18由交通银行同名账户转入，而这笔资金最初是16:11由洪某某转入。再结合客户在回答网点核实问题时前后矛盾的表现，内勤行长高度怀疑是异常取现，遂告知客户，银行需向反诈中心核实，待核实完毕后会致电客户。近日，农行盐城金融城支行工作人员，凭借敏锐的洞察力和专业素养，成功堵截一起柜面异常大额取现案件。资金来源有问题，涉及取现洗钱。
电子银行卡的优势分析
weixin_44587569的博客
04-09 2102
1、电子银行卡内涵界定 　　目前，电子银行卡还没有正式定义，依据商务印书馆《英汉证券投资词典》对电子货币的解释，电子银行卡可理解为在互联网上或通过其他电子通信方式进行支付、转账结算等功能的电子账户，没有物理形态。然而与电子账户又有所区别，根据央行对于个人账户管理的规定，个人账户可分为Ⅰ、Ⅱ、Ⅲ类。通常Ⅱ、Ⅲ类账户没有实体卡片，是一个以62开头的银行卡号，可为理财账户或者小额消费账户，便于监管的同时...
银行app软件使用技巧,避免被限制非柜面交易。
专注于计算机研发知识和资讯分享
03-10 436
钉钉个人版是钉钉推出的一款强大的个人生产力工具，可以使用它生成您的个人知识库，搭建个人网站，管理各项工作流，存储管理您的海量资料，也可以随时发起会议与他人进行沟通协作。同时钉钉个人版也具备强大的AI 能力，可以随时为您解答各种问题，制定策划方案，创作图片视频，提供无穷灵感。不参与“跑分”、“虚拟货币”交易等非法活动，非法交易活动套路多，资金轨迹可溯源，参与非法资金转移活动将承担刑事责任。银行卡金额太频繁的进和出，容易被反洗钱冻住了，这不是银行冻结的，是公安那边要冻住的。手机银行的登陆密码为6位数字。
如何避免_如何避免被微信、支付宝风控
weixin_39569051的博客
12-11 5581
大家都很惆怅的就是被微信、支付宝风控。而且都无法理解，我为什么就被风控了呢？首先，微信和支付宝作为最大的第三方公司，是有自己的风控机制的。其次 因为移动端交易量逐年增加，为了保证大家有一个良好的使用环境，所以微信和支付宝在打击非法交易和保证用户安全方面也在逐步的升级。所以综上所述，风控是为了大家的安全这时候大家就疑问：那我该怎么办呢？不要担心今天小编就给大家讲下如何避免？1为了您更好的...
微信支付 风控通知及解决方式
weixin_30337157的博客
06-12 7900
商家在日常经营中，会出现消费者无法下单的情况。有部分情况，是由于商家账号或消费者账号被微信风控导致的。 不同的原因会有不同的微信风控提醒以及不同的解决办法，您可以参考以下说明，来针对性的排查、解决问题。 微信风控提示文案 1、微信对商家端风控 微信投诉申诉具体要求请下载文件：微信申诉要求.xlsx 2、微信对消费者端风控 3、微信风控，无法...
HTTPS 协议：数据传输安全的坚实堡垒
ruanjiananquan99的博客
05-27 1331
在互联网技术飞速发展的今天，数据在网络中的传输无处不在。从日常浏览网页、在线购物，到企业间的数据交互，每一次信息传递都关乎着用户隐私、企业利益和网络安全。HTTP 协议作为互联网应用层的基础协议，曾经承担着数据传输的重任，但随着网络安全威胁的日益严峻，其不加密、易被窃取篡改的弊端逐渐暴露。而 HTTPS 协议在 HTTP 的基础上增加了 SSL/TLS 加密层，犹如为数据传输穿上了坚固的铠甲，能够对数据进行加密传输，确保数据在传输过程中的保密性、完整性和真实性，成为了保障网络安全的关键技术。​。
数据分类分级的实践与反思：源自数据分析、治理与安全交叉视角的洞察
u010872591的博客
05-30 738
但若缺乏对两者特性与适用场景的深刻理解，以及精细化的融合策略设计（例如，如何有效仲裁规则与模型的冲突、如何实现两者间的知识迁移与能力互补），这种融合易陷入“简单叠加”的误区，可能导致系统复杂性剧增，可解释性与可控性下降，最终并未带来预期的价值提升。这一现象可能在许多类似规模的场景中复现。：基于向量空间相似度进行语义理解与判定，虽然在某些场景下表现出优势，但对于细粒度的行业专业术语、隐晦的业务逻辑关联以及跨领域、弱结构化的数据内容，其识别的精确度和稳定性仍有较大提升空间，甚至可能不如经过精细调优的传统规则。
安全生产例题
liangjiao_shou的博客
05-27 1268
安全生产例题
C++高级编程深度指南：内存管理、安全函数、递归、错误处理、命令行参数解析、可变参数应用与未定义行为规避
最新发布
Rachelhi的博客
05-30 1118
1. 可变参数 1.1 可变参数的定义与原理 1.2 使用可变参数的场景 1.3 可变参数的实现方式 1.3.1 省略号方式 1.3.2 模板参数包方式 2.2 动态内存分配函数 2.3 内存泄漏与内存溢出 3.1 错误处理机制概述 3.2 异常处理机制 示例代码 异常处理的优点 异常处理的缺点 3.3 错误处理的实践 使用异常处理机制 使用智能指针管理资源 使用RAII管理资源 使用断言进行调试 避免使用全局变量 使用日志记录错误信息 4.1 递归的定义与原理 示例代码：计算阶乘 示例代码：计算斐波那契数
联软SDP+安渡：收敛暴露面 从生产网自动取数 安全高效
leagsoft_1003的博客
05-28 1309
制造业网络安全面临网络隔离与数据流通的矛盾。为解决供应商跨网协作中的安全风险和管理痛点，联软推出安渡SDP解决方案：通过专用加密隧道实现安全访问，采用IP协议栈隔离、数据指令分离等创新技术，在不开放网络端口的情况下完成自动化数据摆渡。该方案既保障了文件传输的安全性，又提高了办公效率，实现了网络安全防护与业务便捷性的统一。典型应用于BOM系统审批后的图纸自动传输场景，有效规避U盘拷贝、即时通讯等传统方式的安全隐患。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

°Fuhb

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值