TP5日志Kafka接收Java正则解析

最新推荐文章于 2025-07-31 23:38:37 发布

yxh_networkSecurity

最新推荐文章于 2025-07-31 23:38:37 发布

阅读量799

点赞数 2

CC 4.0 BY-SA版权

分类专栏： java 文章标签： TP5日志解析正则表达式

本文链接：https://blog.youkuaiyun.com/yxh1157686920/article/details/90699794

该项目利用Kafka+Flume采集TP5日志数据，通过正则表达式对日志进行动态分割和筛选，提取所需信息。内容涵盖了正则表达式的初级入门，介绍了如何筛选包含特定字符串的中括号内容、以中括号结尾的前导字符串，以及如何排除某些字符串和筛选IP地址。同时，提到了Java代码的实现和调用结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目需要对企业的业务访问流量进行大数据分析，由于使用Kafka+flume采集数据，接收到的数据是单条的所以需要组装切割再筛选所需要的数据。

正则初级入门

正则表达式(Regular Expression)是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"）。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。正则表达式是繁琐的，但它是强大的，学会之后的应用会让你除了提高效率外，会给你带来绝对的成就感。只要认真阅读本教程，加上应用的时候进行一定的参考，掌握正则表达式不是问题。

推荐初入门的朋友看看：https://www.runoob.com/regexp/regexp-tutorial.html

TP5日志动态分割

通过观察TP5的日志是很有规律的，每次请求的结尾都有横线分隔，所以可以一个分割线接收完整的日志片段，如：

--------------------------------------------------------------- #分隔线
[ 2019-05-27T10:56:02+08:00 ] 192.168.2.243 GET /Ticket2018/index/index/index.html
[ sql ] [ DB ] CONNECT:[ UseTime:0.011552s ] mysql:host=localhost;port=3306;dbname=tptick;charset=utf8
[ sql ] [ SQL ] SHOW COLUMNS FROM `tp_admin_adsimg` [ RunTime:0.047415s ]
[ sql ] [ SQL ] SELECT `savepath`,`savename` FROM `tp_admin_adsimg` WHERE  `sta` = 0 ORDER BY ctime des