binlog数据清洗

最新推荐文章于 2023-10-02 18:05:22 发布
最新推荐文章于 2023-10-02 18:05:22 发布
阅读量208 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/abc8125/article/details/125968286
大数据 专栏收录该内容
33 篇文章 ¥49.90 ¥99.00
订阅专栏
本文介绍了游戏数据清洗的过程，重点针对game_data和game_log_data进行分类。在清洗流程中，核心问题是如何处理二进制文件，如blob，转化为text存储到大数据仓库。此外，通过数据库+表名的hash操作实现数据分区，确保同一表的数据落在同一分区。文章还提及主线程代码中过滤二进制数据的环节。
数据分类

目前游戏中数据分为两类，一种是游戏数据，一种是游戏日志数据，即game_data和game_log_data。对于game_log数据主要做一些汇总分析，比如玩家参与某种玩法的参与度，以及一些行为的分析。对于游戏数据，主要就是玩家一些基础属性，比如战力，等级等等的存储，最重要的就是玩家的充值数据，这些会随着玩家的操作数据值会改变的，如玩家升级，充值由未完成到已完成。

清洗流程

在这里插入图片描述

核心问题以及解决
  • 数据对于二进制文件
    • 对于blob等二进制文件在存储到大数据仓库的时候，直接转换为text , 在目前来说这种数据，对于统计几乎没有统计意义。
  • 同一个表要落到一个分区中
    • 对数据库+表名做hash操作，然后%分区数，让同一个表数据落入同一分区。
主线程代码
String groupId = gameConfig
了解本专栏 订阅专栏 解锁全文
使用docker安装ELK
老骆驼的博客
06-19 1万+
环境 虚拟机软件VmWare15.5 Centos7.0 安装docker yum install docker 安装成功后，使用 docker --version 安装ELK 前提条件(真机) 1.Docker至少得分配3GB的内存； 2.Elasticsearch至少需要单独2G的内存； 3.防火墙开放相关端口； 如果配置太差了，可以指定使用的配置参数 vm.max_map_count至少需要262144 下载镜像 首先启动docker systemctl start docker 下拉镜像 d
Spark 对hadoopnamenode-log文件进行数据清洗并存入mysql数据库
weixin_53898747的博客
04-12 892
对hadoop日志文件进行数据清洗
Spark:日志文件数据清洗
热门推荐
m0_46620354的博客
12-16 1万+
日志数据，下面是一行日志信息 2018-09-04T20:27:31+08:00 http://datacenter.bdqn.cn/logs/user?actionBegin=1536150451617&actionClient=Mozilla%2F5.0+%28Windows+NT+6.1%3B+WOW64%29+AppleWebKit%2F537.36+%28KHTML%2C+like+Gecko%29+Chrome%2F63.0.3239.132+Safari%2F537.36&amp.
使用LogHub进行数据清洗/ETL
weixin_33785972的博客
08-30 542
数据清洗/ETL 日志处理过程中一个假设是：数据并不是完美的。在原始数据与最终结果之间有Gap，需要通过ETL（Extract Transformation Load）等手段进行清洗、转换与整理。 案例 “我要点外卖“是一个平台型电商网站，用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜；商家拿到订单后开始加工，并自动通知周围的外...
补充：数据清洗（简单案例）
Slothwolf的博客
10-02 152
利用MapReduce进行数据清洗的简单案例
机器学习（一）数据清洗
qq_42007339的博客
03-26 379
贝叶斯公式 给定某些样本，在这些样本中计算某结论A1，A2……An出现的概率，即P（Ai|D） 计算这个p的最大值 最后就是算 最大似然估计 用这个概率的最大值所对应的参数们，即最大似然估计 最大似然估计MLE 假定样本是独立同分布的 联合密度概率（同时发生） 后面写出参数 可以将θ看成是固定但未知的参数，所以L（x，θ）是关于θ的函数，即似然函数 求参数θ的值，使...
由 bboss 开源的数据采集&流批一体化工具，提供数据采集、数据清洗转换处理和数据入库以及数据指标统计计算流批一体化处理功能
06-08
**bboss-datatran** 是一个由 **bboss** 社区开源的高效数据处理工具，专注于数据采集、数据清洗转换以及数据入库等任务。它实现了流批一体化的数据处理能力，使得用户能够灵活地应对实时和批量的数据处理场景。在...
分布式数据采集与传输系统_支持文件日志采集与MySQL数据库Binlog实时捕获_通过RocketMQ消息队列实现高吞吐量数据传输_用于大数据流清洗平台的数据接入与处理_基于JDK.zip
最新发布
09-09
数据流清洗是指在数据进入数据仓库或数据湖之前，通过一系列的处理步骤，如数据过滤、数据转换等操作，来确保数据的质量和准确性。这类处理对于企业分析和决策支持尤为重要，因为它能提高数据的可用性，确保分析的...
基于Python实现用于解析和转换 MySQL 二进制日志（binlog）的工具源码
11-20
- **功能扩展**：可以添加自定义逻辑，如过滤特定事件，或者在转换过程中进行数据清洗。 总结，基于Python解析和转换MySQL binlog是一项涉及数据库操作记录分析的重要任务。通过理解binlog的原理和Python相关库，...
python数据清洗去空值_Python 数据清洗--处理Nan
weixin_30499315的博客
01-14 1389
import numpy as npimport pandas as pdfrom pandas import Series,DataFramefrom numpy import nan as NaNimport tensorflow as tfimport matplotlib.pyplot as pltimport scipy.io as sioimport osfrom sklearn im...
20190328-几种数据清洗的方法
鲨鱼胃的博客
03-28 3952
清洗有缺失的行（存在空值、null值等） 源数据 [yao@master data]$ head -2 tmall-201412-1w.csv 13764633023 2014-12-01 02:20:42.000 全视目Allseelook 原宿风暴显色美瞳彩色隐形艺术眼镜1片 拍2包邮 33.6 2 18067781305 13377918580 2014-12-17 08:10:25....
美团增量数仓建设新进展
Ververica的博客
08-22 769
美团系统研发工程师汤楚熙，在 Flink Forward Asia 2022 实时湖仓专场的分享。
从MySQL数据库binlog中读取数据
weixin_41580949的博客
07-14 2782
从MySQL数据库binlog中读取需要的数据
14 - MapReduce之数据清洗(ETL)案例,倒排索引案例,ReduceTask 工作机制,Hadoop 数据压缩简介
花&败
08-10 2888
一：简介 在运行核心业务 Mapreduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。 清理的过程往往只需要运行 mapper 程序，不需要运行 reduce 程序。 二：日志清洗案例之简单解析版 需求：去除日志中字段长度小于等于11的日志(每一行按照空格切割，切割后数组长度小于11的日志不要) 数据如下： 代码实现......
【数据分析】数据预处理中的数据清洗
YYIverson的博客
08-30 4522
目录 数据清洗 错误值处理（Wrong Value Processing） 异常值处理（Outlier Processing） 缺失值处理（Missing Data Processing） 数据清洗 错误值处理（Wrong Value Processing） 错误值是指数据集中出现的数值、格式、类型等错误，导致错误的原因包括： （1）输入错误：录入信息时缺失、错误输入、...
【数据清洗】总结
Lamcky的博客
08-24 4728
写在前面（201908）： 数据质量问题往往会影响到工作效果，我们学习现代工具后，很容易就建立起一个初步的模型。但是真正的工作是如何优化它，而关键节点就包括数据的清洗和模型的调优。就好比想要做一道好菜，就需要好的原材料和好的制作手法。而不同的数据处理方法，也跟模型的需要息息相关。因此理解模型对数据的要求也是对做好一道菜的必要知识点。 这里先参考相关材料，记录下常规的数据清洗方法，并持续更新。 内容...
数据预处理清洗方法总结（一）
ls83776736的博客
06-19 2601
以house price为例1. Train_df.head(n)通过查看表格头部几行元素来观察数据的大致组成。2. prices = pd.DataFrame({“price”:train_df[“SalePrice”],”log(price+1)”:np.log1p(train_df[“SalePrice”])})Prices.hist()price即数据的label本身不是平滑的，通常为了分...
日志数据清洗（简单版）
weixin_43520450的博客
05-03 2507
1.数据情况 每行记录有5部分组成：访问者IP、访问时间、访问资源、访问状态（HTTP状态码）、本次访问流量 如： 27.19.74.143 - - [30/May/2018:17:38:20 +0800] “GET /static/image/common/faq.gif HTTP/1.1” 200 1127 2.代码实现 创建ParserLog类： import java.text.Par...
对访问日志数据进行读取，清洗，分析，绘图和储存
bernieyangmh的博客
07-24 2757
对访问日志数据进行读取，清洗，分析，绘图和储存github链接地址 函数名 API_PATH 数据类型 get_data_by_factor get_total_data 根据限制条件返回清洗后的日志数据 get_url_traffic get_url_traffic 根据url返回对应的流量 get_url_count get_url_count 根据
Starocks数据库中如何清洗数据
06-02
### StarRocks 数据库中的数据清洗方法或工具 在实时数仓的构建过程中，数据清洗是一个关键环节。StarRocks 作为一个高性能的分布式分析型数据库，支持多种方式对数据进行清洗和处理[^1]。以下是几种常见的数据清洗方法或工具： #### 1. **使用 SQL 查询进行数据清洗** - 在 StarRocks 中，可以通过编写复杂的 SQL 查询来实现数据清洗。例如，通过 `WHERE` 子句过滤无效或错误的数据，或者使用 `CASE WHEN` 语句对数据进行转换和修正。 - 示例代码： ```sql INSERT INTO clean_table SELECT id, CASE WHEN age < 0 THEN NULL ELSE age END AS age, CASE WHEN gender NOT IN ('M', 'F') THEN NULL ELSE gender END AS gender FROM raw_table; ``` 上述代码中，`CASE WHEN` 用于将不符合条件的数据替换为 `NULL` 或其他默认值[^2]。 #### 2. **利用 ETL 工具进行数据清洗** - 在 StarRocks 的实际应用中，通常会结合外部的 ETL 工具（如 Apache Flink、Apache Spark 等）进行数据清洗。这些工具可以处理更复杂的数据逻辑，并将清洗后的数据写入 StarRocks。 - 示例：通过 Apache Flink 实现数据清洗并写入 StarRocks。 ```python from pyflink.table import TableEnvironment, EnvironmentSettings env_settings = EnvironmentSettings.new_instance().in_streaming_mode().build() t_env = TableEnvironment.create(env_settings) # 注册输入表和输出表 t_env.execute_sql(""" CREATE TABLE input_table ( id BIGINT, name STRING, age INT ) WITH ( 'connector' = 'kafka', 'topic' = 'raw_data_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ) """) t_env.execute_sql(""" CREATE TABLE output_table ( id BIGINT, name STRING, age INT ) WITH ( 'connector' = 'starrocks', 'jdbc-url' = 'jdbc:mysql://localhost:9030/starrocks_db', 'load-url' = 'localhost:8030', 'table-name' = 'cleaned_data', 'username' = 'root', 'password' = '' ) """) # 数据清洗逻辑 t_env.from_path("input_table").filter("age > 0").execute_insert("output_table").wait() ``` #### 3. **基于 Binlog 的增量数据清洗** - 如果数据源支持 Binlog（如 MySQL 或 Hologres），可以通过消费 Binlog 数据来实现增量数据清洗。StarRocks 支持与 Kafka 集成，因此可以结合 Flink 消费 Kafka 中的 Binlog 数据并进行清洗后写入 StarRocks[^3]。 - 示例：通过 Flink 消费 Kafka 中的 Binlog 数据。 ```sql INSERT INTO starrocks_table SELECT id, updated_value, event_time FROM kafka_binlog_topic WHERE event_type = 'UPDATE'; ``` #### 4. **使用内置函数进行数据清洗** - StarRocks 提供了丰富的内置函数，可以直接在 SQL 查询中使用以实现数据清洗。例如，`TRIM()` 用于去除字符串两端的空格，`REPLACE()` 用于替换字符串中的特定字符等。 - 示例代码： ```sql INSERT INTO cleaned_table SELECT TRIM(name) AS name, REPLACE(address, ' ', '-') AS formatted_address FROM raw_table; ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

壬戌知秋

您的打赏将是我最大的鼓励感谢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值