- 博客(8)
- 收藏
- 关注
RSS订阅原创 【大数据之数据仓库】
Maxwell的工作原理是实时读取MySQL数据库的二进制日志（Binlog），从中获取变更数据，再将变更数据以JSON格式发送至Kafka等流处理平台。通常情况，业务表数据量比较大，优先考虑增量，数据量比较小，优先考虑全量；中的多个关键业务过程联合处理而构建的事实表，如交易流程中的下单、支付、发货、确认收货业务过程。（3）DWS层表名的命名规范为dws_数据域_统计粒度_业务过程_统计周期（1d/nd/td），就是每天都将业务数据库中的全部数据同步一份到数据仓库，这是保证两侧数据同步的最简单的方式。
2025-02-18 09:35:59
1489
原创 【大数据之Hive】
创建数据库：CREATE DATABASE [COMMENTLOCATIONhdfs_path]WITH查询数据库：SHOW DATABASES [LIKE ‘identifier_with_wildcards’];like通配表达式说明：*表示任意个任意字符，|表示或的关系。修改数据库–修改dbproperties–修改location修改数据库location，不会改变当前已有表的路径信息，而只是改变后续创建的新表的默认的父目录。–修改owner user。
2023-05-13 17:57:28
1448
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人