
大数据专题
文章平均质量分 94
大数据,数据仓库
八五年的湘哥
坚持原创,支持知识分享
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Trino&DBT不同类型数据库数据清洗统计
采用docker安装,还是一如既往使用我最喜欢的docker-compose;Clickhouse和MySQL的安装中规中矩,也不考虑什么架构,直接拉取镜像打包即可主要是:1、dbt需要提前制作好镜像,参考:https://blog.youkuaiyun.com/huxiang19851114/article/details/126626213?原创 2023-03-14 11:31:20 · 995 阅读 · 0 评论 -
大数据综合案例(单表主从)
大数据综合案例原创 2022-09-21 15:41:00 · 1016 阅读 · 0 评论 -
大数据工具之dbt
是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。一词较常用在数据仓库.是一个很不错的进行中的处理的工具,灵活简单,我们需要写的就是select 语句,剩下的dbt 帮助我们进行处理官网地址:https://docs.getdbt.com/............原创 2022-08-31 16:18:00 · 7942 阅读 · 0 评论 -
分布式数据库中间件Mycat2
Java语言编写的MySQL数据库网络协议的开源中间件,GPLv3协议开源,在Mycat1的基础上做了如下优化或者加强:官网:http://www.mycat.org.cn/关注Mycat1可以链接到:https://blog.youkuaiyun.com/huxiang19851114/article/details/113845705。......原创 2022-08-18 10:11:19 · 2163 阅读 · 0 评论 -
大数据工具之Superset
ApacheSuperset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。由于Superset能够对接常用的大数据分析工具,如Trino、Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具,应用于数据仓库的ADS!官网https。......原创 2022-07-28 09:58:18 · 30578 阅读 · 4 评论 -
大数据工具之Trino
从字面意思可以看到它支持的数据源应该是没有限制的,例如Hadoop、AWSS3、Alluxio、MySQL、Cassandra、Kafka、ES、Kudu、MongoDB、MySQL等等,一句话,就是在市面能看到的存储,它基本上都支持。Trino没有自己的存储,实现了存储与计算分离,而存储与计算分离的核心就是基于连接器的架构。连接器为Trino提供了连接任意数据源的接口,也可以自定义编程实现连接器。......原创 2022-07-22 10:00:15 · 18311 阅读 · 4 评论