- 博客(9)
- 收藏
- 关注
RSS订阅转载 数仓建设保姆级教程，离线和实时一网打尽(理论+实战) （转载）
一、数仓基本概念1.数据仓库架构我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。这里参考此定义，把数据仓库架构理解成构成数据仓库的组件及其之间的关系，画出下面的数仓架构图： 数仓架构上图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部...
2022-03-07 10:30:14
1811
原创 Flink 1.13.5 Error: A JNI error has occurred, please check your installation and try again
java.lang.NoClassDefFoundError: org/apache/flink/table/descriptors/ConnectorDescriptor at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecurs...
2022-02-21 23:06:49
371
原创 Flink 13.5使用process-getSideOutput实现split-select分流操作
package com.wjy.api.transform;import com.wjy.api.beans.SensorReading;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.streaming.api.datastream.DataStream;imp.
2022-02-09 14:35:55
1370
原创 dataX动态传参数
dataX的json文件:{ "job": { "content": [ { "reader": { "name": "hdfsreader", "parameter": { "column": [ { ...
2021-04-20 15:02:24
4850
原创 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient报错，问题排查
本文章向大家介绍Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient报错，问题排查，主要包括Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient报错，问题排查使用实例、应用技巧、基本知识点总结和需要注意事项。问题出现的原因：最近在整合spark与hive，新安装spar.
2020-08-27 11:28:03
11465
1
原创 Hbase API常用操作的简单封装
工具类HbaseUtil：/** * hbase操纵工具类 */public class HbaseUtil { //ThreaLocal private static ThreadLocal<Connection> connHolder = new ThreadLocal<Connection>(); private HbaseU...
2020-03-21 22:16:03
161
原创 HbaseAPI学习
hbaseAPI测试public class TestHbaseAPI_01 { public static void main(String[] args) { //构建config配置对象 Configuration conf = HBaseConfiguration.create(); try { //获...
2020-03-20 20:56:32
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人