啊帅和和的博客

目录电商常识实时数仓架构对所用到的表进行解析完成数据源和数据采集完成ODS层完成DIM层分析表结构使用代码导入数据并checkpoint将相同部分的代码进行封装完成DWD层完成ADS层电商常识由于这个项目是基于电商数据所完成的项目，所以这里对电商的一些常识做一个简单普及SKU和SPUSKU：一台银色、128G内存的、支持联通网络的iPhoneXSPU：iPhoneXTm_id：品牌Id苹果，包括IPHONE，耳机，mac等订单表跟订单详情表区别？订单表的订单状态会变化，订单详情表不会，因为没

目录本地集群flinksql客户端介绍写入到print表写入到MySQL表问题整合三种存储位置将元数据放到hive，整合hive本地集群flinksql客户端介绍这里和sparksql、hivesql一样，都可以创建表，执行sql语句，这里尝试创建一张关联了Kafka的表，从官网直接拿模板可以看到这边正在运行，并且已经出来了数据由于这是一个动态表，在原表直接修改数据，这里经过了SQL变换的数据也会发生相应的改变写入到print表CREATE TABLE print_table (

目录Flinksql入门前的概念物化视图动态表和连续查询在流上定义表连续查询更新和追加查询查询限制表到流的转换初步实现Flinksql导入依赖实现Flinksql进一步实现Flinksql，全程sqlFlinksql入门前的概念想要搞清楚flink如何使用sql进行处理，我们首先要搞清楚动态表的概念，我们可以先进入flink官网查看，hive中的表是静态的，而这里处理的数据是流式，处理的表是动态的物化视图尽管存在这些差异，但是使用关系查询和 SQL 处理流并不是不可能的。高级关系数据库系统

目录Flink组件source基于本地集合的source基于文件的 source基于网络套接字的 source自定义的 source自定义source尝试自定义MySQL数据源接入，四种不同模式继承SourceFunction继承RichSourceFunctiontransformmap传入Scala函数传入Java函数继承MapFunction继承RichMapFunction （可以做open和close）flatMap传入Scala函数传入Java函数FilterKeyByReduceAggWind

目录本地安装flink写代码之前的准备工作Flink简介Flink组件source基于本地集合的source基于文件的 source基于网络套接字的 source自定义的 source自定义source尝试自定义MySQL数据源接入，四种不同模式继承SourceFunction继承RichSourceFunctiontransformsink本地安装flink加载配置文件：我这里安装的是2.11版本，额外只需要加上scala和Java的编译环境即可<?xml version="1.0" enc

流处理和批处理的区别无界流和有界流离线计算和实时计算的特点感谢阅读，我是啊帅和和，一位大数据专业大四学生，祝你快乐。