Maynor的博客

车联网的概念介绍车联网（ Internet of Vehicles ）指按照一定的通信协议和数据交互标准，在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化，再利用各种传感技术，感知车辆状态信息，并借助无线通信网络与大数据分析技术实现交通的智能化管理。

SparkSQL参数调优

1）、Kudu 为什么诞生，能够解决什么问题 2）、SQL on Hadoop 框架发展史 Kudu和Impala一对CP，Kudu存储数据，Impala 分析数据 3）、Kudu 是什么应用场景 4）、Kudu 架构设计和原理 5）、Kudu 安装部署 已经使用CM安装部署，启动及监控

CM CDH的关系

Oracle数据库操作入门及OGG数据ETL

FlinkCEP快速入门

FlinkCEP解释

需求说明: 项目背景,技术框架,数据规模

文章目录用户画像整理用户画像概念社交用户画像用户画像整理用户画像概念①什么是用户画像？如何构建与应用用户画像？https://www.sensorsdata.cn/blog/20180714/②用户画像demo体验 神策用户画像系统：https://www.sensorsdata.cn/product/userTag.html③用户画像的用途和技术https://blog.youkuaiyun.com/weixin_44318830/article/details/106430007社交用户画像SO

Please set your HADOOP_HOME variable to the absolute path of | | the directory that contains the hadoop distribution（参考哲学三问）数据是什么，数据从哪里来，到哪里去 有离线业务、也有实时业务（Lambda 架构） 基于Docker搭建异构数据源，还原企业真实应用场景 以企业主流的Spark生态圈为核心技术（SQL和Streaming）  Azkaban定时调度主题及指标

有的表，本质上是实时表，但是可能做维度的作用。比如看板4 的 itcast_clazz表，是学生的报名信息表。本质上是一个学生报名某个校区某个学科产生的事实时间，本质上是事实表的属性但是在看板4中，是维度的作用。对于这个表，放入DIMEN层，或者ODS层都可以。做增量的时候，对于任何有事实属性的表，都要考虑到它的增量采集问题，也就是

看板4回顾在做分析的时候，所有的表都要考虑到增量的情况维度数据量少，直接覆盖即可数据量大，根据时间来抽取最新的即可有的表，本质上是实时表，但是可能做维度的作用。比如看板4 的 itcast_clazz表，是学生的报名信息表。本质上是一个学生报名某个校区某个学科产生的事实时间，本质上是事实表的属性但是在看板4中，是维度的作用。对于这个表，放入DIMEN层，或者ODS层都可以。做增量的时候，对于任何有事实属性的表，都要考虑到它的增量采集问题，也就是选择SCD的模式，比如选择

看板3需求分析需求一: 统计期内，访客咨询产生的有效线索的占比。有效线索量 / 咨询量，有效线索指的是拿到电话且电话有效。 指标：有效线索量 维度: 时间维度 : 年、月、天 线上线下 需求二: 统计期内，1-24h之间，每个时间段的有效线索转化率。横轴：1-24h，间隔为1h，纵轴：每个时间段的有效线索转化率。 指标：有效线索量 维度: 时间维度: 小时 线上线下 需求三: 统计期内，新增的咨询客户中，有效线索的数量。 指标: 有效线索量 维度:

技术选型

Logistics_Day18：数据服务接口开发网址：https://smart.jdwl.com/jh_demo.html01-[复习]-上次课程内容回顾​ 主要实现自定义外部数据源：按照SparkSQL提供DataSource API V2实现ClickHouse数据源，可以批量从ClickHouse数据库加载load和保存save数据，以及流式数据保存。在SparkSQL中，从2.3版本开始，提供DataSource API V2（使用Java语言开发接口）版本，继承结构示意图如下所示：