Maynor的博客

项目目标项目1：在线教育学习如何做项目，项目中大数据工程师要负责实现的内容和流程学习数仓基础理论：建模、分层项目2：工业大数据企业中项目开发的落地：代码开发代码开发：SQL【DSL + SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现内容目标项目业务介绍：背景、需求项目技术架构：选型、架构项目环境测试目标了解Docker的基本功能和设计为什么要用Docker？什么是Docker？路径step1：生产环境的问题。

​ 这是Maynor华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21.1.9.41数据库华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2.10.1华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop​云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例。

本博客将介绍在云耀云服务器L实例服务器下如何部署Docker容器Sqoop。云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像，可以一键部署应用，极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。Docker是一种开源的容器化平台，它可以帮助开发者将应用程序及其依赖项打包成一个独立的容器，以实现快速、可靠和可移植的应用部署。

​ 本博客将介绍在云耀云服务器L实例服务器下如何部署Docker容器Oracle数据库。​云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像，可以一键部署应用，极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。​ Docker是一种开源的容器化平台，它可以帮助开发者将应用程序及其依赖项打包成一个独立的容器，以实现快速、可靠和可移植的应用部署。

​ 本博客将介绍在云耀云服务器L实例服务器下如何部署Docker容器Hadoop。Hadoop是一个开源的分布式计算框架，用于处理大规模数据集。通过使用Docker，我们可以轻松地在任何环境中部署Hadoop，而无需担心依赖性和配置问题。本博客将详细介绍如何在Docker中安装和配置Hadoop。无论您是初学者还是有经验的开发人员，本博客都将为您提供有关在Docker中部署Hadoop的详细指南。​ 这是Maynor。

​ 本博客将介绍在云耀云服务器L实例服务器下如何部署Docker容器Spark计算引擎。这是Maynor华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21.1.9.41数据库华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2.10.1华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop华为云云耀云服务器L实例评测｜在Docker环境下部署Hive数据库​云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。

修改配置文件：airflow.cfg。上传并执行Anaconda安装脚本。添加Linux用户及组。

目标掌握一站制造的项目背景及项目需求路径step1：行业背景step2：项目需求实施项目行业：工业互联网大数据：物联网项目名称：加油站服务商数据运营管理平台参考别的项目：商业化大数据分析平台：神策公司产品：加油机设备服务公司客户：中石化，中石油，中海油、壳牌，道达尔……整体需求需求一：通过数据分析提高公司产品的服务质量基于加油站的设备安装、维修、巡检、改造等数据进行统计分析支撑加油站站点的设备维护需求以及售后服务的呼叫中心数据分析需求二：通过数据分析支撑公司的成本运营核算。

项目所需工具:链接：https://pan.baidu.com/s/1sIa8nninf2Fz6YqE3vUpqQ?pwd=5wr3提取码：5wr3–来自百度网盘超级会员V4的分享目标了解Grafana的功能及特点路径step1：功能step2：特点实施功能：Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知特点展示方式多样。

## 06：node_exporter插件- **目标**：**实现node_exporter插件的安装监控Linux指标**- **实施** - **上传安装** ```shell cd ~ rz tar zxvf node_exporter-1.1.2.linux-amd64.tar.gz -C /opt/prometheus-2.26/ mv /opt/prometheus-2.26/node_exporter-1.1.2.linux-amd64

目标：了解Prometheus的功能和特点路径step1：功能step2：特点实施功能：服务器性能指标监控及时序数据存储Prometheus实现了高纬度数据模型，时间序列数据由指标名称和键值对指标组成。PromQL允许对收集的时间序列数据进行切片和切块，生成ad-hoc图形、图表、告警Prometheus有多种数据可视化模式：内置表达式浏览器，grafana集成、控制台模板语言Prometheus使用有效的自定义格式将时间序列数据存储在内存中和本地磁盘，通过函数式分片和联邦进行弹性扩展。

【代码】助力工业物联网，工业大数据之服务域：服务器性能监控Prometheus及项目总结【三十五】

再启动Executor进程：根据资源配置运行在Worker节点上。step3：提交分布式程序到分布式资源集群运行。AirFlow配置：airflow.cfg。原理：自动发送邮件的原理：邮件第三方服务。：了解AirFlow中如何实现邮件告警。Driver和Executer是什么？与Linux Crontab用法一致。：了解AirFlow的常用命令。发送方账号：配置文件中配置。：了解一站制造中调度的实现。Spark程序的组成结构？Spark的算子分为几类？Task的个数怎么决定？接收方账号：程序中配置。

使用BashOperator调度执行多个Task，并构建依赖关系。：使用BashOperator调度执行一条Linux命令。step2：安装AirFlow集成Oracle库。step2：安装AirFlow集成MySQL库。：《MySQL任务调度详细操作文档.md》：了解Oracle与MySQL的调度方法。step1：本地安装Oracle客户端。：调度Python代码Task的运行。step1：本地安装MySQL客户端。：实现AirFlow的依赖调度测试。step3：创建Oracle连接。

Task类型：http://airflow.apache.org/docs/apache-airflow/stable/concepts/operators.html常用。

目标了解AirFlow的功能特点及应用场景路径step1：背景step2：设计step3：功能step4：特点step5：应用实施起源2014年，Airbnb创造了一套工作流调度系统：Airflow，用来替他们完成业务中复杂的ETL处理。从清洗，到拼接，只用设置好一套Airflow的流程图。2016年开源到了Apache基金会。2019年成为了Apache基金会的顶级项目：http://airflow.apache.org/。设计。

fact_worker_order：工单事务事实表。dim_oilstation：油站维度表。：统计不同维度下的运营主题指标。dim_date：时间维度表。

fact_call_service：呼叫中心事务事实表。fact_worker_order：工单事务事实表。fact_regular_exp：报销事务事实表。fact_srv_install：安装事务事实表。fact_trvl_exp：差旅事务事实表。dim_oilstation：油站维度表。dim_oilstation：油站维度表。：统计不同维度下的派单主题指标的结果。:统计不同维度下的费用主题指标的结果。dim_emporg：组织机构维度。dim_date：时间维度表。dim_date：时间维度表。

fact_srv_rtn_visit：回访事务事实表。fact_worker_order：工单事务事实表。需求：统计不同维度下的回访主题指标的结果。dim_oilstation：油站维度表。dim_emporg：组织机构维度。目标：实现回访主题表的维度指标构建。目标：掌握回访主题的需求分析。dim_date：时间维度表。客户维度：类型、省份。

fact_srv_stn_ma：网点物料事务事实表。fact_srv_install：安装事务事实表。fact_srv_repair：维修事务事实表。dim_oilstation：油站维度表。dim_oilstation：油站维度表。dim_logistics：物流维度表。：统计不同维度下的安装主题指标的结果。：统计不同维度下的维修主题指标的结果。dim_date：时间维度表。dim_date：时间维度表。：安装数量、支付金额。

fact_oil_station：油站事实表。dim_oilstation：油站维度表。：统计不同维度下的油站主题指标的结果。dim_date：时间维度表。：油站数量、新增油站数量。

按照一站制造的业务主题的划分需求，构建每个主题的ST层的数据。：对DWB层的主题事实数据关联DWS层的维度表进行最终聚合。：数据应用层，用于支撑对外所有主题的报表应用数据的结果。fact_call_service：呼叫中心事实表。fact_worker_order：工单事实表。DWS：维度表：时间、地区、油站、组织机构。dim_oilstation：油站维度表。：统计不同维度下的工单主题指标的结果。DWB：工单、呼叫中心、费用。dim_date：时间维度表。

ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表。ciss_service_travel_expense：差旅报销单信息表。ciss_service_trvl_exp_sum：差旅报销汇总信息表。ciss_service_trvl_exp_dtl：差旅费用明细表。：基于差率报销信息统计交通费用、住宿费用、油费金额等报销费用指标。ciss_material_wdwl_sqd：物料申请信息表。ciss_service_workorder：工单信息表。

基于客户回访数据统计工单满意数量、不满意数量、返修数量等指标。

基于维修信息数据统计维修设备个数、维修、更换、升级配件数量、工时费用、配件费用等指标。ciss_service_repair：维修信息表。

目标需求：基于设备安装信息统计安装设备个数、收费安装个数、审核安装个数等指标。ciss_service_install：安装单信息表。目标：掌握DWB层安装事实指标表的需求分析。目标：实现DWB层安装事实指标表的构建。

目标需求：基于工单信息统计等待分配工单数量、完成工单数量、处理工单数量、响应时长、服务时长等指标。ciss_service_workorder_back：回退工单信息表。ciss_service_workorder_user：工程师信息表。ciss_service_order_device：服务单设备信息表。ciss_service_trvl_exp_dtl：差旅费用信息表。ciss_service_workorder：工单详情事实表。ciss_service_order：服务单信息表。

基于油站信息及设备数据构建油站主题事实的油站个数、停用个数、新增个数、设备个数等。油站设备数量：得到这个油站的所有设备信息，按照油站id分组统计设备个数。历史记录表：oil_history：记录了当前所有油站的信息。今日新数据：oil_current：记录了今天所有油站的信息。已停用油站数量：停用状态，判断油站的状态是什么状态。油站数量：1个油站就是一条数据，这个值默认就为1。有效油站数量：使用状态，判断油站的状态是什么状态。当日新增油站：判断之前有没有这个油站。当日停用油站：判断当日状态。

基于基础的时间、受理方式、来电类型等事实维度统计工单数量、电话数量、回访数量、投诉数量等。构建数据字典表【每次都要两张表关联，比较麻烦，合并为一张表】（这个写法在时间处理上存在bug，注意floor函数）：字典状态明细表，记录所有具体的状态或者类别信息。：字典状态类别表，记录所有需要使用字典标记的表。：客服中心来电详情表。

主题周期快照事实表：数据应用层【ST：维度【DWS】 + 事实指标【DWB】】整体目标：构建数仓中的DWB：主题事务事实表。原始事务事实数据【DWD】：订单数据。主题事务事实数据【DWB】：订单主题。行政地区维度中有哪些核心字段？服务网点维度中有哪些核心字段？组织机构维度中有哪些核心字段？目标：回顾一站制造项目分层设计。重点内容：SQL以及数据关系。时间维度中有哪些核心字段？油站维度中有哪些核心字段？目标：掌握DWB层的设计。项目中有哪些核心维度？项目中有哪些主题域？

org_employee：员工信息表【员工id、员工编码、员工名称、用户系统id】org_position：岗位信息表【岗位id、岗位编码、岗位名称、部门id】org_organization：部门信息表【部门id、部门编码、部门名称】org_empposition：员工岗位信息表【员工id、岗位id】：实现组织机构维度表的构建，得到每个工程师对应的组织机构信息。使用如下写法会好一些。

org_employee：员工信息表【员工id、员工编码、员工名称、用户系统id】org_position：岗位信息表【岗位id、岗位编码、岗位名称、部门id】org_organization：部门信息表【部门id、部门编码、部门名称】org_empposition：员工岗位信息表【员工id、岗位id】：实现组织机构维度表的构建，得到每个工程师对应的组织机构信息。使用如下写法会好一些。

ciss_base_customer：客户信息表【客户id、客户省份名称、所属公司ID】：构建油站维度表，得到油站id、油站名称、油站所属的地理区域、所属公司、油站状态等。eos_dict_entry：字典状态明细表，记录所有具体的状态或者类别信息。ciss_base_baseinfo：客户公司信息表【公司ID、公司名称】eos_dict_type：字典状态类别表，记录所有需要使用字典标记的表。ciss_base_oilstation：油站信息表。ciss_base_areas：行政地区信息表。

目标：掌握一站制造业务维度设计实施小结实施小结

step3：通过游标来执行SQL语句：execute(String：SQL)：基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，如支付总金额。：基于原子指标添加了维度：近7天的支付总金额等。只要知道指标的计算方式，基于维度分组计算指标。ODS层与DWD层的功能与区别是什么？step1： 先构建服务端的远程连接。：面向业务将业务划分主题域及主题。：明确每个业务主题对应的维度关系。星座模型：基于星型模型的演变，：明确所有原生指标与衍生指标。ODS层的需求是什么？DWD层的需求是什么？

将ODS层中每张表的数据抽取到DWD层对应的数据表中。

问题5：Oracle中的字段类型如果与Hive中的类型不一致怎么办？step1：DWD层的数据库名称是什么，建库的语法是什么？：将ODS层中的每一张表创建一张对应的DWD层的表。DWD层建表：自己指定每个字段的Schema建表。step2：建表的语句是什么，哪些是动态变化的？step3：如何自动化实现每个表的分区的申明？step2：如何实现DWD层数据库的构建？：将ODS层的数据表直接加载到DWD层。问题2：表的名称名是什么，怎么获取？step4：HDFS上的路径是什么？：理解ODS层与DWD层的区别。

了解整个自动化代码的项目结构及实现配置修改​：用于实现ODS层与DWD层的建库建表的代码fileformatentityColumnMeta.py：Oracle列的信息对象：用于将列的名称、类型、注释进行封装FileUtil.py：用于读写文件，获取所有Oracle表的名称ConfigLoader.py：用于加载配置文件，获取配置文件信息OracleMetaUtil.py：用于获取Oracle中表的信息：表名、字段名、类型、注释等：程序运行入口，核心调度运行的程序。

问题：所有的操作是Sqoop、HDFS等命令操作，如何能通过Python代码控制？–outdir：Sqoop解析出来的MR的Java程序等输出文件输出的文件。：实现自动化将多张Oracle中的数据表全量或者增量采集同步到HDFS中。解决：本质上是使用Python执行了Linux的Shell命令来实现的。需求：将每张表的Schema进行上传到HDFS上，归档并且备份。：将所有需要将实现全量采集的表进行全量采集存储到HDFS上。：将所有需要将实现全量采集的表进行增量采集存储到HDFS上。

将已经采集同步成功的101张表的数据加载到Hive的ODS层数据表中。获取表的Schema：HDFS上的Avro文件的Schema文件地址。获取表的Schema：HDFS上的Avro文件的Schema文件地址。step3：从提供的代码中复制fileformat等文件直接粘贴到。：加载Sqoop生成的Avro的Schema文件，实现自动化建表。DW归档目录**：将提供的代码中的dw目录直接粘贴到项目中。获取表的文件：HDFS上AVRO文件的地址。获取表的文件：HDFS上AVRO文件的地址。