夏天又到了的专栏

具体操作如下：选择“销售记录”表，然后在“开始”功能区选项卡中单击“合并查询”，在“要合并的表”下拉列表中选择“产品分类表”，并选择这两张表都具有的相同字段“产品名称”，如图3-38所示。具体操作为：选中“月份”这一列，单击“转换”功能区选项卡中的“透视列”，将“销售金额”设置为值列，并选择“求和”作为聚合值函数，如图3-43所示。由于我们只想将“销售记录”表加载到模型中，可以在“二店”表和“产品分类”表的属性中取消勾选“启用加载到报表”复选框，这样只有“销售记录表”会被加载到模型中，如图3-49所示。

统计学是对数据的数学研究，除非有数据，否则无法进行统计。数据挖掘中的数据分析是针对海量数据进行的，从某种意义来说，机器学习的科学成分更重一些，而数据挖掘的技术成分更重一些。这种看法存在偏差，因为数据挖掘还应用了其他领域的思维、工具和算法，尤其是计算机科学技术，例如数据库技术和机器学习，而且数据挖掘关注的某些领域和统计学家关注的有很大差别。大数据分析是指对无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的海量、高增长率和多样化的数据集合，采用新的处理模式以获得更强的决策力、洞察力和流程优化能力。

这里发现，1月份显示的数据是所有1月份的销售金额合计。订单表通过日期表的“年度”字段、客户城市表的“城市”字段以及产品表中的“产品类别”字段共同筛选，最终汇总得出计算结果。因此，在右侧的“可视化效果”窗格中，选择“卡片图”，如图2-38所示。可以通过单击“管理关系”，或者将一个表的字段拖曳到另一个表的对应字段上，来建立表之间的关系。在报表视图的画布上添加矩阵可视化图表，再把日期表的“月份”放入“行”，度量值“销售金额”“本年累计销售额”“上年累计销售额、累计同比增长率”放入“值”即可，如图2-39所示。

基于之前创建的度量值等，我们可以通过创建不同的图形，形成一个完整的可视化报表。如果我们想分析各个国家/区域的客单价排名情况，可以选择可视化图表“条形图”，将ShipCountry字段拖入“Y轴”框，将度量值AvgPrice拖入“X轴”框，即可展示各个国家/区域的客单价排名情况，如图2-32所示。如果我们想直观地获取各个国家/区域的销售额占比，选择可视化图表“饼图”，将ShipCountry拖入“图例”框，将度量值TotalSales拖入“值”框，即可展示各个国家/区域销售额占比情况，如图2-33所示。

打开Power BI Desktop桌面应用软件，它的主界面非常简洁。顶部是主菜单，打开“开始”菜单，通过“获取数据”创建数据连接。Power BI Desktop中有4种视图：报表视图、表格视图（即数据视图）、模型视图和DAX查询视图（DAX可以认为是数据分析师的查询语言）。通过选择左侧导航栏中的图标，可在报表视图、表格视图、模型视图、DAX查询视图之间进行切换；右侧是可视化功能区和字段功能区，用于设计报表的UI界面，通过拖曳字段即可配置图表；

数据网关的作用类似于桥梁，解决了本地数据源自动刷新到Power BI门户的问题，实现了本地数据与Power BI Service之间快速且安全的数据传输。然而，与这种相对“过时”的方法相比，Power BI Service的云服务架构能够让不精通技术的业务人员在短时间内快速上手，而无须依赖IT部门进行复杂的部署。一般来说，Power BI的部署环境有两种选择方案：一是Azure提供的公有云服务（Power BI Service），二是本地部署的报表服务器（Power BI Report Server）。

像Power BI这样的工具，能够将复杂的数据转换为直观的图表，帮助医护人员快速作出决策，优化资源配置，并提升患者的满意度。它精细剖析了微软Power BI的各个环节，从桌面操作到云端协作，从数据整理、数据建模到惊艳的可视化呈现，搭配行业实战演练，实战性十足，助力广大读者成为数据时代的掌舵人。它能帮助你开启数据宝库，将杂乱无章的数据雕琢成决策的瑰宝。本书是一本不可多得的实用手册，它不仅为读者提供了Power BI的全面概览，还通过多个行业的实战案例，展示了如何利用这款强大的工具实现卓越的数据可视化和分析。

Power BI是微软推出的一款商业智能（BI）工具，旨在帮助企业和用户通过数据分析和可视化来作出数据驱动的决策。它提供了丰富的数据连接、数据处理、数据建模和数据可视化功能，目前已经成为职场人士的必备技能。《Power BI数据分析与可视化实践》聚焦Power BI数据分析与可视化，助力读者掌握微软Power BI工具。本书配套实例源文件、PPT课件与作者微信群答疑服务。

Python大数据分析师的算法手册》系统阐述大数据分析方法中的关键算法与实践，重点聚焦数据特征分析及第三方开源库的场景化应用。通过工具整合与实例讲解，为读者提供从理论到实践的完整学习路径。本书配套示例源码、PPT课件。《Python大数据分析师的算法手册》共9章。第1章概述大数据分析；第2章讲解数据特征算法分析；第3~7章讲解主流开源的分析工具的用法，包括NumPy、SciPy、Matplotlib、Pandas、StatsModels、Gensim等；

本节将对RDD的基本概念、特点、分类、使用方法进行详细讲解。RDD作为Spark的核心数据结构，承载着弹性分布式数据集的特性。本节将深入探讨RDD的特点、算子的精细分类以及多样化的创建方法，为Spark数据处理奠定坚实基础。

DAG中的节点代表RDD（Resilient Distributed Dataset，弹性分布式数据集）的转换操作（如map、filter、reduce等），DAG中，边是连接节点的线条，用于表示节点之间的关系。在Spark的Standalone集群管理模式中，Master是一个关键的组件，它负责接收来自客户端的Spark作业请求，管理集群中的Worker节点，以及进行资源分配和作业调度。每个TaskSet中的任务是并行执行的，每个任务对应着RDD中的一个分区的数据处理。

本书在培训机构的教学实践中历时8年锤炼而成，以简明清晰且易于理解的方式，全面覆盖Spark集群构建、Spark Core、Spark SQL、Spark应用案例以及面试问答。为增强读者的学习体验，本书配套丰富的电子资源，包括示例源码、PPT教学课件、集群环境、教学视频以及作者微信群答疑服务。

#好书推荐##好书奇遇季#《Spark 3.0大数据分析与挖掘：基于机器学习》，京东当当天猫都有发售。Spark作为新兴的、应用范围广泛的大数据处理开源框架，吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发，其中ML是Spark 3.0机器学习框架使用的核心。本书用于Spark 3.0 ML大数据分析与挖掘入门，本书配套示例源码、PPT课件、数据集与答疑服务。本书内容本书共分13章，从Spark 3.0大数据分析概述、基础安装和配置开始，依次介绍ML的DataFrame、ML的基

《Hadoop+Spark生态系统操作与实战指南》内容简介本书用于Hadoop+Spark快速上手，本书全面解析Hadoop和Spark生态系统，通过原理解说和实例操作每一个组件，让读者能够轻松跨入大数据分析与开发的大门。全书共12章，大致分为3个部分，第1部分（第1~7章）讲解了Hadoop的原生态组件，包括Hadoop、ZooKeeper、HBase、Hive环

第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。《R语言医学数据分析实践》共分为12章，内容包括R语言介绍、R语言基本语法、R语言数据清洗、R语言数据可视化、R语言统计建模分析方法、R语言机器学习实战入门、列线图在预测模型中的应用、临床数据挖掘中的生存分析、NHANES 数据库挖掘实战、GEO数据库挖掘实战、孟德尔随机化分析实战、单细胞测序实战。

DML（Data Manipulation Language，数据操作语言）操作主要用来对数据进行插入、更新和删除操作。本节主要介绍Spark SQL中的DML操作。Spark SQL提供了一个命令行工具，可以让用户直接通过命令行运行SQL查询。Spark SQL可以兼容Hive，以便Spark SQL支持Hive表访问、UDF（用户自定义函数）以及Hive查询语言（HiveQL/HQL）。

Spark SQL支持通过DataFrame接口对各种数据源进行操作。DataFrame既可用于关系转换操作（指的是map、filter这样的DataFrame转换算子操作，同RDD的转换操作一样是惰性求值），也可用于创建临时视图，即将DataFrame注册为临时视图，进而对数据运行SQL查询。本节介绍使用Spark SQL数据源加载和保存数据的一般方法。

由于Spark SQL的基础语法及常见操作是通过Spark SQL CLI命令行进行的，该工具可以用来在本地模式下运行Hive的元数据服务，并且通过命令行执行针对Hive的SQL查询。这个效率比较低，尽量不要使用INSERT语句写入数据，而是采用Hive分析现有的数据。由以上运行结果可见，Hive分析的数据是存储在HDFS上的，HDFS不支持随机写，只支持追加写，所以在Hive中不能使用UPDATE和DELETE语句，只能使用SELECT和INSERT语句。然后使用hive脚本，登录Hive命令行界面。

的创建及其处理过程。本节所有实战均在Spark Shell命令行方式下进行。Spark Shell是Spark提供的一个交互式分析工具，用于快速开发和调试Spark应用程序。它是一个集成了Scala解释器的交互式环境，允许用户直接在Shell中执行Spark操作，无须编写完整的Spark应用程序。Spark Shell提供了许多内置的函数和变量，例如SparkContext和SparkSession对象，这些对象在启动Spark Shell时会自动创建。

前置环境安装参看此博文完全分布模式也叫集群模式。将Spark目录文件分发到其他主机并配置workers节点，即可快速配置Spark集群（需要先安装好JDK并配置好从Master到Worker的SSH信任）。

前置环境安装参看此博文伪分布模式也是在一台主机上运行，我们直接使用2.2节配置好的CentOS7-201虚拟机。伪分布模式需要启动Spark的两个进程，分别是Master和Worker。启动后，可以通过8080端口查看Spark的运行状态。伪分布模式安装需要修改一个配置文件SPARK_HOME/conf/workers，添加一个worker节点，然后通过SPARK_HOME/sbin目录下的start-all.sh启动Spark集群。

这本书已经公开发行。读者只要在本帖评论区简单评论一下本书内容，博主将按评论时间先后，送出3本书，送满为止。为了提高朋友们对优快云博客的认同感，本博主免费赠送读者3本书，书名为《Spark SQL大数据分析快速上手》。

前置环境安装参看此博文。

本节主要介绍如何使用DataFrame进行编程。在旧版本中，Spark SQL提供两种SQL查询起始点：一个叫作SQLContext，用于Spark自己提供的SQL查询；一个叫作HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合。因此，在SQLContext和HiveContext上可用的API，在SparkSession上同样可以使用。

本文介绍Hadoop完全分布式环境搭建方法，这个Hadoop环境用于安装配置Spark。假设读者已经安装好Visual Box 7.0.6虚拟环境与一个CentOS 7虚拟机（如果熟悉这两个步骤不，可以反馈给博主，博主将另外上个博文讲解）。下面直接从Linux的统一配置开始讲解。

Spark SQL大数据分析快速上手》内容基于Spark新版本展开，符合企业目前开发需要。《Spark SQL大数据分析快速上手》全面讲解Spark SQL相关知识和实战应用，各章均提供较为丰富的案例及其详细的操作步骤，并配套示例源码、数据集、PPT课件和教学大纲。《Spark SQL大数据分析快速上手》共10章。第1～3章为Spark SQL的基础准备部分，内容包括Spark SQL的发展和简介、Spark的典型数据容器及关系、Spark概述与环境搭建、Spark典型数据结构RDD；

这些数据可能是由企业自身产生的，也可能是从外部获取的（如社交媒体、第三方数据提供商、网络爬虫等），而且这些数据的格式多样，可能是结构化数据、半结构化数据或者非结构化数据，如图1-1所示。（2）第2~8章，主要介绍大数据时代数据资产管理包含的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等，全面介绍数据资产管理底层所涉及的核心技术。（1）第1章，主要让读者认识数据资产，了解数据资产相关的基础概念及其发展情况。

数据资产管理核心技术与应用》深入探讨数据资产管理的核心技术与应用，融入作者在大数据领域多年的丰富经验。《数据资产管理核心技术与应用》为读者提供一套可以落地的数据资产管理框架，并详解两个基于该框架进行数据资产管理的应用案例，使读者能更好地了解数据资产管理底层所涉及的众多核心技术，让数据可以发挥出更大的价值。本书配套PPT课件、示例源代码、作者微信群答疑服务。全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。

Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转换、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive能将结构化的数据文件映射为一张数据库表，并能提供SQL查询分析功能，将SQL语句转换成MapReduce任务来执行，从而实现对数据进行分析的目的。本书配套示例源码、PPT课件、教学大纲。

本书基于Spark 3.3.1框架展开，系统介绍Spark生态系统各组件的操作，以及相应的大数据分析方法。本书各章节均提供丰富的示例及其详细的操作步骤，并配套示例源码、PPT课件和教学大纲。本书共分11章，内容包括Scala编程基础、Spark框架全生态体验、Spark RDD、Spark SQL、Kafka、Spark Streaming、Spark ML、Spark GraphX、Redis等技术框架和应用，并通过广告点击实时大数据分析和电影影评大数据分析两个综合项目进行实战提升。

Spark作为新兴的、应用范围广泛的大数据处理开源框架，吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发，其中ML是Spark 3.0机器学习框架使用的核心。本书用于Spark 3.0 ML大数据分析与挖掘入门，配套示例源码、PPT课件、数据集、思维导图、开发环境和作者答疑服务。

本书定位是HBase从入门到应用的简明教程，特色是以实战案例为主，内容系统全面，讲解深入浅出，操作步骤清晰明了。本书配套示例源码、PPT课件、开发环境、教学视频、习题及答案以及其他丰富的教学资源。本书共分为8章，内容包括NoSQL数据库、HBase体系架构、HBase的接口、MapReduce与HBase、HBase表设计、HBase和Hive、HBase深入剖析、论坛日志分析实战。陈建平，福州德明科技有限公司，大数据专家讲师。2006年从事大数据相关的工作，2010年开始从事大数据培训工作。