zy1992As的博客

引号里的字符串就是一个单纯的字符串，没有任何含义，例如定义变量NUM=100，在输出变量时需要添加$符号，如果这个变量加上单引号输出，则直接将$符号与变量整体作为一个字符串输出，命令如下所示。”连接符间隔的命令，会按照先后次序依次执行。通配符“[]”表示与[]中的任一字符匹配，它通常是一个范围，例如，在/etc目录，列出以f~h范围的字母开头，并以.conf结尾的文件，可以使用如下命令。使用“||”连接符连接的命令，其前后命令的执行遵循逻辑或关系，只有该连接符之前的命令执行失败时，它后面的命令才会执行。

上述代码中，'ProxyPool'类用于管理代理IP列表，其中的'fetch_proxy_list'方法用于从代理网站获取代理IP列表，'get_proxy'方法用于随机选择一个代理IP，'remove_proxy'方法用于从列表中移除当前使用的代理IP，'has_proxies'方法用于检查代理列表是否还有可用的代理IP。然后，通过循环遍历代理列表，每次从代理池中获取一个代理IP，并将其添加到请求的'proxies'参数中，发送请求。如果请求成功，就从代理池中移除该代理IP;

Kafka中的Rebalance称之为再均衡，是Kafka中确保Consumer group下所有的consumer如何达成一致，分配订阅的topic的每个分区的机制。2. Rebalance过程会对consumer group产生非常严重的影响，Rebalance的过程中所有的消费者都将停止工作，直到Rebalance完成。1.发生Rebalance时，consumer group下的所有consumer都会协调在一起共同参与，Kafka使用分配策略尽可能达到最公平的分配。

数字类型不仅可以参与简单的加减乘除等基本运算，还可以参与更加复杂的数学运算，比如求弦、求根、求对数等，在Python程序中实现这些运算需要用到Python的一个数学模块——math。math模块提供了几个数学常量和众多数学函数，接下来将带领大家从这两方面认识一下math模块。在众多数字运算中都会用到一些特别的常数，例如，圆周率m、自然对数的底e等。math模块提供了4个常数：pi、e、inf、nan，它们对应的数学符号和表示的含义如表1所示。表1math常数。

最后，我们使用for循环遍历批处理任务列表，并逐个调用perform_batch_task函数来执行每个任务。在本例中，执行任务的操作仅打印任务名称，你可以根据实际需求进行修改。在上面的示例中，我们首先定义了一个名为perform_batch_task的函数，它接受一个任务作为参数，并在函数体内执行该任务。这里的任务执行代码仅打印任务名称。在编程中，"Statement"(语句)是指一组指令或操作，用于执行特定任务。然后，我们创建了一个批处理任务列表batch_tasks，其中包含了多个任务。

TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件(如LVS、HAProxy 或 F5)对外提供统一的接入地址。它结合云原生社区的容器编排最佳实践与 TiDB 的专业运维知识，集成一键部署、多集群混部、自动运维、故障自愈等能力，极大地降低了用户使用和管理 TiDB 的门槛与成本。

RDD的数据是过程数据，只在处理的过程中存在，一旦处理完成，就不见了。上述的场景，肯定要执行优化，优化就是：RDD3如果不消失，那么RDD1→RDD2→RDD3这个链条就不会执行2次，或者更多次RDD的缓存技术：Spark提供了缓存API，可以让我们通过调用APl，将指定的RDD数据保留在内存或者硬盘上缓存的API。例如上图，rd3被2次使用，第一次使用之后，其实RDD3就不存在了.第二次用的时候，只能基于RDD的血缘关系，从RDD1重新执行，构建出来RDD3，供RDD5使用。

Hadoop需要Kerberos来进行认证，以启动服务来说，在后面配置 hadoop 的时候我们会给 对应服务指定一个Kerberos的账户，比如 namenode 运行在cdh0机器上，我们可能将 namenode 指定给了 nn/cdh0.itcast.cn@ITCAST.CN 这个账户， 那么 想要启动 namenode 就必须认证 这个账户才可以。1. 在每个节点执行 mkdir /etc/security/keytabs。2. 配置cdh0上面运行的服务对应的Kerberos账户。

是否支持重复元素，是否可以修改，是否有序，等分为5类，分别是：列表(list)、元组(tuple)、字符串(str)、集合(set)、字典(dict)，从列表中取出特定位置的数据，可以依靠列表的下标索引实现，具体如下。Python中的数据容器：一种可以容纳多份数据的数据类型，容纳的每一份数据称之为1个元素每一个元素，可以是任意类型的数据，如字符串、数字、布尔等。如图，列表中的每一个元素，都有其位置下标索引，从前向后的方向，从0开始，依次递增我们只需要按照下标索引，即可取得对应位置的元素。

上述代码中，word_count函数接受一个文本字符串作为参数，并返回一个字典，其中键是每个单词，值是对应的出现次数。在函数内部，首先将文本转换为小写，并将标点符号替换为空格，以便正确地分割单词。然后，使用split方法将文本分割成单词列表。接下来，通过遍历单词列表，统计每个单词的出现次数，并将结果存储在word_count字典中。WordCount是一种常见的文本处理任务，用于计算给定文本中单词的数量。我们可以根据需要进一步处理这个字典，例如按照出现次数进行排序或输出频率最高的单词。

通过元类，可以在类创建过程中动态地修改类的属性、方法或者添加新的属性和方法。通过定义元类，我们可以自定义类的创建方式，例如修改类的属性、方法，验证类的定义是否符合要求，甚至可以动态地创建类。通过定义元类，可以根据数据库表结构动态地创建对应的类，并且在类中自动添加属性和方法来实现数据库操作。通过定义元类，可以对类的属性和方法进行类型检查，确保它们符合特定的规范。元类可以控制类的创建过程，使得每次创建类的时候都返回同一个实例。在Python中，metaclass(元类)是用于创建类的类。

在上面的代码中，我们首先创建了一个SparkSession对象，并指定了应用程序的名称和Standalone主节点的地址。它与主节点进程通信，请求资源并提交任务，然后接收和处理来自工作节点的执行结果。主节点进程还负责维护集群的状态信息，包括可用的资源和工作节点的健康状况。2.工作节点进程(Worker Process)：工作节点进程运行在集群中的每个工作节点上。它们接收主节点进程分配的任务，并在本地执行这些任务。需要注意的是，我们需要将'主节点地址'替换为我们实际使用的Standalone主节点的地址。

什么是数据?这个问题看似简单其实并不好回答。通常来说，数据可以理解为“观测值”，是通过观察结果、实验或测量的方式获得的结果，通常是以数量的形式来展现。但是，数据不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。这样一来，数据的范畴就要大得多了，绝不仅局限于数字。如图1-3所示即数据的真实体现。

在Hive中，Serde(序列化/反序列化器)用于将数据在Hive表和存储格式之间进行序列化和反序列化。

需要说明的是，数据清理、数据集成、数据变换、数据规约都是数据预处理的主要步骤,它们没有严格意义上的先后顺序，在实际应用时并非全部会被使用，具体要视业务需求而定。该步骤会通过一系列的方法对“脏”数据进行处理，包括删除重复数据、填充缺失数据、检测异常数据等，以达到清除冗余数据、规范数据、纠正错误数据的目的。数据预处理针对各种数据问题提供了相应的解决方法，并将这些方法按照不同的功能划分到处理过程中的每个步骤，以逐步实现提高数据质量、整合多源数据、调整数据形式、保留重要数据的目标。数据变换的示意图如下 所示。

由于缺乏或者不准确的数据统计信息(元数据)和对成本的错误估算(执行计划调度)导致生成的初始执行计划不理想在Spark3.x版本提供Adaptive Query Execution自适应查询技术通过在”运行时”对查询执行计划进行优化, 允许Planner在运行时执行可选计划,这些可选计划将会基于运行时数据统计进行动态优化, 从而提高性能。可以动态调整shuffle分区的数量。用户可以在开始时设置相对较多的shuffle分区数，AQE会在运行时将相邻的小分区合并为较大的分区。• 动态调整Join策略。

比如Hive官方文档中，针对聚合函数的标准就是内置的UDAF类型。内置函数(build-in)指的是Hive开发实现好，直接可以使用的函数,也叫做内建函数。内置函数根据应用归类整体可以分为8大种类型，我们将列举其中重要的，使用频率高的函数的进行详细讲解。UDF分类标准可以扩大到Hive的所有函数中：包括内置函数和用户自定义函数。内置函数可分为：数值类型函数、日期类型函数、字符串类型函数、集合函数、条件函数等;UDF(User-Defined-Function)普通函数，一进一出。

numpy中包含一个N维数组对象，即ndarray对象，该对象具有矢量算术能力和复杂的广播能力，常用于科学计算。创建ndarray对象的方式有很多种，关于这些函数的说明如表所示。通过 arange()函数可以创建一个等差数组，它的功能类似于 range()函数，但是range()函数返回的结果是数组而非列表。当使用print()函数打印二维数组时，numpy会以类似于嵌套列表的形式显示不同维度的数组打印方式有所不同，一维数组按行打印，二维数组打印为矩阵，三维数组打印为矩阵列表，且矩阵列表具有以下布局。

以EApython目录为例，在该目录下打开命令提示符窗口，输入Jupyter的启动命令并执行，浏览器中呈现的Jupyter主界面如图。使用组合键Ctrl+S(或修改文件页面的文件名)可以将当前页面中编辑的代码和代码的运行结果保在以.ipynb为扩展名的文件中，保存后的文件将会出现在Jupyter 主界面的文件列表中，单击列表中的文件，可在浏览器中打开并继续使用该文件。单击图1-6中文件列表右上方的“New”，在弹出的下拉列表中选择“Python 3”，直接创建一个Python文件。2.使用Jupyter。

词法分析程序逐个读取源代码中的字符产生助记符表，例如逐个读取的5个字符w、h、i、l、e会被作为助记符while放人助记符表，x、a等无法串成字符串的字符也会被视为由单个字符构成的助记符放入助记符表。编译执行是指通过编译程序(也称为编译器)将源代码(source code)一次性编译成目标程序(object code)，再由计算机运行目标程序的过程，其中源代码指由高级语言编写的代码。如果使用解释器，可以直接运行这段Python代码，解释器会逐行解释并将其转换为机器语言代码，并直接在计算机上运行程序。

而基于主题组织的数据则不同，它们被划分为各自独立的领域，每个领域有各自的逻辑内涵但互不交叉，在抽象层次上对数据进行完整、一致和准确的描述。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，数据仓库的用户对数据的操作大多是数据查询或比较复杂的挖掘，一旦数据进入数据仓库以后，一般情况下被较长时间保留。数据仓库是分析数据的平台，而不是创造数据的平台。进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成，但许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。

HBase中的表包含列族，其列限定符包含值和时间戳。在大多数 HappyBase API 中，列族和限定符名称被指定为单个字符串，例如cf1:col1，而不是作为两个单独的参数。虽然列族和限定符在 HBase 数据模型中是不同的概念，但它们在与数据交互时几乎总是一起使用，因此将它们视为单个字符串会使 API 变得更简单。要检索给定行的列的所有版本，可以使用 Table.cells()。如果您事先知道需要哪些列，则可以通过将这些列明确指定给 Table.row() 和 Table.rows() 来提高性能。

业务层DWS（Data WareHouse Service）：存储宽表数据，此层数据是针对某个业务领域的聚合数据，业务层的数据通常来源与此层，为什么叫宽表，主要是为了业务层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。下面详细介绍这三层的设计。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。中间层DWM（Data WareHouse Middle）：存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。

Spark Streaming支持从多种数据源获取数据,其中就包括 Kafka，要想从 数据源获取数据，首先要建立两者之间的连接，本节来介绍两种连接Kafka的方式。

大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合;是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

因为上面提到的这种关系，并不像匀速直线运动中时间与速度的关系那样是完全确定的，而是带有不确定性，这就需要通过收集大量的数据(有时候通过调查、或实验)，在对数据进行统计分析的基础上，发现其中的规律，才能让他们之间的关系做出判断。当你拿到这样一个任务的时候，你可能会采用测量的做法，先画出一条直线，测量各点与它的距离，然后移动直线，到达一个使得距离的和最小的位置，测量出此时的斜率和截距，既可以得到回归方程了。接下来，需要进一步考虑的问题是，当人的年龄增加时，体内脂肪含量到底是以什么方式增加的呢?

生成式模型是所有变量的全概率模型，因此可以生成所有变量的值。判别式模型符合传统的模型分类思想，认为y(状态序列)由x(观测序列)决定，直接对后验概率p(y|x)进行建模，它从x中提取特征，学习模型参数，使得条件概率符合一定形式的最优。生成式模型(或称产生式模型)与区分式模型(或称判别式模型)的本质区别在于模型中观测序列x和状态序列y之间的决定关系，前者假设y决定x，后者假设x决定y。根据图模型的边是否有向，概率图模型通常被划分为有向概率图模型和无向概率图模型，概率图模型可以表示如下所示的树形结构。

1. 上传源码包到/usr/local/java/ -- 解压 -- /usr/local/java/jdk1.8.0_2212. 配置环境变量 vim /etc/profile3. 刷新4. 验证1. 上传源码包到/usr/local/tamcat/ -- 解压 -- /usr/local/tamcat/apache-tomcat-8.5.462. 配置环境变量 vim /etc/profile3. 刷新4. 启动5. 关闭。

也就是说，buffer和reduce是没有直接关联的，中间多一个写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得buffer中的一部分数据可以直接输送到reduce，从而减少IO开销。在执行MapReduce任务前，将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载的次数，而任务的装载比较耗时，从而导致MapReduce运行速度较慢。我们在上面提到的属性参数，都是位于mapred-default.xml文件中，这些属性参数的调优方式如表2所示。

其中，条件分支语句有if语句、if...else语句、if...else if...else语句以及if...else嵌套语句;do...while循环语句与while语句主要区别是，do...while语句的循环语句至少执行一次。Scala中的for循环语句和Java中的for循环语句在语法上有较大的区别，对于Java的for循环，大家都应该很清楚了，这里就不作赘述。Scala中的while循环语句和Java中的完全一样，只要表达式为true，循环体就会重复执行。

在Python程序中，每个.py文件都可以视为一个模块，通过在当前.py文件中导入其它.py文件，可以使用被导入文件中定义的内容，例如类、变量、函数等。Python模块的导入方式分为使用import导入和使用from...import...导入两种，具体介绍如下。(1)内置模块是Python内置标准库中的模块，也是Python的官方模块，可直接导入程序供开发人员使用。Python中的模块可分为三类，分别是内置模块、第三方模块和自定义模块，相关介绍如下。后续可直接通过模块的别名使用模块中的内容。

上述代码中，执行words.reduceByKey((a，b) => a + b)操作，共分为两个步骤，分别是先执行reduceByKey()操作，将所有Key相同的Value值合并到一起，生成一个新的键值对(例如(“spark”，(1，1，1)));例如，(“spark”，1)、(“spark”，1)、(“spark”，1)这三个键值对的Key都是“spark”，合并后得到新的键值对(“spark”，(1，1，1))。filter(func)操作会筛选出满足函数func的元素，并返回一个新的数据集。

工作原理：插入排序算法将输入列表视为已排序的子列表和未排序的子列表，每次从未排序的子列表中取出一个元素，将其插入到已排序的子列表的正确位置中。该算法将输入列表视为已排序的子列表和未排序的子列表，每次从未排序的子列表中取出一个元素，将其插入到已排序的子列表的正确位置中。如果 key 小于 arr[j]，则将 arr[j] 向右移动一位，即 arr[j + 1] = arr[j]，然后将 j 减 1。5.将 key 插入到已排序的子列表的正确位置中，即 arr[j + 1] = key。

args和**kwargs都适用于函数的定义的。在日常工作中，如果我们不确定函数的参数时候，就可以使用*args和**kwargs去把不定数量的参数传递给一个函数。**kwargs存储可变的关键字参数，允许使用没有事先定义的参数名，将接收到任意多个关键字参数作为字典传递给函数。需要注意的是，参数arg、*args、**kwargs三个参数的位置是确定的。这里需要强调的是，函数的参数的顺序：*args必须在**kwargs前面，调用函数传递参数也必须依照这个顺序。(2)**kwargs示例。

上述代码中的匹配模式“[a-z]+”表示匹配最少匹配一次小写英文字母，当设置flags参数为re.I后该匹配模式便会忽略英文字母的大小写，匹配结果将会包含字符串words中的所有英文字母。上述格式中的参数pattern表示一个正则表达式，参数flags用于指定正则匹配的模式，该参数的常用取值如表1所示。以上第2行代码中，通过compile()函数将正则的匹配模式“\d”预编译为正则对象regex_obj。以上示例中的findall()函数用于获取目标文本中所有符合条件的内容。表11-1 常用的匹配模式。

每个窗口都有属于自己的最大等待延迟数据的时间限制，窗口结束时间+延迟时间=最大waterMark值，即当waterMark值大于的上述计算出的最大waterMark值，该窗口内的数据就属于迟到的数据，无法参与window计算。这里的延迟3.5s是我们假设一个数据到达的时候，比他早3.5s的数据肯定也都到达了，这个是需要根据经验推算的，加入D到达以后有到达了一个E,event-time=6，但是由于0~10的时间窗口已经开始计算了，所以E就丢了。触发计算的时候，会将AC（因为他们都小于10）都计算进去。

4.MemStore中存储的是用户写入的数据，一旦MemStore存储达到阈值时，里面存储的数据就会被刷新到新生成的StoreFile中(底层是HFile)，该文件是以HFile的格式存储到HDFS上，具体如图4所示。2.每个Region存储的数据是有限的，如果当Region增大到一个阀值(128)时，会被等分切成两个新的Region，切分方式如图2所示。1.HBase表的数据按照行键RowKey的字典序进行排列，并且切分多个HRegion存储，存储方式如图1所示。​ 图1 Region在行方向上的存储。

搜索引擎的热门搜索排行榜功能你用过吗?你知道这个功能是如何实现的吗?实际上，它的实现并不复杂。搜索引擎每天会接收大量的用户搜索请求，它会把这些用户输入的搜索关键词记录下来，然后再离线地统计分析，得到最热门的 Top 10 搜索关键词。那请你思考下，假设现在我们有一个包含 10 亿个搜索关键词的日志文件，如何能快速获取到热门榜 Top 10 的搜索关键词呢?这个问题就可以用堆来解决，这也是堆这种数据结构一个非常典型的应用。上一节我们讲了堆和堆排序的一些理论知识，今天我们就来讲一讲，堆这种数据结构几个非常重要的

HBase Shell提供了大量的操作HBase的命令，通过Shell命令可以很方便地操作HBase数据库，例如创建、删除及修改表、向表中添加数据、列出表中的相关信息等操作。进入HBase Shell交互界面后，可以通过一系列Shell命令操作HBase，接下来，通过一张表列举一些操作HBase表常见的Shell命令，具体如表1所示。上述的代码中，首先使用“disable”让student表变为禁用状态，然后进行删除操作。上述代码中，“[ ]”表示数据库已经为空，说明student表已经被删除。

而Spark每次MapReduce操作是基于线程的，只在启动Executor时启动一次JVM，内存的Task操作是在线程复用的。如果操作复杂，很多的shufle操作，那么Hadoop的读写IO时间会大大增加。Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。公司在技术人员储备满足的情况下，同样的业务处理，优先选择spark来进行实现，这样对统计分析的执行效率会有很大的提升。