Dxm234的博客

统计学.机器学习.深度学习个人理解

Dxm234 — Wed, 03 Nov 2021 19:32:50 +0800

<1>统计学 1.定义：统计学是通过搜索，整理，分析数据，推断所测对象的本质。 2.应用范围：涵盖了社会科学和自然科学的各个领域。 3.统计方法：对资料进行模型数据化例如：Fisher最小显著查依法，学生t检验，回归分析，相关性，卡方分布等 <2>机器学习 1.定义：近代兴起的多交叉领域学科，涉及概率论，统计学等多门学科，机器学习主要是设计一些机器可以使用的算法，对未知数据进行预测。 2.作用：提高机器的先进性，更好为人服务 3.应用范围:数据挖掘，计算机视觉，，自然语

数据挖掘个人理解

Dxm234 — Wed, 03 Nov 2021 19:26:46 +0800

<1>数据挖掘：1.通过对大量数据进行分析，从大量数据中发现一些客观规律，结论。 2.主要有数据准备，规律寻找，规律表示3大步 3.步骤：采集数据，采集相关技术，整合检查数据，去除错误数据，建立合适模型进行数据分析，进行数据挖掘工作，测试和验证挖掘结果，找到规律进行结果分析，实际运用。 4.分析数据常用方法：分类，回归分析，聚类，关联规则，神经网络方法，Web数据挖掘 5.常用工具：一般分析用的软件包（K-Miner，TipDm，GDM)，针对特定功能或产业研发的软件（KD1)，整合DS

节点距离计算

Dxm234 — Mon, 01 Nov 2021 23:29:44 +0800

1.Distance(dl/rl/n0,/dl/rl/n0)=0(同一点上的进程） 2.Distance(dl/r2/n0,dl/r3/n2)=4(同一数据中心不同机架上的节点） 3.Distance(dl/rl/n1,/dl/rl/n2)=2(同一机架上的不同节点） 4.Distance(/dl/r2/n1,/d2/r4/n1)=6(不同数据中心的节点）注：名称节点会选择与最近的一个数进行计算 ...

YARN的工作机制

Dxm234 — Mon, 01 Nov 2021 23:01:08 +0800

<1>主要作用：强化控制和使用资源管理功能。 <2>工作机制：1.MapReduce提交到客户端所在节点 2.客户端向资源管理器提交申请，在将应用程序返回给客户端，将运行资源提交到HDFS上，提交完毕后申请运行。 3.RM将用户的请求转换为任务，其中的一个名称节点领取到任务，这个名称节点建立容器。产生MRAppmaster 4.容器从HDFS上复制资源. 5.RM将任务平均分配给其他节点，并创建容器，MR在发送程序，继续进行。 6.将所有任务运行完毕运行ReduceTas

HDFS的block和切片（split）的联系和区别

Dxm234 — Mon, 01 Nov 2021 22:31:51 +0800

<1>联系:HDFS的block和切片（split）的大小相等。 <2>区别： 1.HDFS存储数据在数据节点上，block是数据节点储存数据的一个个单位 2.split是把block切分而成的虚拟定义 3.split是MapReduce的概念，是切片的概念，split是逻辑切片；而block是hdfs中的切块大小，block是物理切块注：split与block的大小相同是为了方便运输 ...

HDFS读数据流程

Dxm234 — Mon, 01 Nov 2021 22:01:35 +0800

1读取文件名称。 2.向名称节点获取文件第一批数据块的位置。 3.通过分布式文件系统调用数据来获取位置，数据块根据副本返回数返回对应数量的位置数 4.获取距离clinet最近的数据节点建立通信，数据会源源不断的写入clinet,假设第一个数据块读写完成，则会进入下一个数据块，如果所有块读完，则数据流关闭 5.如果读取中出现异常，则会先去优先读第二个位置的数据节点 ...

HDFS写数据流程

Dxm234 — Tue, 26 Oct 2021 20:58:46 +0800

1~首先客户端通过分布式文件系统模块对名称节点进行请求，观察输出输入目录中有没有相应的文件,观察是否有权限进行，2~当名称节点检查目录对结果返回客户端，客户端向名称节点发布请求，名称节点创建文件，并将文件分成各数据块 3~设立3个数据节点，将数据节点的位置返回给客户端，4~客户端请求数据节点1上传数据，后再调用数据节点2和数据节点3。5~客户端上传完第一个数据块，客户端会再次请求名称节点，上传第二个数据块。6~当所有数据块全部写完数据节点会向客户端发出确认，客户端向名称节点发出结束，就成功储存了信息 ...