m0_63061877的博客

原创 2021-11-04

机器学习 深度学习 1.机器学习：机器学习一系列在数据集上进行训练的算法，来做出预测或采取形同从而对系统进行优化。根据给定任务的不同，用到的技术也不同。机器学习是让机器让人类一样思考和推理，基本上而言是指通过人工的方法来代替人类天生的自然只能，涉及的任务从简单到复杂都有。 2.深度学习：当算法被用于自动化时，就被称为人工智能，也就是深度学习。 也有的人认为是带有更多层的神经网络（一种机器学习技术） 3.深度学习是非常流行的一种机器学习 机器学习 数据科学 1.机器学习中的学习一词表示算法依.

原创 HDFS的block和切片（split）的区别

1.split是逻辑切片，是MapReduce里切片的概念， block是物理切片，是HDFS中切片的大小 2.split的大小默认下等于block的大小 3.block：文件被上传到HDFS是，会被分块，这是真实的物理上的划分，每块的大小可以设 split：他是逻辑意义上的split，用户根据自己处理的数据量的情况，自行设置 4.split和block是一对多的关系 1.当程序读取block0时，可以完整的读到第五行的完整数据 2.block1的第四行数据被丢弃，直...

原创 YARN的工作机制

原创 节点距离的计算

节点距离=两个节点到达最近的共同祖先的距离之和 1.同一节点，距离=0 2.同一机架不同节点，距离=2 3.同一集群不同机架上的节点，距离=4 4.同一数据中心不同集群上的节点，距离=6

原创 HDFS读数据流程

过程： 1.客户端通过调用DFS系统对象中的Open()函数读取数据 2.DFS通过调用名称节点确定请求文件所在的位置。（名称节点不会全部返回） 3.客户端利用FSD的Read（）读取数据 4.FSD连接保存此文件第一个数据块的最近的数据节点，并读取数据，客户端多次调用Read（），直到到达数据块结束位置 5.第一个块读取完毕时，DFSD会关闭连接，并查找存储下一个数据节点 6.完成所有文件的读取后，DFSD调用Close()函数关闭数据流 ...

原创 HDFS写数据流程

1.对文件采用“一次写多次读取”的模式 2.过程： 1.客户端向名称节点请求写操作 2.名称节点确定客户端是否有权限以及有没有相同的文件正在写操作 3. 客户端对文件进行划分 4. 多个数据节点构成管道关系，以数据流的形式发送信息 5.每个数据流写完一个块儿会返回确认信息 6.完成数据写入操作后，关闭数据流 ...