<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ijn321_的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ijn321_</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ijn321_]]></copyright><item><title><![CDATA[如何搭建spark yarn模式集群的集群]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940981</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940981</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:11:53 +0800</pubDate><description><![CDATA[也可以通过 Spark 的 Web 界面（通常在http://master-host:4040，如果是集群模式，可能在 YARN 的应用程序页面中找到 Spark 的 Web UI 链接）查看 Spark 应用程序的详细信息，如执行计划、任务进度等。配置 Hadoop 的核心配置文件，如core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，设置相关参数，如文件系统路径、资源分配等。下载 Spark 安装包，解压到集群各节点的指定目录。]]></description><category></category></item><item><title><![CDATA[shell命令大全]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940845</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940845</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:09:51 +0800</pubDate><description><![CDATA[hadoop fs 具体命令  OR  hdfs dfs 具体命令。1）启动Hadoop集群（方便后续的测试）通过 fs命令可以直接看到所有的命令。我们要启动集群，然后才能开始操作它。2）-help：输出这个命令参数。3）创建/sanguo文件夹。常用命令实操准备工作。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】二创建Maven项目]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940777</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940777</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:07:29 +0800</pubDate><description><![CDATA[如果程序执行没有错误，就会在HDFS中创建对应的文件目录，大家可以去服务器端查看。客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户。4. 创建包及对应的类。我们创建一个包为example.org,并在下面创建HdfsClient类。这一步中的hadoop-client要和我们前面客户端准备中下载的hadoop保持一致。2. 在pom.xml中补充相应的依赖坐标+日志添加。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（三）HDFS文件上传]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940731</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940731</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:05:27 +0800</pubDate><description><![CDATA[【代码】【HDFS的API操作】（三）HDFS文件上传。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（四）动态设置副本份数（参数优先级)]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940702</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940702</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:04:52 +0800</pubDate><description><![CDATA[参数优先级排序：（1）客户端代码中设置的值 >（2）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）默认情况下，上传的文件会被保存3份，如果需要的话，我们可以随时去修改这个设置参数。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（五）HDFS文件下载]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940661</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940661</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:03:20 +0800</pubDate><description><![CDATA[【代码】【HDFS的API操作】（五）HDFS文件下载。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（六）HDFS文件更名和移动]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940644</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940644</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:02:45 +0800</pubDate><description><![CDATA[【代码】【HDFS的API操作】（六）HDFS文件更名和移动。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（七）HDFS删除文件和目录]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940620</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940620</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:02:05 +0800</pubDate><description><![CDATA[【代码】【HDFS的API操作】（七）HDFS删除文件和目录。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（八）HDFS文件详情查看]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940600</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940600</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:01:23 +0800</pubDate><description><![CDATA[【代码】【HDFS的API操作】（八）HDFS文件详情查看。]]></description><category></category></item><item><title><![CDATA[【HDFS的API操作】（九）HDFS文件和文件夹判断]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940564</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940564</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 09:00:23 +0800</pubDate><description><![CDATA[【代码】【HDFS的API操作】（九）HDFS文件和文件夹判断。]]></description><category></category></item><item><title><![CDATA[Mapreduce初使用]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940439</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940439</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 08:59:41 +0800</pubDate><description><![CDATA[比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。流式计算的输入数据是动态的，会一条一条的过来，是动态产生的，而MapReduce的输入数据集是静态的，不能动态变化。当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。]]></description><category></category></item><item><title><![CDATA[spark数据压缩]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940339</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940339</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 08:58:29 +0800</pubDate><description><![CDATA[压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器。压缩位置选择压缩可以在MapReduce作用的任意阶段启用。压缩的优点：以减少磁盘IO、减少磁盘存储空间。缺点：不支持Split；压缩/解压速度一般；优点：压缩/解压速度比较快；缺点：不支持Split；（1）运算密集型的Job，少用压缩。（2）IO密集型的Job，多用压缩。压缩的缺点：增加CPU开销。优点：压缩和解压缩速度快；缺点：压缩/解压速度慢。]]></description><category></category></item><item><title><![CDATA[Spark基础介绍]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940255</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940255</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 08:54:12 +0800</pubDate><description><![CDATA[在 Hadoop MapReduce 时代，数据处理主要基于磁盘，每次计算都需要频繁读写磁盘，这在面对需要多次迭代的算法，如机器学习中的梯度下降算法时，效率极其低下，导致大规模数据的迭代分析可能耗费数小时之久。而 Spark 创新性地采用基于内存计算的模式，使得数据在内存中能够被快速访问与处理，极大地缩短了计算时间，让大规模数据的迭代分析能够在秒级或分钟级完成，从而大幅提升了数据处理的效率，满足了诸如实时性要求较高的交互式数据处理等场景需求。实时计算：spark是基于MR的，而MR是离线的。]]></description><category></category></item><item><title><![CDATA[Spark集群搭建-Standalone]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147940184</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147940184</guid><author>ijn321_</author><pubDate>Wed, 14 May 2025 08:50:38 +0800</pubDate><description><![CDATA[9.启动SPARK集群。进入到hadoop100机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。进入/opt/module/把解压的内容重命名一下，mv spark-3.1.1-bin-hadoop3.2/ spark-standalone。注意，这里不要省略./,它表示的是当前目录下的start-all命令，如果省略了./，它就会先去环境变量PATH中指定的目录来找这个命令。]]></description><category></category></item><item><title><![CDATA[安装和使用Maven]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147753150</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147753150</guid><author>ijn321_</author><pubDate>Wed, 07 May 2025 09:16:33 +0800</pubDate><description><![CDATA[默认情况下，settings.xml文件位于 Maven 安装目录的 conf文件夹中（例如 D:\Apache\maven\conf\settings.xml）。- 下载最新版本的 Maven 压缩包（`apache-maven-<version>-bin.zip`）。- 在“变量值”中输入 Maven 的安装路径，例如 `D:\Apache\maven`。- 在“环境变量”窗口中，找到并选择 `Path` 环境变量，然后点击“编辑”按钮。- 右键点击“此电脑”或“我的电脑”，选择“属性”。]]></description><category></category></item><item><title><![CDATA[Maven基本介绍]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147753103</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147753103</guid><author>ijn321_</author><pubDate>Wed, 07 May 2025 09:15:20 +0800</pubDate><description><![CDATA[Maven 可以帮助你管理这些依赖项，你只需在项目的 `pom.xml` 文件中声明所需的依赖，Maven 就会自动从远程仓库下载这些依赖项，并将其添加到项目的类路径中。（1）项目构建：Maven 可以根据预定义的生命周期和插件，自动完成项目的编译、测试、打包、部署等一系列构建任务。POM 是 Maven 的核心概念之一，它是一个 XML 文件（通常命名为 `pom.xml`），用于描述项目的配置信息和依赖关系。- `groupId`：表示项目或组织的唯一标识符，通常采用反向域名的形式。]]></description><category></category></item><item><title><![CDATA[集群配置规划]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147752907</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147752907</guid><author>ijn321_</author><pubDate>Wed, 07 May 2025 09:09:28 +0800</pubDate><description><![CDATA[这里一共有5个文件要配置：分别是core-site.xml,hdfs-site.xml,yarn-site.xml,配置/opt/module/hadoop-3.1.3/etc/hadoop。配置/opt/module/hadoop-3.1.3/etc/hadoop。-- 指定ResourceManager的地址-->-- 指定hadoop数据的存储目录 -->-- 指定NameNode的地址 -->-- 指定MR走shuffle -->-- nn web端访问地址-->-- 环境变量继承 -->]]></description><category></category></item><item><title><![CDATA[配置Hadoop集群-集群配置]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147752869</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147752869</guid><author>ijn321_</author><pubDate>Wed, 07 May 2025 09:08:38 +0800</pubDate><description><![CDATA[（1）NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等。每个框都是一个进程，可能都运行在一台主机上，但是，属于不同的集群。Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来。但是，我们要把它搭建起起来，就必须要了解它的基本组成，知道它的内部分工。]]></description><category></category></item><item><title><![CDATA[配置Hadoop集群-免密登录]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147752802</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147752802</guid><author>ijn321_</author><pubDate>Wed, 07 May 2025 09:07:33 +0800</pubDate><description><![CDATA[hosts文件中的主机名和ip地址是否与finalshell中的连接的主机名以及对应的虚拟机上的ip地址一致。（4）在hadoop100上，输入ssh hadoop101命令，看看是否可以免密登录？例如：我们先登录hadoop100，然后去登录到hadoop101。所以，对于hadoop100来说，它要生成公钥，并拷贝到hadoop100,接下来我们去具体看看.ssh相关的文件，以便更加深入的了解它的工作过程。例如： 在hadoop100上，也需要去设置针对它自己的免密登录。虚拟机的ip是否正确设置。]]></description><category></category></item><item><title><![CDATA[配置Hadoop集群环境-使用脚本命令实现集群文件同步]]></title><link>https://blog.youkuaiyun.com/ijn321_/article/details/147752710</link><guid>https://blog.youkuaiyun.com/ijn321_/article/details/147752710</guid><author>ijn321_</author><pubDate>Wed, 07 May 2025 09:04:18 +0800</pubDate><description><![CDATA[在一台机器上模拟出 Hadoop 分布式系统的各个组件，各个组件在逻辑上是分离的，但是都运行在同一台物理机器上，以此来模拟分布式环境。其中，第1项我们在之前克隆虚拟机的环节中已经完成了。现在我们来看看按照JDK和Hadoop并配置环境变量的工作。2. 把一台机器装好，把module 拷贝到其他的机器。这样就不需要省略了上传和解压的工作了。数据存储在HDFS，多台服务器工作，企业中大量使用。如果要拷贝的是文件夹，就把文件夹下的内容都拷贝。这台机器中已经安装了jdk和hadoop。要拷贝的文件路径/名称。]]></description><category></category></item></channel></rss>