<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CFMYJC的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/CFMYJC</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CFMYJC]]></copyright><item><title><![CDATA[Ubuntu安装Kafka]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545513</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545513</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:43:08 +0800</pubDate><description><![CDATA[要先将kafka压缩包复制粘贴到Ubuntu里，路径自定义，这里我是放在Downloads下。]]></description><category></category></item><item><title><![CDATA[python3.6的安装]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545502</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545502</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:42:33 +0800</pubDate><description><![CDATA[运行以下命令查看可安装的 Python 版本，如果输出中没有 python3.6，说明需要手动添加包含 Python 3.6 的软件源。Ubuntu 的默认软件源可能没有包含 Python 3.6 的安装包（尤其是较新的 Ubuntu 版本已移除了旧版 Python）1.添加deadsnakes PPA。2.添加python3.6。在spark中加入第三行。]]></description><category></category></item><item><title><![CDATA[Ubuntu安装MySQL]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545495</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545495</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:41:59 +0800</pubDate><description><![CDATA[禁止root远程登录（Y）。选择密码强度（推荐选2）。移除测试数据库（Y）。重新加载权限表（Y）。移除匿名用户（Y）。]]></description><category></category></item><item><title><![CDATA[Ubuntu安装pyspark]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545482</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545482</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:41:00 +0800</pubDate><description><![CDATA[然后输入pyspark，输出应显示Spark版本和Python上下文。]]></description><category></category></item><item><title><![CDATA[Ubuntu安装jupyter]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545478</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545478</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:40:28 +0800</pubDate><description><![CDATA[若是可以然后文末添加保存并退出（Ctrl + X → Y → Enter），然后重新加载。]]></description><category></category></item><item><title><![CDATA[Spark RDD的创建与常用转换]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545464</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545464</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:39:53 +0800</pubDate><description><![CDATA[从列表/元组创建RDDrdd_tuple = sc.parallelize(data_tuple)  # 元组会被自动解包为列表分区数设置原则rdd = sc.parallelize(data_list, numSlices=4)  # 显式指定4个分区print("分区数:", rdd.getNumPartitions())  # 输出: 4：分区数建议设为集群CPU核心数的2-4倍，避免过多分区导致调度开销默认使用哈希分区，大集合需确保数据均匀分布。]]></description><category></category></item><item><title><![CDATA[Spark RDD的词频统计]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545421</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545421</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:36:56 +0800</pubDate><description><![CDATA[textFile：从文件系统创建RDD，每行文本作为一个元素。# 4. 按单词聚合计数（reduceByKey聚合）map：将每个单词转换为(word, 1)的键值对。reduceByKey：对相同单词的计数进行累加。flatMap：将每行文本拆分为单词并展平。# 2. 拆分单词（flatMap展平）# 5. 收集结果（action操作）# 3. 映射为键值对（map转换）collect：触发计算并收集结果。# 1. 读取文本文件。2. 数据处理流程解析。]]></description><category></category></item><item><title><![CDATA[Spark RDD转换]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545412</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545412</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:36:09 +0800</pubDate><description><![CDATA[3. intersection交集操作。6. reduceByKey聚合操作。7. sortByKey排序操作。1. distinct去重操作。4. subtract差集操作。5. groupBy分组操作。2. union合并操作。一、RDD转换操作详解。]]></description><category></category></item><item><title><![CDATA[rdd的转换行动操作]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545402</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545402</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:35:26 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[HDFS的配置]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545354</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545354</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:31:09 +0800</pubDate><description><![CDATA[Java进程列表中应有NameNode、DataNode、SecondaryNameNode这三个程序在运行，就说明HDFS启动正常。的内容，这个文件中有运行DateNode进程的节点信息。这里配置的是单节点，里面默认就是localhost即本机，故不用任何修改。若没有NameNode可以尝试输入hdfs namenode -format后重新启动Hadoop和hdfs。然后sbin/start-dfs.sh启动HDFS服务程序。找到这里，将=后面的改成/usr/local/jdk。]]></description><category></category></item><item><title><![CDATA[YARN的配置]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545343</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545343</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:30:36 +0800</pubDate><description><![CDATA[服务相关的程序，执行过程中会分别运行ResourceManager和NodeManager这两个进程。找到如下图的位置，并改成图中变量。]]></description><category></category></item><item><title><![CDATA[Spark的安装配置]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148545274</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148545274</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:25:32 +0800</pubDate><description><![CDATA[服务相关的程序，执行过程中会分别运行ResourceManager和NodeManager这两个进程。找到如下图的位置，并改成图中变量。]]></description><category></category></item><item><title><![CDATA[Hadoop的安装]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148544914</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148544914</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:05:59 +0800</pubDate><description><![CDATA[如果在version前加 - ，像java那样，就会报错。-version 被误认为是选项，但 Hadoop 并未定义该选项。的时候能够完全控制这个目录，避免因为文件的访问权限导致出现问题。将解压的hadoop-2.6.5目录的用户和组权限设一下，方便。我这里的用户名是shit，所以是shit:shit。这里和装jdk一样需要先将压缩包移到soft下。然后 cd  ~/soft。然后输入spark的密码。]]></description><category></category></item><item><title><![CDATA[Hadoop伪分布集群环境搭建]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148544625</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148544625</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 23:01:20 +0800</pubDate><description><![CDATA[这里的话需要先在Home下创建一个soft文档用来放我们用到的压缩包。直接将压缩包复制进soft中。然后ESC，：wq保存并退出。]]></description><category></category></item><item><title><![CDATA[ 3.Vi 编辑器(Vi editor)]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148520193</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148520193</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 05:00:00 +0800</pubDate><description><![CDATA[远程服务器，后面的 JDK、Hadoop、Spark 等软件的安装就是通过这样的方法上传到Ubuntu20.04 虚拟机的。1）切换到 Hadoop 的配置文件目录，先修改其中的 hadoop-env.sh 运行环境文件，找到。]]></description><category></category></item><item><title><![CDATA[2.Ubuntu 基本配置(Basical configuration for Ubuntu)]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148520181</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148520181</guid><author>CFMYJC</author><pubDate>Mon, 09 Jun 2025 03:15:00 +0800</pubDate><description><![CDATA[继续输入下面的命令来安装一下 vim，它是 vi 编辑器的增强版，比如支持用不同的颜色高亮代码的显示。一旦 vim 安装完毕，在 Linux 终端窗体输入 vi 或 vim 命令时，实际启动的就是这个 vim 增强版编辑器。输入下面的命令，将 Ubuntu20.04 自带的防火墙禁用掉，避免在远程终端连接时出现问题，包括运行 Hadoop 和 Spark 时也要禁用防火墙。1）打开一个 Linux 终端窗体，在其中输入下面的命令，先更新一下软件源信息并对当前已安装的软件进行升级。]]></description><category></category></item><item><title><![CDATA[虚拟机VMware的安装]]></title><link>https://blog.youkuaiyun.com/CFMYJC/article/details/148520081</link><guid>https://blog.youkuaiyun.com/CFMYJC/article/details/148520081</guid><author>CFMYJC</author><pubDate>Sun, 08 Jun 2025 22:56:51 +0800</pubDate><description><![CDATA[Ubuntu20.04 操作系统的初始界面如图所示，第一次启动时会相继提示几个信息的设置，包括网络在线帐号设置、更新设置、问题提交、隐私设置等，直接点击右上角的“Skip”和“Next”，直至最后一个窗体点击“Done”全部完成。6）在指定磁盘容量窗体中，设定虚拟机使用的最大磁盘大小为 60GB，并选择“将虚拟磁盘存储为单个文件”，然后点击下一步。10）点击登录界面中列出来的 Linux 帐户“spark”，然后输入创建虚拟机时设定的密码“spark”，按。9）稍候几分钟的时间进行安装。]]></description><category></category></item></channel></rss>