<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Wells_wei的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Wells_wei</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Wells_wei]]></copyright><item><title><![CDATA[spark作业]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/135117894</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/135117894</guid><author>Wells_wei</author><pubDate>Wed, 20 Dec 2023 23:18:14 +0800</pubDate><description><![CDATA[病人数量、平均身高、体重最大值、收缩压方差按体重升序、舒张压降序排序并输出使用sbt对Scala独立应用程序进行编译打包结果输出会过多，将结果保存file:///usr/local/spark/patients3.csv > output.log，在output.log中抓取grep有用结果结果截图：体重和舒张压可以在output中看部分结果：体重升序舒张压降序。]]></description><category></category></item><item><title><![CDATA[实验三：spark编程实践]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134854054</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134854054</guid><author>Wells_wei</author><pubDate>Thu, 07 Dec 2023 17:40:47 +0800</pubDate><description><![CDATA[执行结束以后，可以看到，已经生成了数据文件 “/usr/local/spark/mycode/exercise/peopleage/peopleage.txt”。/usr/local/spark/mycode/exercise/peopleage/src/main/scala这个目录是专门用来保存scala代码文件的。下面，在这个目录下/usr/local/spark/mycode/exercise/peopleage使用sbt。执行结束以后，可以看到，已经生成了数据文件peopleage.txt。]]></description><category></category></item><item><title><![CDATA[编写Spark应用程序]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134854867</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134854867</guid><author>Wells_wei</author><pubDate>Thu, 07 Dec 2023 14:45:39 +0800</pubDate><description><![CDATA[2.程序依赖 Spark API，因此我们需要通过 sbt 进行编译打包。在~/sparkapp这个目录中新建文件simple.sbt。1.在 ./sparkapp/src/main/scala 下建立一个名为 XXXApp.scala 的文件。使用sbt对Scala独立应用程序进行编译打包。3.使用sbt编译打包工具对代码文件进行编译打包。4.使用spark-submit命令运行程序。只需要改类名，有文件输入需求才加第四行。在.scala文件中写入代码。--class "类名" \。]]></description><category></category></item><item><title><![CDATA[在spark shell中完成RDD基本操作]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134819028</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134819028</guid><author>Wells_wei</author><pubDate>Tue, 05 Dec 2023 23:59:54 +0800</pubDate><description><![CDATA[（例1）12345678910newnew1to 10) //创建RDDval map = rdd.map(_*2) //对RDD中的每个元素都乘于2sc.stop()键入5、6、7行：输出：(RDD依赖图：红色块表示一个RDD区，黑色块表示该分区集合，下同)例8：12345678//省略sc.stop输出：（RDD依赖图）]]></description><category></category></item><item><title><![CDATA[Spark安装和编程实践（Spark2.4.0）]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134815633</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134815633</guid><author>Wells_wei</author><pubDate>Tue, 05 Dec 2023 21:37:59 +0800</pubDate><description><![CDATA[在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。需要注意的是，本教程内容中Spark采用Local模式进行安装，也就是在单机上运行Spark，因此，在安装Hadoop时，需要按照伪分布式模式进行安装。之所以第一次运行sbt编译打包命令速度很慢，是因为这个过程需要到国外网站下载很多的依赖包，而国外网站下载速度很慢，所以，需要耗费很长时间。]]></description><category></category></item><item><title><![CDATA[常用的 Linux 命令]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134723960</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134723960</guid><author>Wells_wei</author><pubDate>Thu, 30 Nov 2023 23:03:01 +0800</pubDate><description><![CDATA[【代码】【补充】常用的 Linux 命令。]]></description><category></category></item><item><title><![CDATA[【实践】MapReduce作业+实验二]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134687360</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134687360</guid><author>Wells_wei</author><pubDate>Thu, 30 Nov 2023 18:02:04 +0800</pubDate><description><![CDATA[4、A.csv和B.csv为2个表，第一列为名字，第二列为年龄，用mapreduce编程实现，两个表的union, intersection, differece运算并输出。其中Survived列的0表示死亡，1表示幸存。3、score文件中保存有随机生成若干学生的成绩，包括语文、数学、英语，请实现将数据按照总分降序排列，如果总分相同按语文升序排列。b)数据去重 DateDistinct.java， 最后显示以下效果，只显示不重复的日期(文档中格式有误)再用，生成数据，保存为Date.txt。]]></description><category></category></item><item><title><![CDATA[MapReduce编程实践(Hadoop3.2.2）]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134678393</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134678393</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 22:51:44 +0800</pubDate><description><![CDATA[MapReduce是谷歌公司的核心计算模型，Hadoop开源实现了MapReduce。MapReduce将复杂的、运行于大规模集群上的并行计算过程高度抽象到了两个函数：Map和Reduce，并极大地方便了分布式编程工作，编程人员在不会分布式并行编程的情况下，也可以很容易将自己的程序运行在分布式系统上，完成海量数据的计算。本教程以一个词频统计任务为主线，详细介绍MapReduce基础编程方法。]]></description><category></category></item><item><title><![CDATA[常见的Shell命令与HDFS进行交互]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134678199</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134678199</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 22:14:38 +0800</pubDate><description><![CDATA[【代码】常见的Shell命令与HDFS进行交互。]]></description><category></category></item><item><title><![CDATA[Ubuntu系统安装并配置HBase2.2.2]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134675311</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134675311</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 21:17:03 +0800</pubDate><description><![CDATA[JDK的安装目录是/usr/lib/jvm/jdk1.8.0_162， 则JAVA _HOME =/usr/lib/jvm/jdk1.8.0_162；将hbase下的bin目录添加到path中，这样，启动hbase就无需到/usr/local/hbase目录下，大大的方便了hbase的使用。上述三条命令中，sudo bin/start-hbase.sh用于启动HBase，bin/hbase shell用于打开shell命令行模式，用户可以通过输入shell命令操作HBase数据库。（提取码：ziyu）。]]></description><category></category></item><item><title><![CDATA[【实践】实验一：Hadoop基础入门]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134675076</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134675076</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 21:02:57 +0800</pubDate><description><![CDATA[1.使用Java API在HDFS上创建一个自己中文名字的文件，然后往文件内写入自己的学号。]]></description><category></category></item><item><title><![CDATA[【实践】JAVA API操作HDFS]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134671389</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134671389</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 16:51:13 +0800</pubDate><description><![CDATA[1、在本地新建文本文件，文件名为“学号+姓名”，然后上传到hdfs中。在ubuntu中，完成以下2个编程任务(采用eclipse)2、遍历HDFS的文件夹。]]></description><category></category></item><item><title><![CDATA[【问题】Ubuntu的网络连接图标消失，VMware]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134667279</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134667279</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 14:49:23 +0800</pubDate><description><![CDATA[挂起虚拟机，编辑-->虚拟网络编辑器。先 更改设置-->还原默认设置。就这左上角第一个图标消失了。重新打开虚拟机，回复。]]></description><category></category></item><item><title><![CDATA[【问题】Eclipse【Hadoop项目】log4j:WARN No appenders could be found for logger 日志报错解决办法]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134666283</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134666283</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 14:21:27 +0800</pubDate><description><![CDATA[一些小问题]]></description><category></category></item><item><title><![CDATA[在ubuntu中安装eclipse]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134658644</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134658644</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 14:10:10 +0800</pubDate><description><![CDATA[链接🔗：https://dblab.xmu.edu.cn/blog/2460/

Eclipse是常用的程序开发工具，本教程很多程序代码都是使用Eclipse开发调试，因此，需要在Linux系统中安装Eclipse。
可以到Eclipse官网（Eclipse Downloads | The Eclipse Foundation）下载安装包。
或者直接点击这里从百度云盘下载软件（提取码：lnwl），位于“软件”目录下，文件名是eclipse-4.7.0-linux.gtk.x86_64.tar.gz。假设安装]]></description><category></category></item><item><title><![CDATA[使用Docker搭建Hadoop分布式集群]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134657341</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134657341</guid><author>Wells_wei</author><pubDate>Tue, 28 Nov 2023 08:23:03 +0800</pubDate><description><![CDATA[在新主机上首次安装 Docker Engine-Community 之前，需要设置 Docker 仓库。要安装特定版本的 Docker Engine-Community，请在仓库中列出可用版本，然后选择一种安装。以下2条命令要注意安装的jdk版本，下图红色部分要根据所安装jdk版本进行修改，可以进入/usr/lib/jvm/目录下查看。Docker 的旧版本被称为 docker，docker.io 或 docker-engine。安装 Docker Engine-Community，以下介绍两种方式。]]></description><category></category></item><item><title><![CDATA[安装hadoop 3.2.2，并分别配置成单机配置及伪分布式]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134653742</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134653742</guid><author>Wells_wei</author><pubDate>Mon, 27 Nov 2023 23:42:22 +0800</pubDate><description><![CDATA[的错误，那么，请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”，在里面找到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”，然后，再次启动Hadoop。:在Linux的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码。]]></description><category></category></item><item><title><![CDATA[Vim常用模式]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134654265</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134654265</guid><author>Wells_wei</author><pubDate>Mon, 27 Nov 2023 20:47:50 +0800</pubDate><description><![CDATA[Vim的常用模式分为命令模式、插入模式、可视模式和正常模式。]]></description><category></category></item><item><title><![CDATA[在Windows中使用VMware安装Ubuntu 22.04虚拟机]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134636688</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134636688</guid><author>Wells_wei</author><pubDate>Mon, 27 Nov 2023 20:14:16 +0800</pubDate><description><![CDATA[这时，可能在界面上无法看到“+”按钮，这是由于计算机的分辨率问题导致的，遇到这种情形时，可以按住键盘的“Alt”键，再把鼠标移动到安装界面上，点住鼠标左键不放，向上拖动界面，就可以看到其他被遮住的部分了。启动后会看到Ubuntu的安装欢迎界面（如下图所示），选择操作系统语言，推荐使用中文(简体)，然后，点击“安装Ubuntu”按钮。选择下图中“空闲”，然后再点击“+”按钮，用来创建交换空间。选择下图中“空闲”，然后再点击“+”按钮，用来创建根目录。点击“+”按钮后，会出现如下图的界面，我们进行如下设置。]]></description><category></category></item><item><title><![CDATA[Linux系统常用命令]]></title><link>https://blog.youkuaiyun.com/Wells_wei/article/details/134635625</link><guid>https://blog.youkuaiyun.com/Wells_wei/article/details/134635625</guid><author>Wells_wei</author><pubDate>Sun, 26 Nov 2023 23:54:48 +0800</pubDate><description><![CDATA[Linux系统常用命令]]></description><category></category></item></channel></rss>