2402_87084142的博客

原创 配置hadoop集群-修改配置文件

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。5.配置workers（图中第一行不要）core-site.xml核心配置文件。2.HDFS配置文件。

原创 配置hadoop集群-理论准备

Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。对普通用户来说， Hadoop就是一个东西，一个整体，它能给我们提供无限的磁盘用来。但是，我们要把它搭建起起来，就必须要了解它的基本组成，知道它的内部分工。（1）ResourceManager(RM):整个集群资源（内存，CPU。个组成部分：MapReduce，Yarn，HDFS。如果文件较大(>128M)把大文件拆小，并分别传输。在hadoop体系中，它用存储文件。

原创 配置hadoop集群-环境准备-关闭防火墙并确认免密登录

2.确认ssh免密登录。

原创 配置hadoop集群-环境准备

3.免密登录：设置公钥并分享。#2.确认ssh免密登录。

原创 典型的错误及解决方式

hosts文件中的主机名和ip地址是否与finalshell中的连接的主机名以及对应的虚拟机上的ip地址一致。本机的hosts文件是否正确修改。1.每台虚拟机上是否正确配置了hosts。虚拟机的ip是否正确设置。ip addr 命令可以查看。本地控制面板，网络设置，vmnet8是否正常设置。2.rsync是否正确安装。本地服务：vmware是否正常运行。虚拟机是否可以正常ping。scp rsync命令异常。虚拟机是否正确开启。

原创 hadoop集群配置-ssh无密登录

上，运行命令：ssh-keygen -t rsa。然后根据提示连续敲入三个回车。这个命令就会生成一对公钥和私钥。3.在hadoop100上登录hadoop101，验证效果。在hadoop100上登录hadoop101，验证效果。把hadoop100的公钥发到hadoop101上。上 有一个命令：ssh-copy-id 从机名。2.把主机的公钥发到从机1。在hadoop100上 生成密钥对。

原创 hadoop集群配置-使用xsync命令同步集群文件

2.同步Java，Hadoop。3.同步xsync这个工具。

原创 hadoop集群配置-创建xsync脚本命令

在文件中输入以下代码并保存（代码中机器名记得改为自己的机器名）。root底下新建bin文件夹，bin文件夹中新建文件xsync。用下面的命令把这个脚本同步到其他的机器中。

原创 配置Hadoop集群环境Ⅱ

先新建文件夹，在文件夹中新建文件1.txt 2.txt 3.txt 4.txt后，输入命令即可。同一命令可以再次传送新建的文件，不影响不重复传送之前文件。拉取和推送只用输入一道密码，搭桥要输入两道密码。注意：命令中 / 不可省略。scp命令--拓展使用。4.rsync远程同步。

原创 hadoop集群配置Ⅰ

实际操作：打开第一台从机，在opt中新建文件夹（与主机名称一致）第二台从机也需要创建。hadoop的拷贝也是上面同样的命令，第二台从机拷贝如上操作。命令输入enter后，需要输入输入拷贝到的从机登陆密码。第一台从机opt下出现jdk表示拷贝成功。二、hadoop集群配置-scp命令。输入命令成功后：命令如下。

原创 运行第一个hadoop示例程序

1.hadoop文件夹下新建一个文件夹（图中为wcinput，可自定），新建文件夹中再新建两个文件（文件名、文件内内容自定无要求）

原创 在虚拟机上安装javaJDK和hadoop（3.4）

与JavaJDK的安装步骤一样：先解压-->配置环境变量-->测试。1.把JavaJDK文件上传到服务器上。4. 测试JDK是否安装成功。命令与JavaJDK一样。一、安装JavaJDK。二、安装hadoop。

原创 配置Hadoop集群环境-使用脚本命令实现集群文件同步3.10

无

原创 VM连接FinalShell流程图

流程图。

原创 连接FinalShell（3.3）

VM连接FinalShell。

原创 配置并克隆虚拟机（2.25）

命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33。修改打开的文件内容为：xiaoxiao001（自定义名字）命令是：vi /etc/hostname。命令是：vi /etc/hosts。修改完成后，esc退出编辑模式，:wq保存退出。通过vi编辑器去修改配置文件（ip地址）子网掩码：255，255，255，0。子网IP：192，168，10，0。（3）最后，关闭服务器的防火墙。进入虚拟机，修改对应的IP。(4)重启：reboot。（1）修改主机名称。

原创 如何安装vm和centos

在安装信息摘要界面，设置“安装位置”“软件选择”等选项，设置完成后，点击“开始安装”。在“新建虚拟机向导”中，选择“典型（推荐）”，点击“下一步”。选择安装来源：选择“安装程序光盘映像文件（ISO）”，点击“浏览”找到之前下载的CentOS.iso镜像文件，然后点击“下一步”。指定磁盘容量：根据自己的需求指定磁盘容量大小，选择“将虚拟磁盘存储为单个文件”或“将虚拟磁盘拆分成多个文件”，点击“下一步”。选择安装位置：可以选择默认的安装位置，也可以点击“更改”选择其他路径，之后点击“下一步”。

原创 VI编译器（2.24）

一、VI编译器二、命令模式三、三种模式三种模式的切换：键盘操作：（3）删除。

原创 Linux命令（2.24）

more /etc/dracut.conf(大文件——尝试翻页)

原创 VMware Workstation (2.18)

3.~波浪线，当前用户的home目录，比如root用户home目录是/home。2.ll -a 命令，显示当前的目录下的文件，包括隐藏文件。1.ll 命令，用来显示当前的目录下的文件。1. .点，点之前的空白是隐藏的系统目录。4.cd.. 命令，用于回退上一级目录。2.方向键（上下）。2. ..点点，当前目录的上一级目录。3.cd 命令，用来进入指定的目录。

原创 期末大作业（图书馆Ⅳ）

【代码】期末大作业（图书馆Ⅳ）

原创 期末大作业（图书馆Ⅲ）

【代码】期末大作业（图书馆Ⅲ）

原创 期末大作业（图书馆Ⅱ）

【代码】期末大作业（图书馆Ⅱ）

原创 期末大作业（图书馆Ⅰ）

【代码】期末大作业（图书馆）

原创 12.16Ⅱ

原创 异常Ⅰ（12.16）

【代码】异常Ⅰ（12.16）

原创 泛型（12.12）

【代码】泛型（12.12）

原创 泛型函数Ⅲ12.9

【代码】泛型函数Ⅲ12.9。

原创 12.9Ⅱ

【代码】12.9Ⅱ。

原创 隐式对象12.9

【代码】隐式对象12.9。

原创 9.30知识点

传递参数的第一种方式：函数使用默认值时可以不传递参数。当函数传递值时会覆盖默认值，Scala的函数默认值。如何实现链式风格的函数。

原创 12.5Ⅱ

【代码】12.5Ⅱ。

原创 隐式转换（12.5）

【代码】隐式转换（12.5）

原创 12.2二

【代码】12.2二。

原创 Scala的正则表达式（12.2）

【代码】Scala的正则表达式（12.2）

原创 11.28

【代码】11.28。

原创 11.25

【代码】11.25。

原创 11.21

writer.println("the:20次")writer.println("结果是：")

原创 练习（11.18）

【代码】练习（11.18）

原创 11.18

【代码】11.18。