想你依然心痛的博客

三台虚拟机Spark01、Spark02和Spark03默认为动态IP地址，若后续重启系统后IP地址便会发生改变，非常不利于实际开发，且虚拟机Spark02和Spark03是通过克隆虚拟机Spark01创建的，这会导致这两台虚拟机的主机名与虚拟机Spark01的主机名一致，造成通信混淆的现象，同一主机名会指向不同的虚拟机。进入相应的目录查看ifcfg-eno后面的相应数字是什么，或者也可以输入这个命令输入到ifcfg-eno的时候按tab键补全。好了，这一篇我们就讲到这里，下一篇我们将讲一下如何。

好了，Kafka的集群部署我们就讲到这里了，这几篇主要针对大数据集群环境的搭建进行了讲解，包括创建虚拟机、Linux操作系统的安装与配置、安装JDK、ZooKeeper集群部署、Hadoop集群部署、Spark集群部署、HBase集群部署以及Kafka集群部署。通过这几篇的学习，希望读者熟悉大数据集群环境的搭建流程，并掌握ZooKeeper、Hadoop、Spark、HBase和Kafka集群的部署，为后续项目的开展奠定基础。启动Kafka集群时，需要确保ZooKeeper集群是正常启动的。

利用ZooKeeper作为分布式应用程序协调服务，同时存储HBase集群的元数据信息可以为HBase集群提供故障自动转移功能，以保证HBase集群的高可用。进入Hadoop安装目录的conf目录，将配置文件core-site.xml和hdfs-site.xml复制到HBase安装目录下的conf目录，用于HBase启动时读取Hadoop的核心配置信息和HDFS配置信息。在虚拟机Spark01中，通过解压缩的方式安装HBase，将HBase安装到存放应用的目录/export/servers/。

YARN（Spark on YARN模式）是一款资源调度管理系统，支持动态资源分配策略，可以为Spark提供资源调度服务，由于在生产环境中，很多时候都要与Hadoop同在一个集群，所以采用YARN来管理资源调度，可以降低运维成本和提高资源利用率，避免出现多个资源管理器造成资源分配的混乱无序的问题。Mesos（Spark on Mesos模式）是一款资源调度管理系统，可以为Spark提供资源调度服务，由于Spark与Mesos存在密切的关系，所以在设计Spark框架时充分考虑到了对Mesos的集成。

为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。

分别在虚拟机Spark01、Spark02和Spark03 的/export/data/zookeeper/zkdata目录中创建myid文件，在虚拟机Spark01的myid文件中写入值1，在虚拟机Spark02的myid文件中写入值2，在虚拟机Spark03的myid文件中写入值3。”命令编辑ZooKeeper配置文件zoo.cfg，修改参数“dataDir”配置存储快照文件的目录，添加参数“server.x”指定ZooKeeper集群包含的服务器。”命令启动ZooKeeper服务。

3、export PATH=“$PATH:/phpstudy/mysql/bin” #在该文件中加入 command not found 的应用 bin 目录,这里我是将 mysql 的 bin 放到这里，因为我是 mysqld / mysqldump / mysqladmin 命令用不了。第三个这和Windows是相同的道理，都是环境变量惹的祸，就是说你的 命令的 执行文件不在 /usr/bin 或者 /etc/init.d 中，他就找不到 执行该命令的 文件来执行。1.你将命令的名称拼错了。

注意：这里我使用的可视化工具是SecureCRT，读者也可以使用其他的可视化工具（如：MobaXterm、xshell、finalShell等），可以直接将jdk拖拽到Linux的文件目录里面。通过SecureCRT远程连接工具连接虚拟机Spark01，进入Linux操作系统中存放应用安装包的目录/export/software/，在该目录下执行“”命令查看JDK版本，验证虚拟机Spark01中的JDK环境。好了，jdk的安装和配置还是比较简单的，我们就讲到这里了，下一篇我们将讲解。

这是由于由于在线安装Chrony时会直接安装最新版的Chrony ，可能会导致Chrony 版本与当前Linux内核版本不一致，导致Chrony服务启动报错，可通过升级Linux内核版本解决此类问题。Chrony是网络时间协议（NTP）的通用实现，它能保持系统时间与时间服务器（NTP）同步，为集群中的其他计算机提供时间服务，确保集群时间一致。这里说一下为什么要配置时间同步这个问题，为了避免各虚拟机的时间出现不一致的情况而引发集群故障。”命令，编辑集群的时间客户端配置文件chrony.conf。

首先讲一下我们为什么要配置SSH 免密登录，通过VMware Workstation工具操作虚拟机十分不方便，无法复制内容到虚拟机中，也无法开启多个虚拟机窗口进行操作，并且在实际工作中，服务器通常被放置在机房中，同时受到地域和管理的限制，开发人员通常不会进入机房直接上机操作，而是通过远程连接服务器，进行相关操作。”选项，弹出“Session Options”窗口，在该窗口选中“Appearance”，将“Character encoding”处的值修改为“UTF-8”。欢迎start，欢迎评论，欢迎指正。

下面我们来讲一下如何通过已经创建好的虚拟机spark01克隆出spark02和spark03来，从而满足搭建大数据集群环境需要多台虚拟机的需求。完整克隆的虚拟机可以脱离原始虚拟机独立使用，不与原始虚拟机共享任何资源，是完全独立的虚拟机。链接克隆的虚拟机需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。我们自然是要选择完整克隆的，我们需要的是完全独立的虚拟机。克隆虚拟机我们就讲到这里了。下一篇我们将讲一下如何。欢迎start，欢迎评论，欢迎指正。上一篇我们已经讲过了。

我们刚刚新建的虚拟机相当于一个裸机，还没有安装操作系统在里面，下面我们来看一下怎么进行Linux系统的安装。虚拟机和Linux的安装就到这里了。下一篇我们将通过已经创建好的虚拟机和Linux。Spark02和Spark03，从而满足搭建大数据集群环境需要多台虚拟机的需求。可以单击“Network Time”开关通过获取网络时间自动调整系统时间。欢迎start，欢迎评论，欢迎指正。

一、VM简介  VMware Workstation中文版是一个“虚拟 PC”软件。它使你可以在一台机器上同时运行二个或更多 Windows、DOS、LINUX 系统。与“多启动”系统相比，VMWare 采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。VMWare 是真正“同时”运行，多个操作系统在主系统的平台上，就象标准 Windows 应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配置而不影响真实硬盘的数据，你甚至可以通过网卡将几台虚拟机用网卡连接

伴随互联网的发展，企业对服务器速度和安全的要求越来越高，Linux系统由于具有性能稳定、防火墙组件性能高效、配置简单等优势，得到了越来越多组织、公司和软件爱好者的支持，逐渐成为服务器首选。CentOS是商业版RHEL（Red Hat Enterprise Linux）源代码再编译的产物，由于出自同样的源代码，因此CentOS具有高度稳定性，企业中的服务器通常以CentOS替代商业版的Red Hat Enterprise Linux使用。12.文件或者目录搜索的命令：find。19.vim文本编辑器。