FutureFlyme的博客

下面来介绍Hadoop的配置与安装 1、更改CentOS7的主机名，将主机名改为itcats01，更改方法参考CentOS7更改主机名 2、为了不必要的错误建议关闭CentOS7的防火墙。关闭方法参考关闭CentOS7防火墙 3、去官网下载Hadoop，我用的是hadoop-2.7.3.tar.gz注意不要下载源码文件，因为这样还需要编译。下载.tar.gz文件就可以了，网上有的人说Hado...

最近装了CentOS7发现执行以前版本的许多命令出来的效果都不一样，比如修改主机名， 在之前的版本可以执行命令 vim /etc/sysconfig/network结果如图，修改HOSTNAME即可 但是在CentOS7中执行vim /etc/sysconfig/network却不行，结果如下图，明显不一样。 其实CentOS7中提供了另一个命令可以修改主机名。 例如，我们把主机...

最近用SecureCRT7.3和SecureFX7.3连接CentOS7时，显示中文时出现乱码。收集了各种资料，整理如下： 1、首先打开SecureCRT7.3和SecureFX7.3的安装目录，找到Sessions文件夹， 我的虚拟机地址为192.168.110.111。所以打开192.168.110.111.ini文件。如果下图处显示00000000则把它改为00000001保存退出。...

今天，在win7系统下，安装了VMware10,并且在此虚拟环境下安装了64位CentOS7，开始还能上网，后来由于误删了东西，就不能上网了，弄了好长时间，终于弄好了。 1、打开CentOS7的终端，输入su root切换到管理员模式下。 2、输入：ls /etc/sysconfig/network-scripts/。 3、注意下图第一项ifcfg-eno16777736（你的可能不...

本片主要完成JDK的安装与配置。 1、首先我介绍一款工具SecureCRT，它可以把Window7系统中的文件传送到CentOS7系统里面，并且还可以对CentOS7进行远程操作。安装该软件。然后用注册码注册一下，远程登录到CentOS7系统中。点击File->quick connect输入CentOS7的IP地址，端口号为22,用户名为系统用户root 输入密码 2、到官网上...

下面来讲一个hadoop的实例，统计文件words.txt中单词的个数。 一、环境需求： 1、虚拟机itcast01 2、在虚拟机itcast安装eclipse(注意是linux版本的，安装过程参考前面的博客) 二、过程 1、在itcast01虚拟机上创建文件words.txt文件，并写入一定数据，保存。 2、start-all.sh开启Hadoop服务，hadoop fs -put w

zookeeper集群，它是一个轻量级框架。它能对数据节点进行监听，能够提供少量数据存储和管理，而且能达到实时同步功能。 为什么使用Zookeeper 因为大部分分布式应用需要一个主控，协调器或控制器来管理物理分布的子进程（如资源，任务分配等），目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制。协调程序的反复编写浪费，且难以形成通用，伸缩性好的协调器。Zookeeper提供通用的分布

远程过程调用协议（RPC）,是一种通过网络从远程计算机程序上请求服务，而不需要了解网络技术的协议。它采用C/S模式，在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序变得简单。它的进程运行在不同的机器上。RPC在Hadoop上主要是用jdk的动态代理实现不同进程之间的方法调用。 下面在Centos7上写一个RPC通信的例子： 1、导入Hadoop

下面介绍一下网络配置，我们发现创建完虚拟机之后是不能上网的，因为需要配置一下网络。 1、打开VMware,点击编辑——>虚拟网络编辑器，选择VWnet1（关于这三种类型，我会在另外的博客中说明，这里就不多介绍了）。设置IP子网段（注意是网段）和子网掩码。 2、打开Window系统中的网络中心，更改适配器设置，右击VWnet1选择属性。 配置IPV4的地址信息，如图注意IP地址第...

最近看了一些hadoop的书籍，所以想搭建一个hadoop环境，在接下来的几篇博客中，我会详细介绍hadoop的环境搭建。由于不具备硬件环境，所以本次hadoop环境搭建是在虚拟机上实现的伪分布式hadoop。 1、首先下载一个虚拟机，用来模拟硬件环境，我使用的是VMware Workstation Pro12，这个在网上下载，安装也很简单。它不分32位和64位，它的位数是由你的真实系统决定的。...

当我们搭载好Hadoop环境后，每次输入start-dfs.sh启动HDFS和start-yarn.sh启动YARN时，都需要输入好多次密码，非常麻烦。我们可以采用SSH实现免密码登录。 SSH（Secure Shell的缩写）：是建立在应用层和传输层基础上的安全协议，是比较可靠的，为远程登录会话提供安全协议。它是对称加密算法和非对称加密算法的结合。 本次实验是在CentOS7的环境下完成的。...

最近用VMware虚拟机安装了CentOS7,在设置防火墙的时候出现了问题，收集了各种资料，才弄明白。今天写下来仅供参考。 防火墙技术是一项访问控制技术，对主机之间的通信安全至关重要，CentOS7采用的是firewall防火墙技术，没有采用iptables,所以假如想使用iptables需要进行一些设置： 关闭firewall： 1、停止firewall。systemctl stop fi...