大数据
关注
分享
扫一扫
attention！
新丰美酒斗十千，咸阳游侠多少年。相逢意气为君饮，系马高楼垂柳边。
展开
-
Win10下kafka简单安装及使用测试
注：kafka依赖于zookeeper，官网下载的kafka内置了zookeeper依赖。1. 下载Kafka，网址：http://kafka.apache.org/解压缩：2. 修改配置文件进入到config目录，修改service.properties：3. 进行单机实例测试简单使用(1) 启动kafka内置的zookeeper运行cmd命令：.\bin\windows...原创 2020-02-11 16:45:57 · 1083 阅读 · 1 评论 -
hadoop - 环境搭建（安装JDK+安装hadoop+配置本地模式）
安装JDKa) 下载jdk-8u65-linux-x64.tar.gzb)上传并tar开$ cd ~$ mkdir downloadsc)利用FileZilla把jdk-8u65-linux-x64.tar.gz上传到~/downloads/目录下$ cd ~/downloads/$ cd ls$ tar -zxvf jdk-8u65-linux-x64.tar.gzd...原创 2019-05-08 11:57:46 · 2935 阅读 · 0 评论 -
hadoop - 配置完全分布式模式并运行WordCount程序
1. Hadoop三种模式便捷切换以及让命令行提示符显式完整路径（1）Hadoop三种模式便捷切换首先执行如下命令： [yylin@big etc]$ cp -r hadoop local [yylin@big etc]$ cp -r hadoop pseudo [yylin@big etc]$ cp -r hadoop full [yylin@big etc]$ rm -rf...原创 2019-09-27 11:00:11 · 1178 阅读 · 0 评论 -
hadoop - 节点的服役和退役（HDFS）
1. 首先需要克隆一台主机现在我这里已经有五台虚拟机，要克隆的目标主机为CentOS7-1810_04：启动集群后webUI如下：把要克隆的目标虚拟机关机，在VMware上选中目标主机 -> 右键 -> 管理 -> 克隆：然后下一步，选择克隆自：虚拟机中的当前状态：继续下一步，克隆方法选择：创建完整克隆：继续下一步，修改虚拟机名称和位置：然后选择完成...原创 2019-09-27 14:51:09 · 588 阅读 · 0 评论 -
hadoop - NameNode和SecondaryNameNode工作机制讲解
1. 流程图如下：2. FSImage和Editsnodenode是HDFS的大脑,它维护着整个文件系统的目录树，以及目录树里所有的文件和目录,这些信息以俩种文件存储在文件系统：一种是命名空间镜像(也称为文件系统镜像，File System Image，FSImage)，即HDFS元数据的完整快照,每次NameNode启动的时候，默认会加载最新的命名空间镜像，另一种是命令空间镜像的编辑日志(...原创 2019-09-27 21:27:39 · 492 阅读 · 0 评论 -
hadoop - 单独配置辅助名称节点(SecondaryNameNode)
1. 修改hdfs-site.xml执行命令：vi /software/hadoop/etc/hadoop/hdfs-site.xml在hdfs-site.xml中添加： <property> <name>dfs.namenode.secondary.http-address</name> <value>s138:9868...原创 2019-09-27 21:28:57 · 976 阅读 · 0 评论 -
hadoop - 常用命令
启动NameNodehadoop-daemon.sh start namenodehdfs --daemon start namenode关闭NameNodehadoop-daemon.sh stop namenodehdfs --daemon stop namenode启动DataNodehadoop-daemons.sh start datanodehdfs --worker...原创 2019-09-27 21:29:48 · 242 阅读 · 0 评论