sjjsaaaa的博客

Yarmo8088页面打不开出现这个问题：您输入的域名无法解析，搜索正确域名 找到我的电脑这个文件夹C:\Windows\System32\drivers\etc这个地址 将第一个hosts里面设置的IP和用户名删除，只留下一个。就OK了 别的问题，戳这里——>datanode无法打开，页面打不开问题 ...

解决Hadoop种datanode无法启动问题 首先进入/home/hadoop这各文件夹，进入/data/里面，进入/tmp/文件夹，进入/dfs/文件夹，里面有，data和name两个文件夹。 文件夹：cd /home/hadoop/data/tmp/dfs/ 如果是datanode启动不了就把启动不了的节点的data里面的/current/里面文件都删除，用：rm -rf 文件名，然后重新启动所有节点：sbin/stop-dfs.sh 如果是namenode启动不了就把启动不了的节点name里面的/c

hbase启动以后，HMaster进程启动了，几秒钟以后自动关闭，但是HRegionServer进程正常运行；16010页面打不开，hbase shell：ERROR: KeeperErrorCode = NoNode for /hbase/master出错。主要是这些问题： 配置文件 hbase.site.xml里面： <property> <name>hbase.rootdir</name> <value&g

** 虚拟机配置网络 特别注意：当我们输入命令错误时，出现全是横线的时候，**按ESC，然后输入:q!**强制退出即可。 ** 当我们开始配置网络之前首先查看虚拟机的ip： 后点击虚拟网络编辑器 查看VMnet8的IP：（记住这个IP后面用的到） 现在开始进入虚拟机： 登录输入：root 和你的密码 （尽量用左边的数字登录）： 现在开始修改你当前的主机名称： 执行：vi /etc/sysconfig/network 命令 将HOSTNAME后面的名字改成你想要改

一、NameNode和SecondaryNameNode（面试开发重点） 1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 NN和2NN工作机制 1.第一阶段：NameNode启动 第一次启动NameNode格式化后，创建Fsimage和Ed

分布式文件系统HDFS 一、HDFS概述 1.背景、定义 背景：随着数据量越来越大，在一个操作系统上存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 定义：HDFS，他是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数

Hadoop运行环境搭建 Linux虚拟机安装请看：https://blog.youkuaiyun.com/sjjsaaaa/article/details/105756559 主机规划： 一、虚拟机环境准备 1. 克隆虚拟机 先选定要克隆的机器zaz01------菜单栏上的虚拟机------管理-------克隆 虚拟机的名字自己取，点完成即可，这样虚拟机就克隆好了。 2.修改主机名 打开虚拟机以后先root 然后执行：vi /etc/sysconfig/network 命令 将HOSTNAME=

从Hadoop框架讨论大数据生态 1 、Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础框架。 主要解决，海量数据的存储和海量数据的分析计算问题。 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 2、 Hadoop发展历史 3 、Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较

大数据概论 .1 大数据概念 主要解决，海量存储和海量数据的分析计算问题。 2 大数据特点 1>Volume（大量） 2>Velocity（高速） 3>Variety（多样） 4>Value（低价值密度） 价值密度的高低与数据总量的大小成反比。 如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。 3 大数据应用场景 物流仓库：大数据分析系统助力商家精细化运营、提升销量、节约成本。 零售：分析用户消费习惯，为用户购买商品提供方便，从而提升商品销量。 旅游：深度结