松花酿酒的博客

Hive安装配置及错误解决办法一、准备mysql,hive安装包，mysql驱动(我的安装包是apache-hive-1.2.1-bin.tar.gz,驱动是mysql-connector-java-5.1.28.jar)二、安装第一步：安装mysql数据库及客户端apt-get installmysql-serverapt-get installmysqls...

HDFS中NameNode工作机制1.NameNode的主要功能（1）负责客户端请求的响应；（2）负责元数据的管理。2.元数据管理namenode对数据管理采用了三种存储形式：（1）内存元数据；（2）磁盘元数据镜像文件；（3）数据操作日志文件（可以通过日志运算出元数据）。2.1元数据的存储机制（1）内存中有一份完整的元数据（meta data）；（2）磁盘中有一个元数据镜像文件（fsimage），...

hdfs集群启动的常见问题1、用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：a、在服务器的终端命令行使用jps查看相关进程    观察节点是否存活b、如果已经知道了启动失败的服务进程，进入到相关进程的日志目录下，查看日志，分析异常的原因    1）配置文件出错，saxparser  exception； ——找到错误提示中所指出的配置文件检查修改即可    2）unk...

                                  Hadoop集群常见问题1、运行mr程序出错connecting to resoucemanager retrying ....  retrying .....  原因是没有启动yarn或者启动失败2、初始化工作目录结构hdfs namenode -format  只是初始化了namenode的工作目录而d...

用Eclipse上传文件到hdfs集群的常见问题一、准备工具：windows平台的hadoop（我的是hadoop-2.6.4包，这个包我不知道怎么上传上来，2333....），eclipse;第一步：首先把压缩包解压；第二步：配置环境变量添加一个HADOOP_HOME=E:\hadoop 2.6.4（填你自己的路径）；把%HADOOP_HOME%\bin添加到Path中...