whulovely的博客

linux版本：CentOS 6.4 +本地登录到远程服务器：ssh hadoop@192.168.X.X   登录密码：X     linux的hadop用户（/home/hadoop)上创建目录：app   所有软件的安装目录data  测试数据lib  开发的jarsoftware  软件的安装包的目录souce   框架源码如果需要root权限 直接用sud

1 Master(NameNode/NN)  带 N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize：128M130M ==> 2个Block： 128M 和 2MNN：1）负责客户端请求的响应2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理DN：1）存储用户的

Scala学习——基础篇一、环境搭建1、启动Scala解释器（1）安装Scala；（2）确保scala/bin目录位于系统PATH中；（3）打开命令行窗口，键入scala并按Enter键。2、IDE（based on Eclipse IDE）（1）下载相应版本 IDE;（2）解压。在IDE中新建Scala Worksheet（跟REPL类似）。二、基础

近日网上有一篇关于Java程序员职场生存现状的文章“2017年 Java 程序员，风光背后的危机”，在Java程序员圈子里引起了广泛关注和热议。2017年，Java 程序员面临更加激烈的竞争。不得不承认，经历过行业的飞速发展期，互联网的整体发展趋于平稳。为什么这么说？为什么要放在 Java 程序员的盘点下说？的确，对于进可攻前端，后可守后端大本营的 Java 程序员而言，虽然供应逐年上涨，但是市场...

1.问题用./start-dfs.sh启动hdfs，并没有DataNode节点，用jps查看只有9235 NameNode9646 Jps9535 SecondaryNameNode2.查看日志注意查看.log的文件，这是相关日志，而不是看.out文件，把日志路径的out改为log，部分日志2018-03-12 11:06:44,986 INFO org.apache.hadoop.ipc.Ser...

本篇是hdfs的安装所用版本：hadoop-2.6.0-cdh5.7.0.tar.gz1）jdk安装解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app添加到系统环境变量： ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATH...

spark编译中难免会遇到坑,现在总结下目前遇到的坑前置要求：1）Building Spark using Maven requires Maven 3.3.9 or newer and Java 7+2）export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"2种方式编译spark1.mvn编译命令：./build/mvn -Pyarn ...