一世为白

ssh原理          1. 没有配置ssh免输入密码登陆的时候，首先客户机向远程机发送请求远程机返回公钥，然后客户机利用公钥加密密码，发送给远程机，远程机在利用私钥解密（这种方式每次都需要输入密码。麻烦）         2.配置的ssh免密码登陆（用公钥登陆免输入密码）。首先先将公钥发送到远程机上面，远程机发送一串随机串给客户机，客户机用私钥对其加密后发送给远程机，远程机对其

MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。 面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大数据处理系统，即MapReduce。关于HDFS，可以参阅作者写的《Hadoop之

简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统 HDFS有很多特点：     ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。     ② 运行在廉价的机器上。     ③ 适合大数据的处理

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while creating archive: [ERROR] Exi

spark在linux下启动报 classnofoundException 把对应的包添加到一下路径  {spark_home}/lib 然后在{spark_home}/conf下的spark-env。sh 添加对应的包路径 export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/local/bigdata/spark-1.6

1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 1.2

Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details