王小懒的学习笔记

安装hdfs集群的具体步骤：一、首先需要准备N台linux服务器学习阶段，用虚拟机即可！先准备3台虚拟机：1个namenode节点 + 2 个datanode 节点二、修改各台机器的主机名和ip地址主机名：node1 对应的ip地址：192.168.223.11主机名：node2 对应的ip地址：192.168.223.12主机名：node3 对应的ip...

前提：已经完成主机名和IP地址映射，未完成的请在/etc/hosts下修改，并且三台主机上均有用户ws情景假设：现在我有三台主机，主机名分别是node1、node2、node3，现在我需要设置node1到node2和node3之间的免密登录，例如这样：ssh node2 便可以登录node2主机步骤一：三台主机上分别生成ssh秘钥，即在三台主机上分别执行下列代码一次，一直回车即可ssh-ke...

客户端的理解hdfs的客户端有多种形式：网页形式 命令行形式 客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网文件的切块大小和存储的副本数量，都是由客户端决定！所谓的由客户端决定，是通过配置参数来定的hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：切块大小的参数： dfs.blocksize副本数量的参数： dfs.replic...

开发前准备工作在windows开发环境中做一些准备工作，因为Hadoop是适用于Linux操作系统上的，所以下载的开发包也是按照Linux系统编译的，因此，要在window下开发，需要下载源码包，使用windows进行编译。否则在使用某些功能时会提示找不到HADOOP_HOME,winutils.exe等。这里有一份已经编译的精简的windows版本（约3M左右，只保留了一些必须的功能）。链接...

MapReduce模型MapReduce编程遵循一个特定的流程，首先编写map函数和reduce函数，最好使用单元测试来确保函数的运行符合预期，然后编写一个驱动程序来运行作业，看这个作业是否可以正确运行。当然你也可以使用本地IDE来调试用例，使其能正确处理输入，并得到预期输出。map函数要编写map函数，首先需要继承Hadoop提供的Mapper这个类（org.apache.hadoo...

zookeeper快速上手zookeeper的基本功能和应用场景zookeeper的整体运行机制zookeeper的数据存储机制数据存储形式zookeeper中存储数据的基本形式为： key ， value只是zk有点特别：key：是以路径的形式表示的，那就意味着，各key之间有父子关系，比如/ 是顶层key用户建的key只能在/ 下作为子节...

Scala详细教程目录Scala详细教程1.Scala 介绍1.1 什么是 Scala Scala1.2 为什么要学 Scala2.开发环境准备2.1 ScalaSDK 安装2.1.1Window 下安装 ScalaSDK2.1.2Linux 下安装 ScalaSDK2.2 IDEA 安装2.3 IDEAScala 插件的离线安装2.4 IDEA ...