hadoop学习笔记

hadoop学习笔记——NO.1 linux的命令操作 1、日常操作命令 查看当前所在的工作目录 pwd 查看当前系统的时间 date 查看有谁在线(哪些人登陆到了服务器） who #查看当前在线 last #查看最近的登陆历史记录 2、文件系统操作 ls / #查看根目录下的子节点（文件夹和文件）信息 ls -al #-a...

轻量级RPC框架学习 RPC原理 RPC(Remote Procedure Call Protocol)——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加...

Zookeeper Zookeeper概念简介： Zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活，zk就能正常服务) 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、...

HADOOP集群搭建与使用初步 HADOOP集群搭建 集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager /NodeMana...

Hadoop分布式文件系统HDFS HDFS前言 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析 在大数据系统中作用 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 重点概念：文件切块，副本存放，元数据 HDFS的概念和特性 首先，它是一个文件系统，用于...

hadoop学习笔记——NO.6_MapReduce_1 1.MapReduce原理篇（1） MapReduce是一个分布式运算程序的编程框架，是用户开发”基于hadoop的数据分析应用”的核心框架。 Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 1.1 为什么要MAPREDUCE 1、...