杨苗苗

yarn:作业调度和全局资源管理系统。yarn的相关服务：resourcemanager(master):老大，负责资源管理；负责client端的作业提交请求；负责接受nodemanage的汇报(心跳)；接受aapMaster的反馈；nodemanager(slave):小弟，管理当前节点的资源；接受rm的命令；接受appMaster的命令；container：容器；用于资源(内存、c...

HDFS  ===================  Hadoop Distributed File System 特点：1.易于扩展的分布式的2.运行在大量廉价机器上，提供容错机制（自动保存多个副本）hdfs的容错表现：hdfs的冗余机制(存储多个副本)。定期向namenode进行状态报告。读写异常会重试。分布式的存储3.为大量用户提供性能不错的文件存取服务hdf...

为什么要用maven：如果建立大一点的java项目的话，需要的jar和各jar包之间的依赖关系会很多，需要自己手动找jar包和jar依赖导入项目中，maven就是来解决这个问题的，用来管理java项目的jar包依赖和项目构建操作。安装配置：maven官网下载zip压缩包，解压到自己存放的目录，目录名之间最好不要有空格。配置系统环境变量：添加MAVEN_HOME=安装目录...

搭hadoop全分布式时需要先ssh免密登陆的。ssh免密登录想实现在一台机子上免密登录当前机子（想干什么操作需要输入密码时，就可以不用输密码而继续执行了），或者登录其他机子的时候，就要用到密钥登录。 例如：想在cent01这台机子登录另一台cent02密钥和公钥存放的位置在隐藏目录--------------   ~/.ssh  下1，先ssh cent02   ----...

hadoop的背景apache发行版本大致：1.x 和 2.x 和 3.x提供公司：apache ： 原生hadoopcloudar公司 : cdhhortworks公司提供 : hdpmapR国内：华为星环海量数据诞生、同时没有海量数据的存储、和处理goole:GFS、mapreduce、bigtablehadoop创始人Doug cutting: ha...

设计思路： * 每页显示3行数据一次性的按照页数来显示出所有的数据 * * 1、select * from tableName limit 3;(第一页) * 第二页的行数要大于第一页的最大行数，为了在写逻辑语句，无特殊性处理（对第一页）,写成通用性处理， * 确认通用性，下一页读取的开始行是比上一页的最后一行的rowkey大的 * 改成  select * from tableN...