记录学习过程所学

具体组件介绍 Client客户端 文件切分——Blocks 与NameNode交互，获取文件位置信息 与DataNode交互，读入或写入数据 提供一些开关HDFS命令 NameNode 在内存中保存整个文件系统的名称空间和文件数据块的地址映射 整个HDFS可存储的文件数受限于NameNode的内存大小 元数据管理 1.元数据信息：文件名、文件目录结构、文件属性、每个文件块列表以及列表中块与块所在的DataNode之间的映射关系，数据会定期持久化到本地磁盘的fsImage文件和edits文

Hadoop背景 大数据特点 大量 高速 多样 结构化 非结构化 价值密度：快速对有效数据的”提纯“ 业务流程分析 需求——>数据部门搭建数据平台——>数据可视化 大数据部门组织结构 平台组 Hadoop、FLume、Kafka、HBase、Spark等框架平台搭建 集群性能监控 集群性能调优 数据仓库组 ETL数据清洗 Hive数据分析、仓库建模 数据挖掘组 算法工程师 推荐系统工程师 用户画像工程师 报表开发组...