展信佳，当你看到这段简介的时候，我“风吹海洋浪”已走马上任优快云博客平台。我来这只办一件事：致力于将模糊的概念清晰化，技术的语言通俗化，复杂的关系逻辑化，孤岛的知识碎片结构化，让我一心和技术大佬们共同进步，最重要的是！！！！！忘记【你】

大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager2.2.2 NodeManager2.2.3 AppllicationMaster2.3 MapReduce（计算）3.Hadoop目录结构3.1bin3.2etc（配置文件）3.3sbin（启动关闭命令）3.4

伪分布式：就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作而分布式：一.搭建：安装jdk配置环境安装hadoop配置环境变量-------在本地模式中依旧也要做前几步骤---------修改配置文件：①配合core-site.xml配置完 可以进行用cat命令查看 core-site.xml文件：②配置hdfs...

继https://blog.youkuaiyun.com/Taylor_Ocean/article/details/89085829 此篇文章中本地模式hadoop安装完成：该篇利用hadoop来完成 一个小例子：统计文件中的单词出现的频率：（针对文本格式的文件的处理）1.创建一个文件并且写入数据：2.词频统计：文件系统的命令一般使用运行过程：打印的信息运行结果： 在输出路径...

继Linux 基础篇之后：关系型数据库无法处理海量级别（TB等）的数据 引出 大数据大数据是什么：海量数据量（特点：（4v）大量（存储单元Tb）多样（大数据的数据：人脸识别 指纹识别图片视频等）高速（实时分析）价值（价值密度低，））Hadoop：分布式计算：一台机器就是一个服务器 磁盘有限所以存储有限====》改变为数据存储到不同的服务节点...

大数据计算技术-数据计算处理系统-计算模式（计算模型）1计算模式（计算模型）1.1批处理计算模式：数据计算处理系统例子：MapReduce计算模型1.2流计算模式1.2.1定义1.2.2流计算模式详细描述1.2.3基于流计算系统模式中的两种主要处理模式1.2.4流计算性能参数-衡量计算系统的性能的主要指标1.2.4.1系统吞吐率1.2.4.2系统响应时延1.2.5流计算的平台1.2.5.1Storm（采用了原生态处理模式的一个流计算平台）1.2.5.2Spark的Dsteam1.2.5.3Samza的Par

1.体系大数据概念，计算体系 数据采集、建模和分析 大数据处理的分析算法 大数据处理技术 数据可视化 Hadoop计算体系 HDFS/HBase存储架构 MapReduce计算模型 计算模型和架构 开发平台和工具软件2.大数据概念大数据（Big Data）特点：（4v）数据量大（数据存储不用关系型数据库---使用基于分布式文件系统的分布式数据库（例如NoSQL非关系型...

大数据计算技术大数据计算体系层次1数据应用系统2数据处理系统​​​​​​​​3数据存储系统3.1功能3.1.1数据清洗、抽取和建模3.1.1.1建模3.1.1.1.1概念模型3.1.1.1.2逻辑模型3.1.1.1.3物理模型（存储）3.1.2数据存储架构3.1.3数据仓库和数据服务3.1.4统一数据接口3.2层次单元3.2.1分布式文件系统：提供物理存储架构大数据计算体系层次1数据应用系统2数据处理系统​​​​​​​​​​​​​​​​3数据存储系统3.1功能3.1.1数据清洗、抽取和建模