apiece1的博客

原创 Hadoop运行模式

什么是？Hadoop CommonHDFSHadoop YARNHadoop MapReduce官方WordCount案例1、创建在hadoop-2.7.2文件下面创建一个wcinput2、在wcinput文件下创建一个wc.input文件3、编辑wc.input文件4、回到Hadoop目录、opt/module/hadoop-2.7.25、执行程序6、查看结果4.2伪分布式模式配置是按多台服务器搭的但其实只有一台适合电脑配置一般的用来学习测试etc/hadoop/core-s

原创 Hadoop——从Hadoop框架讨论大数据生态(二)

2.5.3 MapReduce 框架概述MapReduce 将计算过程分为两个阶段：Map和Reduce1）Map阶段并行处理输入数据2）Reduce阶段对Map结果进行汇总2.6 大数据技术生态体系数据来源层：数据库（结构化数据）文件日志（半结构化数据）视频、ppt等（非结构化数据）数据传输层：Sqoop数据传递Flume日志收集Kafka消息队列数据存储层：HDFS文件存储HBase非关系型数据库Kafka消息队列资源管理层：YARN资源管理数据计算层：MapRe

原创 Hadoop——从Hadoop框架讨论大数据生态

2.1 Hadoop是什么1）是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算3）广义上来说，Hadoop通常是指一个更广泛的概念–Hadoop生态圈2.2 Hadoop发展历史Doug Cutting开创可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文）GFS–>HDFSMap-Reduce–>MRBigTable–>HBase2.3 Hadoop三大发行版本三大发行版本：Apache、

原创 Hadoop——HDFS文件下载

3.2.2 HDFS文件下载1、获取文件系统Configuration conf = new Configuration();FileSystem fs = FileSystem.get(new URI(“hdfs://hadoop102;9000”), conf ,“atguigu”);2、执行下载操作//fs.copyToLocalFile(new Path(“路径”），new Path(“路径”))；fs.copyToLocalFile(false, new Path(“路径”), new

原创 Hadoop——HDFS文件上传（测试参数优先级）

3.2 HDFS的API操作3.2.1HDFS文件上传一、编写代码（1）获取文件系统（2）上传文件（3）关闭资源1、文件上传：@Testpublic void testCopyFromLocalFile（）（1）获取fs对象Configuration conf = new Configuration();FileSystem.get(new URI(“hdfs://hadoop102:9000”), conf ,“用户名称”)；（2）执行上传APIfs.copyFromLocalF

原创 排序

原创 第七章

原创 第七章

原创 第六章

原创 第五章

原创 第四章

原创 第三章

原创 第二章

原创 第一章

原创 绪论