hadoop
关注
分享
扫一扫
不要跟我说对不起
这个作者很懒，什么都没留下…
展开
-
学习篇-Hadoop-Hive-DDL操作
文章目录一、Hive-DDL1. Hive-DDL-数据库2. Hive-DDL-表一、Hive-DDL官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDLDDL：全称-Data Definition Languagecreate、delete、alter1. Hive-DDL-数据库创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_n原创 2020-05-09 14:35:07 · 1605 阅读 · 0 评论 -
学习篇-Hadoop-Hive-快速入门
文章目录一、Hadoop-Hive-快速入门一、Hadoop-Hive-快速入门启动Hivehive-创建数据库create database test_db;如何查看连接mysql数据库mysql -uroot -p输入密码查看hive数据库show databases;这边的数据库名称是hive-site.xml配置的数据库名称使用h...原创 2020-05-07 22:23:49 · 1796 阅读 · 0 评论 -
学习篇-Hadoop-Hive-环境部署
文章目录一、Hadoop-Hive-环境部署一、Hadoop-Hive-环境部署下载网址：http://archive.cloudera.com/cdh5/cdh/5/下载注意需要跟hadoop保持同一版本wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz上传到服务器scp hiv...原创 2020-05-05 22:25:00 · 1933 阅读 · 0 评论 -
学习篇-Hadoop-Hive-基础理论
一、Hadoop-Hive-基础理论1. Hive-产生背景MapReduce编程的不便性传统RDBMS人员的需要2. Hive-概述什么是Hive官方定义：The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in...原创 2020-05-05 21:25:25 · 1644 阅读 · 0 评论 -
学习篇-Hadoop-YARN-任务运行
文章目录一、Hadoop-YARN-任务运行1. 运行官方案例到yarn上2. 运行自定义作业到yarn上一、Hadoop-YARN-任务运行1. 运行官方案例到yarn上进入hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce2目录运行案例命令# 简单运行案例hadoop jar hadoop-mapreduce-examples...原创 2020-05-04 08:12:12 · 2139 阅读 · 0 评论 -
学习篇-Hadoop-YARN-环境搭建
文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html配置：etc/hadoop/mapred-site.xml<configuration> <...原创 2020-05-03 12:36:36 · 1931 阅读 · 0 评论 -
学习篇-Hadoop-YARN-基础理论
文章目录一、Hadoop-YARN-产生背景二、Hadoop-YARN-概述三、Hadoop-YARN-架构四、Hadoop-YARN-执行流程一、Hadoop-YARN-产生背景MapReduce1.x ===> MapReduce2.xmaster/slave：JobTracker/TaskTracker存在问题JobTracker是单节点的压力大仅仅只能支持ma...原创 2020-05-03 08:23:03 · 1583 阅读 · 0 评论 -
学习篇-Hadoop-MapReduce-流量统计
文章目录一、Hadoop-MapReduce-流量统计-需求分析二、Hadoop-MapReduce-流量统计-代码实现三、Hadoop-MapReduce-流量统计-Partitioner一、Hadoop-MapReduce-流量统计-需求分析现有一份access.log日志文件1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.19...原创 2020-05-02 18:00:00 · 2213 阅读 · 1 评论 -
学习篇-Hadoop-MapReduce-词频统计
文章目录一、Hadoop-MapReduce-词频统计-Mapper二、Hadoop-MapReduce-词频统计-Reducer三、Hadoop-MapReduce-词频统计-Driver一、Hadoop-MapReduce-词频统计-Mapper简要说明：Maps input key/value pairs to a set of intermediate key/value pairs....原创 2020-04-30 08:24:43 · 3861 阅读 · 0 评论 -
学习篇-Hadoop-MapReduce
文章目录一、MapReduce概述二、MapReduce编程模型三、MapReduce编程模型的执行步骤四、MapReduce编程模型的核心概念一、MapReduce概述源自于Google的MapReduce论文，论文发表于2004年12月Hadoop MapReduce是Google MapReduce的克隆版MapReduce优点：海量数据离线处理&易开发&易运行M...原创 2020-04-30 08:22:04 · 1650 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-存放策略
文章目录一、Hadoop-HDFS-存放策略二、HDFS-写数据的流程三、HDFS-读数据的流程四、HDFS-元数据管理-checkpoint五、HDFS-safemode一、Hadoop-HDFS-存放策略官网解释：HDFS’s placement policy is to put one replica on the local machine if the writer is on a ...原创 2020-04-29 19:09:43 · 1788 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-综合案例
综合性的HDFS实战：使用HDFS Java API才完成HDFS文件系统上的文件的词频统计。举例：/path/1.txt hello word hello /path/2.txt hello word word ==> (hello,3) (word,3)将统计完的结果输出到HDFS上去。功能拆解：读取HDFS上的文件 ==> HDFS API业务处理（词频统计）：对...原创 2020-04-28 13:06:26 · 1720 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-相关文件操作
文章目录一、HDFS-API-create写入文件内容二、HDFS-API-rename文件名三、HDFS-API-copyFromLocalFile拷贝本地文件到hdfs四、HDFS-API-带进度拷贝大文件五、HDFS-API-copyToLocalFile拷贝文件到本地六、HDFS-API-listStatus查看文件目录七、HDFS-API-listFiles递归查看文件目录八、HDFS-...原创 2020-04-27 16:26:19 · 1824 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-open读取文件
文章目录一、HDFS-API-open读取文件1. 准备数据和代码实现2. 出现的问题一、HDFS-API-open读取文件1. 准备数据和代码实现基于阿里云搭建的hadoop环境，先查看文件路径，命令：hadoop fs -ls /读取根目录下的README.txtJava代码：通过fileSystem对象open方法打开hdfs的文件// 打开阿里云hadoop服务根目录的REA...原创 2020-04-27 12:18:56 · 2426 阅读 · 0 评论 -
学习篇-Hadoop-HDFS-API-mkdir创建目录文件
文章目录一、HDFS-API-mkdir创建目录文件一、HDFS-API-mkdir创建目录文件使用HDFS API的方式来操作HDFS文件系统创建maven骨架项目工程在pom.xml文件中添加依赖# properties节点中添加版本控制<!--定义Hadoop版本--><hadoop.version>2.6.0-cdh5.15.1</hadoo...原创 2020-04-26 23:38:22 · 3948 阅读 · 0 评论 -
学习篇-Hadoop-单机单节点环境搭建.md
文章目录一、Hadoop-环境搭建一、Hadoop-环境搭建使用的Hadoop相关版本：CDH 注意选择一个版本之后，所有后续集成框架的版本都是对应的版本CDH相关软件包下载地址：http://archive.cloudera.com/cdh5/cdh/5/单节点搭建http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cd...原创 2020-04-25 22:57:54 · 1625 阅读 · 0 评论