hadoop
关注
分享
扫一扫
文章平均质量分 87
大数据hadoop学习记录
超哥--
遨游在0/1海洋中的苦逼大学生
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop第五章：Join/ETL
今天还是继续带来一些案例。第五章的内容基本就到这里了。原创 2022-07-16 19:39:30 · 659 阅读 · 0 评论 -
Hadoop第五章：几个案例（二）
这次依旧忽略理论部分继续带来一些案例。原创 2022-07-15 17:02:57 · 977 阅读 · 0 评论 -
Hadoop第五章：几个案例
Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client客户端Hadoop第四章：Client客户端2.0Hadoop第五章：词频统计Hadoop第五章：序列化Hadoop第五章：几个案例...原创 2022-07-08 17:58:42 · 2332 阅读 · 1 评论 -
Hadoop第五章：序列化
Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client客户端Hadoop第四章：Client客户端2.0Hadoop第五章：词频统计Hadoop第五章：序列化项目案例在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。...原创 2022-07-04 18:27:52 · 689 阅读 · 0 评论 -
Hadoop第五章：词频统计
Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client客户端Hadoop第四章：Client客户端2.0Hadoop第五章：词频统计............原创 2022-07-02 20:56:38 · 4035 阅读 · 1 评论 -
Hadoop第四章：Client客户端2.0
系列文章目录系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client客户端Hadoop第四章：Client客户端2.0文章目录系列文章目录系列文章目录前言一、简单封装二、上传文件副本数量优先级三、下载文件四、删除文件五、更名和移动总结前言在上一次的博客中我们完成了了Client的基础模板，这次我们将其完善。提示：以下是本篇文章正原创 2022-05-10 16:28:10 · 1157 阅读 · 0 评论 -
Hadoop第四章：Client客户端
系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client客户端文章目录系列文章目录前言一、配置环境1. 软件准备2.配置环境变量3.maven换源二、使用步骤1.引入库2.读入数据总结前言现在开始我们使用java来编写一个Hadoop的Clinet，为什么要这么做呢，简单说明一下，之前我们使用Hadoop进行操作，都需要连接到某一个节点原创 2022-05-02 23:23:16 · 3997 阅读 · 0 评论 -
Hadoop第三章：Shell命令
系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容原创 2022-04-27 19:11:48 · 2203 阅读 · 0 评论 -
Hadoop第二章：集群搭建（下）
系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）文章目录系列文章目录前言一、配置历史服务器1.配置文件2.分发脚本3.启动历史服务器二、常用脚本1.快速启动/关闭2.查看状态3.分发使用总结前言这次应该就是Hadoop集群搭建的最后一次了。最后完成一些群集搭建的后续任务。一、配置历史服务器上一次我们完成了一个简单的分布式计算，现在我们想查看历史信息。这时就会报错，就是因为我们没有配置历史原创 2022-04-16 13:18:57 · 1834 阅读 · 0 评论 -
Hadoop第二章：集群搭建（中）
系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）文章目录系列文章目录前言一、自定义文件配置1.core-site.xml2.hdfs-site.xml3.hdfs-site.xml4.mapred-site.xml二、分发配置文件三、启动集群1.配置works2.启动HDFS3.启动YARN4.web测试四、集群测试1.上传2.分布式计算五、集群关闭总结前言这次博客我们来继续进行上一次的集群搭建。这里先说一下集群的目标配置。原创 2022-04-15 16:54:08 · 2826 阅读 · 0 评论 -
Hadoop第二章：集群搭建（上）
系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）文章目录系列文章目录前言一、SSH免密登陆生成密钥二、分发脚本三、安装jdk和hadoop总结前言上一次完成了hadoop的基本环境准备，这一次将进行集群的搭建，不知道一次能不能写完。开始前先把三台102-104三台虚拟机都启动。并用Xshell都连接好。一、SSH免密登陆为了方便节点的之间的通信和信息同步，咱们要为节点之间设置免密登陆。以hadoop102为例开始配置。用atguigu用户登陆并到达如图位置。原创 2022-04-13 18:32:06 · 1088 阅读 · 0 评论 -
Hadoop第一章：环境搭建
系列文章目录第一章：环境准备文章目录系列文章目录@[TOC](文章目录)前言一、软件准备二、安装模板机1.修改主机名2.修改IP3.添加普通用户4.创建文件目录5.卸载自带的jdk6.配置网络7.安装epel-release8.关闭防火墙9.配置hosts三、复制虚拟机四、Xshell链接总结前言从现在开始记录自己的hadoop学习情况，计划博客一周一次一、软件准备Vmare虚拟机centos7镜像XshellXftp二、安装模板机看我之前的一次博客redhat安装根据自己原创 2022-04-12 22:49:05 · 3302 阅读 · 0 评论