大数据-Hadoop
关注
分享
扫一扫
水上冰石
物联网，机器人，系统架构，3d建模，人工智能，aigc,大模型
展开
-
Hadoop1.x学习笔记
1.Hadoop三种部署方式： 本地部署模式：默认模式，不启动守护线程，一个jvm线程 伪分布式模式：一台机器上，一个节点。使用分布式文件系统，job由jobtrack管理 分布式模式：master，slave。每台机器作为一个节点2.伪分布式模式：a.一台机器上运行所有Hadoop服务（5个守护线程）。原创 2017-03-23 14:44:21 · 354 阅读 · 0 评论 -
hadoop学习笔记2 伪分布模式linux配置
hadoop结构图伪分布式模式配置 1.关闭防火墙和禁用SELinuxservice iptables stop vim /etc/sysconfig/selinux设置SELINUX=disabled2.设置静态ip地址vim /etc/sysconfig/network-scripts/ifcf原创 2017-04-24 17:52:34 · 398 阅读 · 0 评论 -
hadoop日志
日志文件名称：hadoop-hadoop-datanode-hadoop-master.log标识框架名称 – 用户名（启动守护进程的用户名）-守护进程名称-运行守护进程的主机名称（hadoop-master）.log 有两种日志：分别以log，out结尾以log结尾的日志： 通过log4j日志记录格式进行记录的日志。采用的原创 2017-04-25 18:55:14 · 803 阅读 · 0 评论 -
hadoop三种启动方式
第一种方式启动：分别启动HDFS和MapReduce命令如下：start-dfs.sh start-mapreted.sh命令如下：stop-dfs.sh stop-mapreted.sh第二种方式全部启动或者全部停止启动：命令：start-all.sh启动顺序：NameNode，DateNode，Sec原创 2017-04-25 18:56:10 · 33933 阅读 · 0 评论 -
MapReduce编程模型
三大区域1） Mapper区域2） Reduce区域3） Client区域1）.Map阶段 a.数据数据格式的解析：InputFormat b.处理输入数据mapper c.数据分组（map函数处理以后的结果数据）partitioner2）.Reduce阶段 a.数据远程拷贝 b.数据按照key排序 c.数据处理Red原创 2017-05-08 20:56:07 · 486 阅读 · 0 评论