
Hadoop
Hadoop
风流 少年
我走的很慢,但从不后退!Not designed!
展开
-
Hadoop MapReduce
一:简介MapReduce主要是先读取文件数据,然后进行Map处理,接着Reduce处理,最后把处理结果写到文件中。Hadoop读取数据:通过InputFormat决定读取的数据的类型,然后拆分成一个个InputSplit,每个InputSplit(输入分片)对应一个Map处理,RecordReader读取InputSplit的内容给MapInputFormat:输入格式,决定读取数据的...原创 2020-02-14 14:26:58 · 303 阅读 · 1 评论 -
Hadoop HDFS
一:简介Hadoop是一个用Java开发的开源框架,它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。特别适合写一次,读多次的场景。Hadoop一般用于对大量数据执行完整统计分析的应用程序。二:Hadoop架构HDFS:分布式文件系统 Hadoop Distributed File SystemYA...原创 2020-02-13 15:01:36 · 645 阅读 · 0 评论 -
Mac安装Hadoop
1. ssh免密登录具体配置方法:(1)ssh-keygen -t rsa (一路回车直到完成)(2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys(3)chmod og-wx ~/.ssh/authorized_keys然后重启终端,在命令行下输入&a原创 2019-03-05 16:56:48 · 15104 阅读 · 1 评论