
Hadoop
Hadoop
风流 少年
我走的很慢,但从不后退!Not designed!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop MapReduce
一:简介 MapReduce主要是先读取文件数据,然后进行Map处理,接着Reduce处理,最后把处理结果写到文件中。 Hadoop读取数据:通过InputFormat决定读取的数据的类型,然后拆分成一个个InputSplit,每个InputSplit(输入分片)对应一个Map处理,RecordReader读取InputSplit的内容给Map InputFormat:输入格式,决定读取数据的...原创 2020-02-14 14:26:58 · 325 阅读 · 1 评论 -
Hadoop HDFS
一:简介 Hadoop是一个用Java开发的开源框架,它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。特别适合写一次,读多次的场景。 Hadoop一般用于对大量数据执行完整统计分析的应用程序。 二:Hadoop架构 HDFS:分布式文件系统 Hadoop Distributed File System YA...原创 2020-02-13 15:01:36 · 666 阅读 · 0 评论 -
Mac安装Hadoop
1. ssh免密登录 具体配置方法: (1)ssh-keygen -t rsa (一路回车直到完成) (2)cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (3)chmod og-wx ~/.ssh/authorized_keys 然后重启终端,在命令行下输入&a原创 2019-03-05 16:56:48 · 15147 阅读 · 1 评论