写些小文章

windows 环境构建 hadoop，生成 winutils.exe 和 hadoop.dll

1.Hadoop 生态圈Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示：根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。1.1.HDFS（分布式文件系统）HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高容错性（fault-tolera

本文旨在搭建一个简单的 Hadoop 环境用于编程，依据官方文档而成，补充了几个搭建过程中可能会遇到的问题。官方文档地址：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html1.前期准备1.1.硬件要求CentOS7 服务器一台，虚拟机也可以，保证网络畅通[root@localhost ~]# ping www.baidu.comPING www.wshifen.com