- 博客(3)
- 收藏
- 关注
原创 全分布式hadoopd及其组件搭建
实验一 Linux操作系统环境设置实验任务一:配置 Linux 系统基础环境步骤一:查看服务器的 IP 地址:步骤二:设置服务器的主机名称bashhostnamemaster步骤三:绑定主机名与 IP 地址步骤四:查看 SSH 服务状态步骤五:关闭防火墙步骤六:创建 hadoop 用户实验任务二:安装 JAVA 环境步骤一:下载 JDK 安装包(jdk-8u152-linuxx64.tar.gz)
2024-04-28 14:45:35
1331
4
原创 伪分布式hadoop+spark+scala 超详细搭建
步骤一:将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下,并将解压文件改名为hadoop。复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml。步骤一:安装命令如下,将安装包解压到/usr/local目录下,将安装包放在了root目录下。步骤三:编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件。步骤一:创建ssh秘钥,输入如下命令,生成公私密钥。
2024-04-25 17:20:34
2173
9
原创 人人都能学,扒一扒spark的小心机
Hadoop是较早用于处理大数据集合的分布式存储计算基础架构,目前由Apache软件基金会管理。通过Hadoop,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力执行高速运算和存储。Hadoop是一个平台,在它之上可以更容易地开发和运行处理大规模数据的软件。2.MapReduceMapReduce概述MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。
2024-03-07 21:23:07
1330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人