大数据all_in环境搭建

最新推荐文章于 2025-02-28 13:43:27 发布
最新推荐文章于 2025-02-28 13:43:27 发布
阅读量378 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据学习 文章标签： 大数据 hadoop spark on hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_37556124/article/details/108797609
本文详述了一步一步在阿里云ECS上搭建大数据环境的过程，包括免密登录、JDK、Scala、Zookeeper、MySQL、Hadoop、Hive、Hue、DataX、Kafka、Flink、HBase、Phoenix、SQuirrel SQL Client、Spark的安装配置，以及Spark与Hive的整合。还涉及到Elasticsearch、Kibana和Canal的安装，涵盖了大数据处理的多个关键组件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据环境搭建

环境介绍

使用阿里云ecs环境，2核8G。

  1. jdk版本 jdk-8u211-linux-x64.tar.gz
  2. scala版本 scala-2.11.8.tgz
  3. zookeeper版本 apache-zookeeper-3.5.7-bin.tar.gz
  4. kafka版本 kafka_2.11-2.4.0.tgz
  5. hadoop版本 hadoop-3.1.3.tar.gz
  6. hive版本 apache-hive-3.1.2-bin.tar.gz
  7. hue版本 hue-master VERSION=“4.6.0”
  8. datax
  9. hbase版本 hbase-2.2.4-bin.tar.gz
  10. flink版本 flink-1.10.0-bin-scala_2.11.tgz
  11. flink-hadoop版本 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar
  12. spark版本 spark-2.1.1-bin-hadoop2.7.tgz
  13. elasticsearch版本 elasticsearch-6.3.1.tar.gz
  14. Kibana版本 kibana-6.3.1-linux-x86_64.tar.gz
-rw-r--r-- 1 root root 278813748 Sep 25 16:26 ap
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Python&aconda系列：史上最全最详细的Anaconda安装教程（win7版本）
weixin_54626591的博客
12-26 7874
史上最全最详细的Anaconda安装教程
搭建大数据集群环境
qq_53488289的博客
10-09 1054
实验环境准备操作系统：centos7所需实验包：所需架包：三台裸机（最小安装）IP。
重装Anaconda
qq_39817332的博客
02-28 916
作为一个大四学生，因为毕业设计选择了深度学习的部分，最近一段时间在家自学tensorflow的相关知识。因为使用anaconda进行python包管理，基于gpu的计算，最近把自己电脑上的conda环境搞崩了，重装了conda，在这记录。 首先安装的是anaconda3 5.2.0版本，因为之前安装的是5.3版本的，出现了不少的问题，在网上看到大家安装了5.3版本的大都有这些问题，所以重装的时...
win7系统下安装anaconda并且配置TensorFlow
liuliqun520的博客
06-05 701
直接上干货：一． 安装Anaconda3选择相应版本的Anaconda安装，因为官网直接下载的速度太慢，我们选择从清华大学开源软件镜像站下载。下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/进入网站后，下拉到底部，选择windows版本下载。安装过程中，直接点Next即可，安装位置最好选择默认可以省去许多麻烦。到图中这一步时，注...
Anaconda安装教程（超详细版）
m0_61607990的博客
03-14 21万+
目录 一、Anaconda简介 二、运行环境 三、安装Anaconda 四、手动配置环境变量（重点） 五、测试Anaconda环境是否配置成功 一、Anaconda简介 Anaconda，一个开源的Python发行版本，可用于管理Python及其相关包，包含了conda、Python等180多个科学包及其依赖项。 二、运行环境 Windows11 （Window10用户亦可参考，仅环境变量打开位置不同）。 三、安装Anaconda （1）百度“Anaconda”或者输入网址
Anconda安装（超详细 3
m0_60721649的博客
05-15 1367
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
大数据 Docker Hadoop 环境搭建
MrBlueSky的博客
12-09 1064
公司做某行数据中台POC，要添加大数据处理数据源，做为数据查询数据源引擎。快搭建做POC测试使用。此文件基础Docker技术，如何搭建Docker及使用请点击这里。
【基于OpenEuler国产操作系统大数据实验环境搭建】
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
12-11 2639
环境搭建，具体包括：Hadoop的分布式环境Spark分布式环境Zookeeper分布式环境HBase分布式环境Flume单机环境Hive单机环境Sqoop单机环境大数据组件的基本用法。
纯手动搭建大数据集群架构_记录022_麒麟系统v10_ARM架构集群搭建01_ARM架构jdk安装_集群架构_NameNode is stilling---大数据之Hadoop3.x工作笔记0182
添柴程序猿的专栏
06-12 314
最近客户给了个集群,三台机器,但是,却是ARM架构的,第一次安装arm架构的机器,对于软件,有一定的要求,这个过程中,主要是.我打算把,hadoop,每个机器,安装到对应的文件夹中去.那么这个时候,配置hadoop的etc/hadoop文件夹中的。这个位置,其实就是安装的openjdk. 这里要注意openjdk是有问题的, 他默认安装上了,但是没有清晰的指定。并且要指出的是,这三台机器,自身的硬盘都很小,只有一块9.8T的盘,但是这三台机器都挂到这个盘上面去了。
Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解
weixin_54626591的博客
12-18 3141
Anacond、Miniconda的下载安装配置教程详解
Anaconda安装与配置全攻略
liaozp88的博客
11-19 2870
Anaconda是一款集成式的数据科学和机器学习开发平台，提供了Python/R环境、包管理器（Conda）、Jupyter Notebook等常用工具，以及大量数据科学相关的库（如NumPy、Pandas、Matplotlib）。适用场景数据分析机器学习数据可视化启动方式在 Windows 的开始菜单中搜索 “Anaconda Navigator”。或在终端中输入：anaconda-navigator主要功能管理虚拟环境安装/卸载库。
Anaconda详细安装及使用教程（带图文）
热门推荐
代码帮
08-15 185万+
Anacond的介绍 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda的下载文件比较大（约531 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含conda和Python）。 Conda是一个开源的包、环境管理器，可以用于...
Windows下Anaconda的安装和简单使用
moving
07-26 20万+
Anaconda is a completely free Python distribution (including for commercial use and redistribution). It includes over 195 of the most popular Python packagesfor science, math, engineering, data analysi
重装系统后Anaconda3环境配置及相关问题解决
MordorBoy的博客
12-07 4816
重装系统 Annconda3 虚拟环境
重装系统后，anaconda如何恢复
Warmer_Sweeter
11-07 1089
电脑中给予anaconda创建了100个虚拟环境（夸张了）1. cd 到anaconda的安装路径；
服务器系统重装后anaconda3安装以及环境配置
charry_win的博客
12-29 2077
在Linux--ubuntu18.04//20.04 安装anaconda3
重装系统后使用原本已有的conda环境
weixin_43905656的博客
05-23 945
此电脑----->属性----->高级系统设置.----->环境变量.----->系统变量----->path----->编辑----->新建。
Win10系统配置conda环境，电脑重装之后
qq_41762975的博客
08-02 477
Win10系统配置conda环境，电脑重装之后
【不走弯路总结版】重装系统之后如恢复Anaconda和jupyter notebook
最新发布
ytoomob的博客
02-28 835
重装window11系统之后恢复jupyter和anaconda的详细步骤
构建大数据组件All-in-One Docker环境教程
标题中提到的“BigDataParty:大数据组件 All-in-One 的 Dockerfile”，实际上指的是一个包含多个大数据相关组件的单一Dockerfile。在接下来的内容中，我们将详细解释这些组件的具体作用、版本信息以及如何通过Docker...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IDONTCARE8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值