weixin_40598838的博客

大数据底层生态Hadoop大数据工具Hadoop服务器下的Hadoop使用大数据工具HadoopHadoop是一个能够对大量数据进行分布式处理的软件框架，是一个能够让用户轻松架构和使用的分布式计算平台。用户可轻松地在Hadoop上开发和运行处理海量数据的应用程序。服务器下的Hadoop使用1.首先需要下载Hadoopwget http://mirror.bit.edu.cn/apache...

使用Java操作Hadoop的上传下载

MapReduce简介MapReduce的地位HDFS：分布式存储系统MapReduce：分布式计算系统YARN： Hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等MapReduce的定义(1)MapReduce是一个基于集群的高性能并行计算平台。它允许用普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群...

Hbase的安装配置Hbase下载下载压缩包（选择与自己安装的Hadoop版本的兼容版本，参考https://blog.youkuaiyun.com/tzhuwb/article/details/81153323 ）通过以下命令从官网下载Hbase：wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-1.4.9-bi...

#fd

hive简介hadoop是为了存储数据和计算而推广的技术，而和数据挂钩的也就属于数据库的领域了，所以hadoop和DBA挂钩也就是情理之中的事情，在这个基础之上，我们就需要为了DBA创作适合的技术。hive正是实现了这个，hive是要类SQL语句（HiveQL）来实现对hadoop下的数据管理MySQL安装官网下载mysql-server（yum安装）wget http://dev.my...

spark的安装与配置下载sparkwget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz解压sparktar -zxvf spark-2.4.3-bin-hadoop2.7.tgz结果如下图scala的安装与配置下载scalahttps://www....