javaeee1的博客

大数据大数据主流技术简介大数据主流技术简介之前因为工作原因，将大数据放下了，最近有时间又重新温故了一遍文章目录大数据大数据主流技术简介前言一、大数据的技术分类1.存储类2.计算类3.应用类二、发展和工具1.Google的演进过程2.主流技术Hadoop生态Hadoop是什么？Hadoop的优点总结前言在学习一个东西前，我们首先得明确我们学习的目的：我们为什么要学习这个？学习这个有什么用？这个有什么优点值得我们学习？接下来就让我们开始学习吧一、大数据的技术分类 大数据的技术

JDK+Hadoop安装配置、单机模式配置以下操作在cenos7里面完成单机模式配置hadoop -env.shHadoop伪分布式模式配置Hadoop完全分布式模式配置以下操作在cenos7里面完成使用工具：secureCRT,VMware1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firew...

步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...

HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...

为什么使用redisRedis是一个开源（BSD许可），内存数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，如字符串，散列，列表，集合，带有范围查询的排序集，位图，超级日志，具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel提供高可用性并使用Redis Cluster自动分区。*安装*下载...

MySQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm③安装yu...

一、Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...

所需的组件HDFS 分布式存储系统MapReduce 分布式计算系统YARN hadoop 的资源调度系统Common 以上三大组件的底层支撑组件，提供基础工具包和 RPC 框架等mapreduce功能Mapper负责“分”分解计算任务，规模大大缩小；“计算向数据靠近” ；这些小任务可以并行计算。Reducer负责“汇总” map阶段的结果~...

flume的安装和使用wget “http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz”官方下载包创建文件夹并解压cd /opt/modulemkdir flumetar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume配...