javaeee1的博客

大数据 大数据主流技术简介 大数据主流技术简介 之前因为工作原因，将大数据放下了，最近有时间又重新温故了一遍 文章目录大数据大数据主流技术简介前言一、大数据的技术分类1.存储类2.计算类3.应用类二、发展和工具1.Google的演进过程2.主流技术Hadoop生态Hadoop是什么？Hadoop的优点总结 前言 在学习一个东西前，我们首先得明确我们学习的目的： 我们为什么要学习这个？ 学习这个有什么用？ 这个有什么优点值得我们学习？ 接下来就让我们开始学习吧 一、大数据的技术分类 大数据的技术

JDK+Hadoop安装配置、单机模式配置以下操作在cenos7里面完成单机模式配置hadoop -env.shHadoop伪分布式模式配置Hadoop完全分布式模式配置 以下操作在cenos7里面完成 使用工具：secureCRT,VMware 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firew...

步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。） 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...

HBase安装配置 ①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录） 官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Co...

为什么使用redis Redis是一个开源（BSD许可），内存数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，如字符串，散列，列表，集合，带有范围查询的排序集，位图，超级日志，具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel提供高可用性并使用Redis Cluster自动分区。 * 安装 *下载...

MySQL安装 ①官网下载mysql-server（yum安装） wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用，下载安装wget：yum -y install wget ②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm ③安装yu...

一、Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...

所需的组件 HDFS 分布式存储系统 MapReduce 分布式计算系统 YARN hadoop 的资源调度系统 Common 以上三大组件的底层支撑组件，提供基础工具包和 RPC 框架等 mapreduce功能 Mapper负责“分” 分解计算任务，规模大大缩小； “计算向数据靠近” ； 这些小任务可以并行计算。 Reducer负责“汇总” map阶段的结果 ~...

flume的安装和使用 wget “http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz” 官方下载包 创建文件夹并解压 cd /opt/module mkdir flume tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume 配...