齐世伟的博客

SparkCore 第一章 概述 1.1 概念 Spark是一种基于内存的快速、通用、可扩展的大数据的分析计算引擎。 1.2 Spark & Flink Spark : 主要适用于离线计算业务中 Flink : 主要适用于实时计算业务中 1.3 Spark & Hadoop 出现的时机：Hadoop1.x ~ Hadoop2.x Hadoop Spark 典型 基础平台，包含计算，存储调度 分布式计算工具 场景 大规模数据集的批处理 迭代计算，交互式计

1. 安装MySql 建议使用root用户角色进行安装，如果没有root权限就使用当前用户角色进行安装 测试当前系统是否有mysql，如果有，卸载自带的Mysql-libs。 ## 测试命令 [heather@hadoop01 mysql ]$ rpm -qa | grep -i -E mysql\|mariadb ## 删除命令 [heather@hadoop01 mysql ]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -

scala集合 集合默认的都是不可变集合 不可变集合 scala.collection.immutable._ 可变集合 scala.collection.mutable._ 元组TupleN n<=22 2种定义方式： val tp4:Tuple4[String，...] = new Tuple4(a,b,c,x) // 元组中可以放任意类...

外部类： 最普通的，我们平时见到的那种类，就是在一个后缀为.java的文件中，直接定义的类，比如 public class Student { private String name; private int age; } 内部类： 内部类，顾名思义，就是包含在外部类中的类，就叫做内部类。内部类有两种，一种是静态内部类，一种是非静态内部类。 public class School...

Elasticsearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucen...

1 近实时 近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级。 2 Cluster（集群） 集群包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常 3 Node（节点） 集群中的一个节点，节点也有一个名称（默认是随机分配的），节...