
大数据
文章平均质量分 94
coppher
这个作者很懒,什么都没留下…
展开
-
FlinkCEP - Flink的复杂事件处理
Flink CEP使用快速入门原创 2023-02-12 13:33:16 · 772 阅读 · 0 评论 -
基于CentOs7搭建MongoDB集群
基于CentOs7搭建MongoDB集群参考文章:https://blog.youkuaiyun.com/richie696/article/details/114660811 https://www.cnblogs.com/littleatp/p/8563273.html工作中经常使用到mongodb,在此总结下 集群部署过程;目标部署集群(分片+副本集)配置环境说明mongdb版本:4.2.14虚拟机列表:192.168.1.1192.168.1.2192.168.1.3系统为原创 2021-06-15 20:33:07 · 960 阅读 · 3 评论 -
Spark常用算子Scala示例
1, map对RDD中的每个元素都执行一个指定的函数类(映射)产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。当然map也可以把Key元素变成Key-Value对。scala> val rdd1 = sc.parallelize(Seq(1, 2, 3, 4)).map(value => value * 2)scala> rdd1.foreach(println)scala> val rdd2 = sc.parallelize(Seq(原创 2020-10-21 21:21:02 · 1217 阅读 · 0 评论 -
Spark Standalone模式安装
CentOs下安装Spark:安装环境:Linux:CentOs 7.5Spark:2.3.1Hadoop:2.7.3下载:Spark:http://spark.apache.org/downloads.html本文选择版本:https://archive.apache.org/dist/spark/spark-2.3.1/安装:新建分组机用户## 新建用户useradd hadoop## 设置密码passwd hadoop## 切换到hadoop用户su - hado原创 2020-10-21 20:45:54 · 258 阅读 · 0 评论 -
Spark基本概念
Spark基本概念Spark简介Apache Spark的特性Spark适用场景Spark 与Hadoop MapReduce比较Spark基本概念Spark简介Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。目前已经形成一个高速发展应用广泛的生态系统。Apache Spark的特性我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:快速 大多数操作均在内存中迭代,只有少部分函数需要落原创 2020-10-21 20:20:53 · 173 阅读 · 0 评论