
Spark
文章平均质量分 96
积微成著
每一个你不满意的现在,都有一个你没有努力的曾经。
展开
-
Spark——消费Kafka数据保存Offset到Redis
主要内容:Scala实现SparkStreaming消费Kafka数据保存Offset到Redis,实现自主维护Offset介绍部分源码SparkStreaming自主维护Offset的流程SparkStreaming启动时,先请求Redis或Hbase;Redis或Hbase返回请求结果,将结果(Topic、Partition、Offset的组合)封装成collectio...原创 2020-04-18 01:09:08 · 1525 阅读 · 1 评论 -
在Ubuntu16.04中配置Anaconda(Python2.7)以支持Spark2.0(Pyspark)
本文主要内容:对比Spark和Hadoop介绍PysPark和Anaconda搭建并配置运行WordCount最近想学习大数据分析平台Spark,由于实验室设备不足,只能先在本地搭建一个独立式的Spark环境,进行简单分析,逐步探索Spark的奥秘,为以后Spark集群操作打好基础。 对于从事数据挖掘和机器学习人员来说,使用anaconda的ipython notebook无疑是最棒的体原创 2016-12-12 20:28:29 · 7998 阅读 · 0 评论