Icesuns‘s blogs

kubeadm自动创建集群 kubeadm自动创建集群 一 更新apt-get源 二 安装docker 和kubenetes 三 配置kubenetes 3.1 注意事项 3.2 配置master节点 3.3 配置子节点 最近在做一个比赛，需要部署在kubenetes集群上。手动创建集群需要配置很多环境文件，容易出现各种问题，因此。我们在利用kubenetes自动部署...

转载于 www.zicesun.com 之前看了一些Spark的相关内容，我觉得很有必要进行总结一下，不然都搭不起自己的知识框架。 Apache Spark Apache Spark™是用于大规模数据处理的统一分析引擎，是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计...

本文转载于 www.zicesun.com icesuns.github.io 本文讲介绍如何搭建spark集群。 搭建spark集群需要进行一下几件事情： 集群配置ssh无秘登录 java jdk1.8 scala-2.11.12 spark-2.4.0-bin-hadoop2.7 hadoop-2.7.6 上述所有的文件都安装在/home/zhuyb/opt文件夹中。 服务器 服务器是...

本文原地址在 www.zicesun.com icesuns.github.io Spark是一个基于分布式内存的大数据计算框架，RDD (Resilient Distributed Dataset)是Spark最重要的一个数据抽象。这篇文章记录了我对RDD的一些理解，有不足和错误的地方，请留言指正。 什么是RDD RDD (Resilient Distributed Dataset)，弹性分...

用java实现简单的Spark例子。 数据很简单，是一个被预先处理的日志文件，包括时间、电话号，上行流量和下行流量。一行为一条记录，不同数据之间用制表符隔开。 样本类 样本类是为了将日志文件的一条记录封装起来 package com.icesun.java.accessLog; import java.io.Serializable; public class LogInfo impleme...