<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[chenxu_0209的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chenxu_0209</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chenxu_0209]]></copyright><item><title><![CDATA[Spark SQL 之 Aggregation]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/87711992</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/87711992</guid><author>chenxu_0209</author><pubDate>Mon, 04 Mar 2019 14:06:20 +0800</pubDate><description><![CDATA[Spark SQL 之 聚合函数 (Aggregation)
案例来自于世界杯足球赛相关数据
下载文件 https://www.kaggle.com/abecklas/fifa-world-cup#WorldCups.csv

数据样式

创建  WorldCUP 的case class
case class WorldCup(year:String,
                      ...]]></description><category></category></item><item><title><![CDATA[Spark SQL 之 Temporary View]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/87424866</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/87424866</guid><author>chenxu_0209</author><pubDate>Sat, 16 Feb 2019 09:50:50 +0800</pubDate><description><![CDATA[Spark SQL 之 Temporary View
spark SQL的 temporary view 是支持原生SQL 的方式之一
spark SQL的 DataFrame 和 DataSet 均可以通过注册 temporary view 的方式来形成视图
案例一： 通过 DataFrame 的方式创建
val spark = SparkSession.builder().config(con...]]></description><category></category></item><item><title><![CDATA[Spark 之 Datasets 创建方式]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/87192761</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/87192761</guid><author>chenxu_0209</author><pubDate>Wed, 13 Feb 2019 17:23:03 +0800</pubDate><description><![CDATA[创建Datasets 的三种方式


由DataFrame 转化成为 Dataset


通过 SparkSession.createDataset()  直接创建


通过toDS 方法意识转换


案例一:  由DataFrame 转化成为 Dataset
 val spark = SparkSession.builder().config(conf).getOrCreate();
 impo...]]></description><category></category></item><item><title><![CDATA[Spark: DataFrame vs DataSet]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/87004259</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/87004259</guid><author>chenxu_0209</author><pubDate>Mon, 11 Feb 2019 16:38:02 +0800</pubDate><description><![CDATA[DataFrame vs DataSet
1. Objective
Recently, there are two new data abstractions released dataframe and datasets in apache spark. Now,  it might be difficult to understand the relevance of each one. Al...]]></description><category></category></item><item><title><![CDATA[SparkSQL之处理结构化数据]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/86598916</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/86598916</guid><author>chenxu_0209</author><pubDate>Thu, 31 Jan 2019 13:28:40 +0800</pubDate><description><![CDATA[SPARKSQL 处理结构化数据
同样SPARKSQL 处理机构化数据也存在2个大的API：transformation 和action
Transformation API 列表




Operation
desc




select
对应传统SQL的select 语句


selectExpr
select 语句中添加表达式


filter where
过滤条件


distinct d...]]></description><category></category></item><item><title><![CDATA[如何将Spark 源码导入IDEA中]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/86633382</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/86633382</guid><author>chenxu_0209</author><pubDate>Thu, 24 Jan 2019 21:15:52 +0800</pubDate><description><![CDATA[下载spark 源码
https://github.com/apache/spark/
在branch 中选择 相应的版本，这里我选择2.4版本

待下载完成后，解压文件

在IDEA中 选择导入项目

选择解压源码路径










...]]></description><category></category></item><item><title><![CDATA[Spark SQL 之 DataFrame 创建的几种方式]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/86506045</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/86506045</guid><author>chenxu_0209</author><pubDate>Tue, 22 Jan 2019 13:53:15 +0800</pubDate><description><![CDATA[SparkSQL 组件在Spark 体系中架构图

DataFrame
Dataframe 的概念有点像传统数据库中的表，每一条记录都代表了一个 Row Object.
与RDD的API 类似，DataFrame 的API 可以分为2种： transformations and actions.
Dataframe 可以从 Hive 或者其他的 database 中读取创建。
如何创建 DataF...]]></description><category></category></item><item><title><![CDATA[Spark RDD 之 pair (k.v) 操作]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/86407606</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/86407606</guid><author>chenxu_0209</author><pubDate>Mon, 14 Jan 2019 16:23:39 +0800</pubDate><description><![CDATA[这篇文章是关于spark RDD Key/Value Pair 的操作
1. 创建 k/v pair 的RDD
val sc = new SparkContext(conf);
val strArray = List(&amp;quot;this is spark&amp;quot;,&amp;quot;It is fun!&amp;quot;,&amp;quot;spark is cool&amp;quot;);
val strRDD = sc.parallelize(strArray);
va]]></description><category></category></item><item><title><![CDATA[Spark之RDD常用操作]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/85161339</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/85161339</guid><author>chenxu_0209</author><pubDate>Wed, 09 Jan 2019 09:10:22 +0800</pubDate><description><![CDATA[test

]]></description><category></category></item><item><title><![CDATA[Cassandra 之多数据中心集群搭建]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/85197089</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/85197089</guid><author>chenxu_0209</author><pubDate>Sat, 22 Dec 2018 22:16:41 +0800</pubDate><description><![CDATA[1.  集群架构如下：
准备5台RHL 7.2 的VM servers
模拟4台在数据中心TJPDC,一台在数据中心WHDRC
此次安装的cassandra 版本是  apache-cassandra-2.2.7




数据中心
机器列表




TJPDC
192.168.1.180，192.168.1.181，192.168.1.182，192.168.1.183


WHDRC
192.1...]]></description><category></category></item><item><title><![CDATA[Spark 2.4 之 standalone 集群搭建]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/85178244</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/85178244</guid><author>chenxu_0209</author><pubDate>Fri, 21 Dec 2018 23:10:51 +0800</pubDate><description><![CDATA[本文参考官方文档：  http://spark.apache.org/docs/latest/spark-standalone.html
1.预先搭建3台hadoop 的集群




SERVER INFO
version




192.168.1.10
RHL6.8 &amp;amp;amp; Hadoop 2.7.3


192.168.1.11
RHL6.8 &amp;amp;amp; Hadoop 2.7.3


19...]]></description><category></category></item><item><title><![CDATA[Cassandra 之Memtable,SSTable]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/85098056</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/85098056</guid><author>chenxu_0209</author><pubDate>Wed, 19 Dec 2018 15:24:04 +0800</pubDate><description><![CDATA[Memtable 是cassandra 写入磁盘之前进入的内存结构区域
对于一个写请求来说满足如下2个条件，才会向客户端返回成功

成功写入commit_log 中
成功写入内存的memtable 中

Memtable 满足如下条件，才会从内存中向磁盘sstable 中写数据

commit_log 空间到达阈值  commitlog_total_space_in_mb
内存空间到达阈值  me...]]></description><category></category></item><item><title><![CDATA[Cassandra 之 commit_log]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/85094214</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/85094214</guid><author>chenxu_0209</author><pubDate>Wed, 19 Dec 2018 12:59:11 +0800</pubDate><description><![CDATA[本文介绍了cassandra 之commit_log
1. Cassandra 写入数据流程如下
a)  写入commit_log 中
b)  写入内存的memtable 中
c)  最后从内存的memtable中flush 到磁盘的SStables中
注意 a) 和 b) 是并行执行的
commit_log 的作用类似于oracle的redo log 和 mongo 的 jouney log. ...]]></description><category></category></item><item><title><![CDATA[IDEA 中开发第一个Spark 程序]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/85019939</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/85019939</guid><author>chenxu_0209</author><pubDate>Sun, 16 Dec 2018 17:29:07 +0800</pubDate><description><![CDATA[1. 创建一个Maven 项目

2. 添加SCALA依赖库

修改POM.xml 文件
加入 hadoop-client 和spark-core_2.11 的库依赖
 &amp;amp;lt;!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --&amp;amp;gt;
    &amp;amp;lt;dependency&amp;amp;gt;
      &amp;amp;lt;gr...]]></description><category></category></item><item><title><![CDATA[Spark 2.4 入门之基于Hadoop 2.7.3环境搭建]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/84948302</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/84948302</guid><author>chenxu_0209</author><pubDate>Wed, 12 Dec 2018 23:11:42 +0800</pubDate><description><![CDATA[准备环境

3 台 Linux VM Server RHL6.8 * 3
Hadoop 2.7.3 集群环境搭建

下载Spark 2.4 版本
网址： https://spark.apache.org/downloads.html

镜像地址 http://mirror.bit.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.t...]]></description><category></category></item><item><title><![CDATA[PostgreSQL 10 安装]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/84889621</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/84889621</guid><author>chenxu_0209</author><pubDate>Tue, 11 Dec 2018 10:39:32 +0800</pubDate><description><![CDATA[1. 官网下载软件
地址链接:  https://www.postgresql.org/ftp/source/v10.0/
postgreSQL 的 版本是 10  操作系统是 Red Hat Enterprise Linux Server release 7.2 (Maipo)

[root@tjtestrac1 postgreSQL]# wget https://ftp.postgresql....]]></description><category></category></item><item><title><![CDATA[Kafka 入门教程之三 生产者配置以及发送信息的方式]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/84775959</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/84775959</guid><author>chenxu_0209</author><pubDate>Mon, 03 Dec 2018 17:45:53 +0800</pubDate><description><![CDATA[这篇文章是关于Kafka 生产者配置以及消息的发送方式进行代码级别的案例分享
kafka 提供了3种发送信息的方式

Fire-and-forget

这种方式是不管发送成功与否，客户端都会返回成功。尽管大多数的时候Kafka 在发送失败后，会自己重新自动再一次发送消息，但是也会存在丢失消息的风险

Synchronous send

这种方式是同步发送的方式，会等待future 对象的返回来判断...]]></description><category></category></item><item><title><![CDATA[Kafka 入门教程之二: Java连接Kafka之生产者]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/84567716</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/84567716</guid><author>chenxu_0209</author><pubDate>Fri, 30 Nov 2018 14:42:00 +0800</pubDate><description><![CDATA[1.	检查service配置文件
修改参数 listeners = PLAINTEXT://your.host.name:9092
注意防火墙对端口的屏蔽
[kafka@tjtestrac1 config]$ cd $KAFKA_HOME/config 
[kafka@tjtestrac1 config]$ vi server.properties
########################...]]></description><category></category></item><item><title><![CDATA[Kafka 入门教程之一: 安装]]></title><link>https://blog.youkuaiyun.com/chenxu_0209/article/details/84566529</link><guid>https://blog.youkuaiyun.com/chenxu_0209/article/details/84566529</guid><author>chenxu_0209</author><pubDate>Tue, 27 Nov 2018 15:21:38 +0800</pubDate><description><![CDATA[Kafka 入门教程之一: 安装
1.	官网下载软件
http://kafka.apache.org/

2.	安装单节点kafka
a)	创建用户kafka
[root@tjtestrac1 ~]# useradd kafka 
[root@tjtestrac1 ~]# passwd kafka
Changing password for user kafka.
New password: 
B...]]></description><category></category></item></channel></rss>