<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[luckGeek的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/luckGeek</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; luckGeek]]></copyright><item><title><![CDATA[Linux语法基础]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/88986856</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/88986856</guid><author>luckGeek</author><pubDate>Mon, 24 Jun 2019 20:25:38 +0800</pubDate><description><![CDATA[概述：本文主要介绍CentOS6.5下的一些基本命令的使用，包括正则表达式中特殊符号的含义、vi编辑器和文本分析工具awk的使用等，并给出命令的具体使用示例。

1、正则表达式

(1) ^(开头)、$(结尾)、|(或)、&lt;(单词边界)、&gt;(单词边界)、.、*、+、?的使用


需要使用\转义的符号：{、}，(、)，|、&lt;、&gt;、? 使用grep -E时可以不使用\转义上述...]]></description><category></category></item><item><title><![CDATA[Flume环境搭建与使用]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/90082303</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/90082303</guid><author>luckGeek</author><pubDate>Mon, 24 Jun 2019 20:20:05 +0800</pubDate><description><![CDATA[概述：本文主要讲述Flume基础环境的搭建，并实现简单的数据采集与输出。

1、Flume环境搭建

（1）安装JDK

下载并解压JDK、配置环境变量、版本检测

（2）下载并上传Flume


http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz
scp flume-ng-1.6.0-cdh5.7.0.tar...]]></description><category></category></item><item><title><![CDATA[Windows 10下查看端口占用与终止进程]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/91436286</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/91436286</guid><author>luckGeek</author><pubDate>Mon, 24 Jun 2019 20:01:48 +0800</pubDate><description><![CDATA[概述：启动Tomcat时有时会出现"Several ports (8005, 8088, 8009) required by Tomcat v8.5 Server at localhost are already in use"，原因可能是之前启动的应用占用了端口，或者其他软件退出后占用的端口未及时终止，除了可以通过任务管理器终止相关进程外还可以采用命令方式解除占用。

（1）查看所有连接PID
...]]></description><category></category></item><item><title><![CDATA[Flink读取文件数据的两种方式]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/91347265</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/91347265</guid><author>luckGeek</author><pubDate>Mon, 24 Jun 2019 20:00:58 +0800</pubDate><description><![CDATA[概述：Flink数据源（Data Sources）可以来自Java collections，也可以来自文件。本文主要介绍分别使用Scala和Java从CSV、Text中读取数据的方法，更详细信息可以参阅官方文档。

（1）Scala方式


/**
   * map算子
   *
   * @param env
   */
def mapFunction(env: ExecutionEnv...]]></description><category></category></item><item><title><![CDATA[Spark Streaming简单案例]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/90180269</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/90180269</guid><author>luckGeek</author><pubDate>Sun, 16 Jun 2019 20:00:36 +0800</pubDate><description><![CDATA[概述：本文主要介绍Spark Streaming的几个应用案例。

1、统计结果写入数据库

（1）创建数据库


CREATE TABLE wordcount(
    word VARCHAR(50) DEFAULT null,
    wordcount int(10) DEFAULT null
);

（1）创建连接


def createConnection() = {
  Cla...]]></description><category></category></item><item><title><![CDATA[Flink实现词频统计]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/91347205</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/91347205</guid><author>luckGeek</author><pubDate>Sat, 08 Jun 2019 20:00:42 +0800</pubDate><description><![CDATA[概述：Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。本文主要介绍Flink下使用Java和Scala程序分别实现塞缪尔·厄尔曼《青春》的词频统计。

1、使用mvn命令创建Flink工程

(1) Java模板...]]></description><category></category></item><item><title><![CDATA[Hadoop安装与配置]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/90757947</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/90757947</guid><author>luckGeek</author><pubDate>Mon, 03 Jun 2019 20:00:00 +0800</pubDate><description><![CDATA[概述：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 本文主要讲述CentOS 6.5下Hadoop 3.x的单机模式的安装过程，在安装前需要安装JDK1.8

1、下载Hadoop-3.1.2

2、上传文件


scp hadoop-3.1.2.tar.gz root@hadoop...]]></description><category></category></item><item><title><![CDATA[Spark实现统计插入]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89913574</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89913574</guid><author>luckGeek</author><pubDate>Sun, 12 May 2019 20:00:29 +0800</pubDate><description><![CDATA[概述：本文主要实现Saprk SQL多表连接查询，并将结果存入新表。需求说明：数据库中存在emp和dept两张表，统计dept表中每个部门的人数逆序排序并存入统计表stat。

如图所示



1、创建统计表


CREATE TABLE `stat` (
  `deptName` varchar(10) DEFAULT NULL,
  `total` int(11) DEFAULT NULL
)...]]></description><category></category></item><item><title><![CDATA[Zeppelin的使用]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89944337</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89944337</guid><author>luckGeek</author><pubDate>Sat, 11 May 2019 18:30:06 +0800</pubDate><description><![CDATA[概述：常见的数据可视化工具有Echarts、HightCharts、D3.js、HUE和Zeppelin等，本文主要介绍Zeppelin在ContOS 6.5下的简单使用。

1、官网下载并解压


tar -zxvf software/zeppelin-0.8.1-bin-all.tgz -C app/

2、启动Zeppelin


./root/app/zeppelin-0.8.1-bin-...]]></description><category></category></item><item><title><![CDATA[Spark On YARN]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89975094</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89975094</guid><author>luckGeek</author><pubDate>Thu, 09 May 2019 08:00:13 +0800</pubDate><description><![CDATA[概述：本文主要讲述如何将本地Spark工程打包放到YARN中运行。

1、基本案例

（1）spark-shell位置


cd /root/app/spark-2.4.2-bin-hadoop2.6/bin

（2）设置HADOOP_CONF_DIR位置


export HADOOP_CONF_DIR=/root/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
#或写...]]></description><category></category></item><item><title><![CDATA[Spark环境搭建与测试]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89817469</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89817469</guid><author>luckGeek</author><pubDate>Thu, 09 May 2019 08:00:07 +0800</pubDate><description><![CDATA[概述：本文主要介绍CentOS 6.5下基于Hadoop的Spark环境搭建过程，并实现塞缪尔·厄尔曼《青春》的词频统计，Spark的具体搭建过程如下：

1、下载并解压Spark源码


https://archive.apache.org/dist/spark/spark-2.4.3/spark-2.4.3.tgz

2、编译Spark

如果需要获取适配Hadoop的spark版本，可在Li...]]></description><category></category></item><item><title><![CDATA[Spark SQL数据源操作]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89817729</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89817729</guid><author>luckGeek</author><pubDate>Sat, 04 May 2019 20:50:20 +0800</pubDate><description><![CDATA[概述：本文介绍Spark SQL操作parquet、hive及mysql的方法，并实现Hive和MySql两种不同数据源的连接查询

1、操作parquet

（1）编程实现


#启动spark-shell
./app/spark-2.4.2-bin-hadoop2.6/bin/spark-shell --master local[2] --jars /root/software/mysql-c...]]></description><category></category></item><item><title><![CDATA[Spark SQL的简单使用]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89817663</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89817663</guid><author>luckGeek</author><pubDate>Sat, 04 May 2019 20:44:07 +0800</pubDate><description><![CDATA[概述：本文主要介绍SQLContext、HiveContext、SparkSession、spark-sql、spark-shell及thriftserver/beeline的简单使用。

1、SQLContext的使用

使用SqlContext可以从多种数据源中创建DataFrame,包括json、parquet、csv(2.x)、hive、jdbc等，使用参考图示：



（1）加载依赖

...]]></description><category></category></item><item><title><![CDATA[Spark中DataFrame与DataSet的使用]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89817609</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89817609</guid><author>luckGeek</author><pubDate>Sat, 04 May 2019 20:39:50 +0800</pubDate><description><![CDATA[概述：本文主要介绍了DataFrame、DataSet常见API的使用

1、DataFrame的使用


object DataFrameApp {
 def main(args: Array[String]): Unit = {
  val spark = SparkSession.builder().master("local[2]").getOrCreate()
​
  //将j...]]></description><category></category></item><item><title><![CDATA[Hive环境搭建与测试]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89716722</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89716722</guid><author>luckGeek</author><pubDate>Tue, 30 Apr 2019 23:02:39 +0800</pubDate><description><![CDATA[概述：本文介绍Hive基本环境的搭建，并实现塞缪尔·厄尔曼《青春》的词频统计

1、下载和HDFS版本匹配的Hive并解压


http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz
#注...]]></description><category></category></item><item><title><![CDATA[YARN配置与测试]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89667382</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89667382</guid><author>luckGeek</author><pubDate>Mon, 29 Apr 2019 07:02:03 +0800</pubDate><description><![CDATA[概述：本文介绍YARN环境配置，并实现塞缪尔·厄尔曼《青春》的词频统计

1、修改mapred-site.xml


cd app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
​
&lt;configuration&gt;
  &lt;property&gt;
    &lt;...]]></description><category></category></item><item><title><![CDATA[CenterOS 6.5内核升级]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89436621</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89436621</guid><author>luckGeek</author><pubDate>Sun, 21 Apr 2019 18:28:40 +0800</pubDate><description><![CDATA[概述：为了使CentOS 6.5支持新特性、新功能，处理旧版内核的Bug，通常需要升级内核。本文介绍了稳定版内核的升级和最新本内核升级的方法。

1、查看内核版本


uname -r

2、检查elrepo-kernel是否安装

如果命令提示错误，安装epel之后即可


yum --enablerepo=elrepo-kernel -y install kernel-ml-headers

...]]></description><category></category></item><item><title><![CDATA[RedHat 7 安装配置与更换 yum源]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89416170</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89416170</guid><author>luckGeek</author><pubDate>Sat, 20 Apr 2019 13:23:00 +0800</pubDate><description><![CDATA[概述：本文主要记述RedHat 7 下阿里yum源的更换过程，并以Docker的安装作为测试，虚拟机的配置过程省略。

1、更改ip及网关


vi /etc/sysconfig/network-scripts/ifcfg-ens33

内容为：


TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=...]]></description><category></category></item><item><title><![CDATA[SSM框架整合案例]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89301282</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89301282</guid><author>luckGeek</author><pubDate>Sun, 14 Apr 2019 20:33:10 +0800</pubDate><description><![CDATA[概述：本教程主要介绍SSM框架搭建的一般过程，并实现了简单的增删改功能

版本说明：


Spring相关：5.1.5

Mysql：5.1.47

druid连接池：1.1.12

Mybatis:3.5.0


1、创建maven项目

（1）创建ssm数据库表


CREATE TABLE `product` (
  `id` int(11) NOT NULL AUTO_INCREMENT,...]]></description><category></category></item><item><title><![CDATA[SSH框架整合案例]]></title><link>https://blog.youkuaiyun.com/luckGeek/article/details/89301138</link><guid>https://blog.youkuaiyun.com/luckGeek/article/details/89301138</guid><author>luckGeek</author><pubDate>Sun, 14 Apr 2019 20:26:00 +0800</pubDate><description><![CDATA[概述：本文将介绍SSH框架的简单整合过程，并实现用户的登录和注册

（1）先放两张图

SSH,SSM,SringBoot国内百度指数



（2）Goo**全球近三个月趋势比较



（2）SSH版本说明


Spring：5.1.5.RELEASE

Struts2：2.5.20

Hibernate：5.4.2.Final

MySQL：5.1.47

c3p0：0.9.5.4


1、创建...]]></description><category></category></item></channel></rss>