<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[starkpan的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/starkpan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; starkpan]]></copyright><item><title><![CDATA[Error starting child.....异常的解决方法]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/102836338</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/102836338</guid><author>starkpan</author><pubDate>Thu, 31 Oct 2019 13:52:01 +0800</pubDate><description><![CDATA[网上讲了很多都是：

web.xml的配置出现问题
就是&lt;url-pattern&gt;IndexServlet&lt;/url-pattern&gt;地方少了一个/’
正确的格式应该是&lt;url-pattern&gt;/IndexServlet&lt;/url-pattern&gt;


这个方法没有解决我的问题。

tomcat端口被占用，也会出现这个问题。

linux查看端口
...]]></description><category></category></item><item><title><![CDATA[controller传boolean形式值]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/102817818</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/102817818</guid><author>starkpan</author><pubDate>Wed, 30 Oct 2019 14:16:54 +0800</pubDate><description><![CDATA[@GetMapping("/check-cart")
public List&lt;CartViewDto&gt; checkCart(@RequestParam(value = "requirePrice", required = false) boolean requirePrice) {
		return service.checkCart(requirePrice);
	}

contr...]]></description><category></category></item><item><title><![CDATA[linux 安装nginx]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/88372879</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/88372879</guid><author>starkpan</author><pubDate>Sat, 09 Mar 2019 23:35:41 +0800</pubDate><description><![CDATA[1、下载nginx


wget http://nginx.org/download/nginx-1.14.2.tar.gz

2、安装对应依赖


sudo yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

3、解压


tar -zxvf linux-nginx-1.10.2.tar.gz -C ~/app...]]></description><category></category></item><item><title><![CDATA[linux安装git]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/88371490</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/88371490</guid><author>starkpan</author><pubDate>Sat, 09 Mar 2019 21:17:16 +0800</pubDate><description><![CDATA[一、通过yum


yum install git

其他安装方法

1、下载压缩包


wget https://github.com/git/git/archive/v2.8.0.tar.gz

2、安装依赖


yum -y install zlib-devel 
yum -y install openssl-devel 
yum -y install cpio 
yum -y instal...]]></description><category></category></item><item><title><![CDATA[linux搭建vue框架部署环境]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/88175692</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/88175692</guid><author>starkpan</author><pubDate>Tue, 05 Mar 2019 13:24:34 +0800</pubDate><description><![CDATA[1、下载安装包，具体版本根据自己需要。


wget https://nodejs.org/download/release/v6.12.3/node-v6.12.3-linux-x64.tar.gz

2、解压到指定目录


tar -xzvf node-v6.12.3-linux-x64.tar.gz.2 -C ~/app

3、配置环境变量


#nodejs
export NODEJS_H...]]></description><category></category></item><item><title><![CDATA[linux 添加sudo用户]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/88124454</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/88124454</guid><author>starkpan</author><pubDate>Mon, 04 Mar 2019 16:52:25 +0800</pubDate><description><![CDATA[1、编辑sudo用户表


vim /etc/sudoers

2、添加用户


## Allow root to run any commands anywhere 
root	ALL=(ALL) 	ALL
stark   ALL=(ALL)   ALL

完成了
]]></description><category></category></item><item><title><![CDATA[mac搭建伪分布式hbase遇到的坑]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86988204</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86988204</guid><author>starkpan</author><pubDate>Mon, 11 Feb 2019 12:57:52 +0800</pubDate><description><![CDATA[搭建伪分布式hbase需要搭建zookeeper、hadoop、hbase。

mac上搭建hbase集群，大体上和linux一致，在这里总结一下遇到的坑。

1、host文件配置


路径/etc/hosts
127.0.0.1	localhost
255.255.255.255	broadcasthost
#::1             localhost
127.0.0.1  hadoop...]]></description><category></category></item><item><title><![CDATA[HBASE总结]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86817832</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86817832</guid><author>starkpan</author><pubDate>Sat, 09 Feb 2019 20:54:30 +0800</pubDate><description><![CDATA[一、HBASE概述


HBase来源于google的论文BigTable，由apache做了开源项目即HBase.
HBase是一种NoSql非关系型数据库，适合存储半结构化、非结构化数据以及稀疏数据。面向列进行存储，可提供海量数据，实现上亿条记录的毫秒级别查询。缺点：不提供严格 的事务控制，只能在行级别保证事务。
    总体来说，HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统...]]></description><category></category></item><item><title><![CDATA[sparkStream 实例]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86777072</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86777072</guid><author>starkpan</author><pubDate>Sat, 09 Feb 2019 12:02:38 +0800</pubDate><description><![CDATA[一、搭建spark环境


https://blog.youkuaiyun.com/starkpan/article/details/86437089

二、实例

1、spark中自带的例子

打开两个termial（或shell终端）

    一个终端输入，通过nc进行内容传输


nc -lk 9999


a a a b b b c c c c c

    一个终端启动sparkStream实例，...]]></description><category></category></item><item><title><![CDATA[kafka浅析]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86772614</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86772614</guid><author>starkpan</author><pubDate>Thu, 07 Feb 2019 21:01:36 +0800</pubDate><description><![CDATA[一、kafka官网


http://kafka.apache.org

二、kafka概述   


Kafka是分布式、可分区、可复制的发布-订阅消息系统，由scala语言编写，apache项目的一部分。
kafka核心概念为：producer、consumer、broker、topic
producer：发送消息者 
consumer：消息接受者
broker：kafka集群由多个实例组成，...]]></description><category></category></item><item><title><![CDATA[flume配置模板示例]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86761267</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86761267</guid><author>starkpan</author><pubDate>Tue, 05 Feb 2019 18:21:17 +0800</pubDate><description><![CDATA[flume官网


http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html

1、安装flume


https://blog.youkuaiyun.com/starkpan/article/details/82765628

2、需求一：将计算机一个文件夹下的文件转移到另一个文件夹下


需求一：将计算机一个文件夹下的文件转移到另...]]></description><category></category></item><item><title><![CDATA[flume架构]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86761439</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86761439</guid><author>starkpan</author><pubDate>Sun, 03 Feb 2019 23:33:00 +0800</pubDate><description><![CDATA[1、flume官网


http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#exec-source

2、flume简介

Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggrega...]]></description><category></category></item><item><title><![CDATA[spark优化点]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86665687</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86665687</guid><author>starkpan</author><pubDate>Sun, 27 Jan 2019 15:27:10 +0800</pubDate><description><![CDATA[在spark优化hadoop中的思路，就是优化了hadoop的shuffle过程。shuffle落入磁盘，需要将数据序列化。spark已经将shuffle过程优化，在此基础上进一步优化，需要对序列化进行优化

一、序列化优化：

spark用到序列化的地方


1、shuffle时需要将对象写入到外部的临时文件
2、每个partition的数据要发送给worker，spark先把RDD包装成tas...]]></description><category></category></item><item><title><![CDATA[spark之sparkStreaming实时流处理]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86655462</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86655462</guid><author>starkpan</author><pubDate>Sat, 26 Jan 2019 11:58:20 +0800</pubDate><description><![CDATA[1、sparkStream官网


http://spark.apache.org/streaming/

2、什么是sparksreaming？


sparkStreamin是一种构建在spark之上的实时计算框架，他扩展了spark处理打过莫流失数据的能力，吞吐量高，容错能力强。（对标hadoop中storm）

3、处理数据方式


    sparkStreaming将输入的数据按照时间...]]></description><category></category></item><item><title><![CDATA[spark之sparkSql]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86654106</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86654106</guid><author>starkpan</author><pubDate>Sat, 26 Jan 2019 09:52:01 +0800</pubDate><description><![CDATA[1、启动spark


spark-shell --master local[2]

2、创建一个简单的RDD


 val foodRDD = sc.makeRDD(List((1,&quot;大虾&quot;,&quot;1元&quot;),(2,&quot;大闸蟹&quot;,&quot;8角&quot;),(3,&quot;三文鱼&quot;,&quot;5毛&quot;)))

3、将RDD转换为一个DataFrame(Frame则代表了数据结构)


 val foodDF = foodRDD.]]></description><category></category></item><item><title><![CDATA[spark运行过程解析]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86652078</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86652078</guid><author>starkpan</author><pubDate>Fri, 25 Jan 2019 22:46:49 +0800</pubDate><description><![CDATA[1、懒执行

数据从源头到处理，并不是每一步操作都会立刻执行。在spark操作方法中，分为Transformation与Action两类操作。

    transformation：一个方法由RDD调用，执行后产生另一个RDD。

    Action：一个方法由RDD调用，执行后不是产生另一个RDD，而是产生一个非RDD的结果，例如collect，count。

Transformation方...]]></description><category></category></item><item><title><![CDATA[spark分布式数据集RDD 的创建]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86646981</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86646981</guid><author>starkpan</author><pubDate>Fri, 25 Jan 2019 16:38:57 +0800</pubDate><description><![CDATA[1、启动spark


spark-shell --master local[2]

2、创建一个最简单的RDD


val rdd = sc.makeRDD(List(1,2,3,4,5));

3、查看RDD


rdd.collect()
返回
res0: Array[Int] = Array(1, 2, 3, 4, 5)

4、RDD指定分区(这样9个数据，就放在了3个分区中)


val...]]></description><category></category></item><item><title><![CDATA[spark初识]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86645752</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86645752</guid><author>starkpan</author><pubDate>Fri, 25 Jan 2019 15:03:26 +0800</pubDate><description><![CDATA[spark官网


http://spark.apache.org

hadoop缺陷：


hadoop处理流程较为复杂，在map-reduce过程中需要不断的将数据落入磁盘，造成性能低下。

spark优化：


基于内存进行计算，尽量不落地，提高效率。达到hadoop的10-100倍处理速度。

spark设计：


基于actor模式的akka框架，代码结构简洁。
基于DAG（有向无环图）...]]></description><category></category></item><item><title><![CDATA[scala 伴生对象的作用]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86633228</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86633228</guid><author>starkpan</author><pubDate>Thu, 24 Jan 2019 21:14:16 +0800</pubDate><description><![CDATA[1、什么是伴生对象


scala中的类不能定义静态成员，而代之以定义单例对象来替代
单例对象通过object关键字来声明
单例对象中的所有方法，可以直接通过object单例对象的名字直接来调用。
一个单例对象可以绑定在一个类，当单例对象和某个类写在同一个源文件且共享一个名字，它们就产生了绑定关系。
此时单例对象称之为该类的伴生对象，类称之为该对象的伴生类。
object food {
  def...]]></description><category></category></item><item><title><![CDATA[mapReduce浅析]]></title><link>https://blog.youkuaiyun.com/starkpan/article/details/86624887</link><guid>https://blog.youkuaiyun.com/starkpan/article/details/86624887</guid><author>starkpan</author><pubDate>Thu, 24 Jan 2019 16:29:51 +0800</pubDate><description><![CDATA[MapReduce分为两个阶段：Mapper和Reducer，用户只需要实现map()和reduce()两个函数，即可实现分布式计算。

两个工作节点为ResourceManager，NodeManager。

ResourceManager工作职能：


1、管理nodeManager

2、检测NodeManager状态变换，通过RPC心跳实现。

3、任务的分配和调度，做到细粒度任务分配，比...]]></description><category></category></item></channel></rss>