<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[活的洒脱怪我咯的专栏]]></title><description><![CDATA[专注大数据行业技术总结和分享]]></description><link>https://blog.youkuaiyun.com/wangweislk</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wangweislk]]></copyright><item><title><![CDATA[【Flink】Basic API的核心概念]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/85338930</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/85338930</guid><author>wangweislk</author><pubDate>Sat, 29 Dec 2018 15:19:54 +0800</pubDate><description><![CDATA[目录

1.DataSet and DataStream

2.Anatomy of a Flink Program(Flink程序剖析)

3.Lazy Evaluation（延迟执行）

4.Specifying Keys（key的定义）

1.Define keys for Tuples（元组键）

2.Define keys using Field Expressions（字段表达式键）
...]]></description><category></category></item><item><title><![CDATA[【Flink】核心概念]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/85165468</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/85165468</guid><author>wangweislk</author><pubDate>Fri, 21 Dec 2018 17:55:19 +0800</pubDate><description><![CDATA[目录

1、Dataflow Programming Model（Dataflow编程模型）

1.1、Levels of Abstraction（抽象层）

1.2、Programs and Dataflows（编程和数据流）

1.3、Parallel Dataflows（并行数据流图）

1.4、Windows（窗口）

1.5、Time（时间）

1.6、Stateful Operatio...]]></description><category></category></item><item><title><![CDATA[Storm的默认配置参数]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/83574272</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/83574272</guid><author>wangweislk</author><pubDate>Wed, 31 Oct 2018 09:42:58 +0800</pubDate><description><![CDATA[Storm的默认参数配置：在defaults.yaml文件中

https://github.com/apache/storm/blob/v1.0.6/conf/defaults.yaml

 


java.library.path: &quot;/usr/local/lib:/opt/local/lib:/usr/lib&quot;

### storm.* configs are general configu...]]></description><category></category></item><item><title><![CDATA[【Flink】Flink集群部署与YARN集成]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/79081769</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/79081769</guid><author>wangweislk</author><pubDate>Wed, 17 Jan 2018 10:11:47 +0800</pubDate><description><![CDATA[1、Standalone

软件要求：

Java 1.8.x or higher

ssh

JAVA_HOME配置

You can set this variable in conf/flink-conf.yaml via the env.java.home key.




Flink配置：

下载解压

配置：conf/flink-conf.yaml]]></description><category></category></item><item><title><![CDATA[HBase性能调优]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/79021717</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/79021717</guid><author>wangweislk</author><pubDate>Wed, 10 Jan 2018 11:28:31 +0800</pubDate><description><![CDATA[本文就HBase的优化做一些总结，同时也借鉴了网上的一些方法，设计到从表的设计优化，读写，系统配置优化等
1、表的设计优化
1.1、预分区
默认情况下，在创建表的时候会自动创建一个region分区，当写入数据时候，所有的HBase客户端都会往这个region写数据，直到这个region的达到设置的阈值（默认是256M，可以通过hbase.hregion.max.filesize设置）才进行s]]></description><category></category></item><item><title><![CDATA[【异常】SparkStreaming抛出Listener SQLListener threw an exception异常]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/79015153</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/79015153</guid><author>wangweislk</author><pubDate>Tue, 09 Jan 2018 17:41:14 +0800</pubDate><description><![CDATA[问题描述
SparkStreaming在长时间运行时，偶尔会出现下面的异常：
2018-01-08 18:42:03  [ SparkListenerBus:32824468 ] - [ ERROR ]  Listener SQLListener threw an exception
java.lang.IllegalStateException: Attempted to access ga]]></description><category></category></item><item><title><![CDATA[Spark中使用kyro序列化]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78999814</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78999814</guid><author>wangweislk</author><pubDate>Mon, 08 Jan 2018 10:09:33 +0800</pubDate><description><![CDATA[序列化在分布式系统中扮演着重要的角色，优化Spark程序时，首当其冲的就是对序列化方式的优化。Spark为使用者提供两种序列化方式：

Java serialization: 默认的序列化方式。

Kryo serialization: 相较于 Java serialization 的方式，速度更快，空间占用更小，但并不支持所有的序列化格式，同时使用的时候需要注册class。spark-sql中默]]></description><category></category></item><item><title><![CDATA[【异常】SparkStreaming长时间运行出现： Dropping SparkListenerEvent because no remaining room in event queue]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78999606</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78999606</guid><author>wangweislk</author><pubDate>Mon, 08 Jan 2018 09:49:56 +0800</pubDate><description><![CDATA[问题描述
在SparkStreaming任务提交后，经过长时间的运行会在SparkUI的Jobs界面出现Job的执行时间出现几个小时的情况，点进去发现Stage已经处于unkown状态，如下图：
查看日志后发现下面ERROR异常：
2018-01-06 16:42:03  [ dag-scheduler-event-loop:600497 ] - [ ERROR ]  Dropping Sp]]></description><category></category></item><item><title><![CDATA[【异常】Spark写入HBase时写入DataNode失败：dfs.client.block.write.replace-datanode-on-failure.policy]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78890163</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78890163</guid><author>wangweislk</author><pubDate>Mon, 25 Dec 2017 10:46:27 +0800</pubDate><description><![CDATA[问题描述：
在SparkStreaming长时间写入HBase的时候，会下面的异常问题：
2017-12-24 23:20:34  [ SparkListenerBus:540107357 ] - [ ERROR ]  Listener EventLoggingListener threw an exception
java.io.IOException: Failed to replace ]]></description><category></category></item><item><title><![CDATA[【异常】elasticsearch的RestClientAPI请求超时问题：java.lang.RuntimeException: error while performing request]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78839384</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78839384</guid><author>wangweislk</author><pubDate>Tue, 19 Dec 2017 10:00:37 +0800</pubDate><description><![CDATA[问题描述：
在Spark中使用elasticsearch的RestClient API在读取es中数据时，出现TimeoutException，在之前的优化的中做下面的超时设置，这个只能解决request retries exceeded max retry timeout [30000]这种超时：
RestClient build = RestClient.builder(httpHosts]]></description><category></category></item><item><title><![CDATA[【异常】使用Elasticsearch的REST Client的An HTTP line is larger than 4096 bytes]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78706823</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78706823</guid><author>wangweislk</author><pubDate>Mon, 04 Dec 2017 10:13:06 +0800</pubDate><description><![CDATA[问题描述：
在使用Elasticsearch的RestHightClient API 去搜索ES数据，当请求的参数过长的出现下面的异常：
{"type":"too_long_frame_exception","reason":"An HTTP line is larger than 4096 bytes."}，默认情况下ES对请求参数设置为4K，如果遇到请求参数长度限制可以在elasticse]]></description><category></category></item><item><title><![CDATA[【异常】SparkSession执行action操作时java.lang.ClassNotFoundException: org.codehaus.commons.compiler.Unchecked]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78686424</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78686424</guid><author>wangweislk</author><pubDate>Fri, 01 Dec 2017 14:43:39 +0800</pubDate><description><![CDATA[org.spark_project.guava.util.concurrent.ExecutionError: java.lang.NoClassDefFoundError: org/codehaus/commons/compiler/UncheckedCompileException

	at org.spark_project.guava.cache.LocalCache$Segment.get(LocalCache.java:2261)
	at org.spark_project.guava.cach]]></description><category></category></item><item><title><![CDATA[【异常】关于使用ES的RestHighLevel JavaAPI执行search操作时，参数的问题]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78675107</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78675107</guid><author>wangweislk</author><pubDate>Thu, 30 Nov 2017 13:32:32 +0800</pubDate><description><![CDATA[问题描述：
在使用ES的JavaRest API 的RestHighLevelClient，执行searchRequest操作时，出现部分请求参数不能识别的情况，如下：
contains unrecognized parameters: [batched_reduce_size], [typed_keys]]

ElasticsearchStatusException[Elasticsea]]></description><category></category></item><item><title><![CDATA[Spark Kafka(createDirectStream)自己管理offset]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78339910</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78339910</guid><author>wangweislk</author><pubDate>Wed, 25 Oct 2017 12:29:24 +0800</pubDate><description><![CDATA[1、SparkStreaming中使用Kafka的createDirectStream自己管理offset

在Spark Streaming中，目前官方推荐的方式是createDirectStream方式，但是这种方式就需要我们自己去管理offset。目前的资料大部分是通过scala来实现的，并且实现套路都是一样的，我自己根据scala的实现改成了Java的方式，后面又相应的实现。
Dir]]></description><category></category></item><item><title><![CDATA[Spark Bulkload(Java)]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/78339377</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/78339377</guid><author>wangweislk</author><pubDate>Wed, 25 Oct 2017 11:31:39 +0800</pubDate><description><![CDATA[1、使用Spark通过Bulkload的方式导数据到Hbase

在未用Bulkload写Hbase时，使用RDD进行封装为Tuple2的KVRDD，然后通过saveAsNewAPIHadoopDataset写Hbase，非常慢，400G的数据大概写了2H+还没写完，后面没有办法就考虑使用Bulkload来导入数据。
在测试之前网上很多资料都是Scala版本的，并且实现都是单个列来操作，实际]]></description><category></category></item><item><title><![CDATA[spark源码分析(2)-源码阅读环境准备]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/62418919</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/62418919</guid><author>wangweislk</author><pubDate>Thu, 16 Mar 2017 11:33:30 +0800</pubDate><description><![CDATA[在前面介绍wordcount例子时没有对spark源码阅读环境的准备进行说明，本文就主要介绍Spark源码阅读环境的构建
1、环境准备
操作系统采用Ubuntu14.04（案例采用虚拟机中安装模式，桥接模式可访问外网）
下载JDK1.7+，Scala2.10(spark 1.6.3之前采用的是2.10版本，spark2.0之后采用scala2.11版本)，SBT，Maven3.3.9
下载]]></description><category></category></item><item><title><![CDATA[Spark源码分析-以wordcount为入口进行spark-submit源码分析]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/62046389</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/62046389</guid><author>wangweislk</author><pubDate>Tue, 14 Mar 2017 17:57:04 +0800</pubDate><description><![CDATA[1、用wordcount程序进行spark源码环境准备和程序入口

1）Standalone模式启动

启动Master，start-master.sh输出：
/home/weiw/spark-1.6.3-bin-hadoop2.6/sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip ubuntu]]></description><category></category></item><item><title><![CDATA[presto安装介绍]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/50817531</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/50817531</guid><author>wangweislk</author><pubDate>Mon, 07 Mar 2016 10:38:38 +0800</pubDate><description><![CDATA[Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。]]></description><category></category></item><item><title><![CDATA[图数据库之neo4j-jdbc的使用]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/47813709</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/47813709</guid><author>wangweislk</author><pubDate>Thu, 20 Aug 2015 19:52:02 +0800</pubDate><description><![CDATA[使用JDBC连接neo4j，并对数据库进行操作。与常规数据库的JDBC 连接类似。]]></description><category></category></item><item><title><![CDATA[图数据库之Cypher语言]]></title><link>https://blog.youkuaiyun.com/wangweislk/article/details/47808381</link><guid>https://blog.youkuaiyun.com/wangweislk/article/details/47808381</guid><author>wangweislk</author><pubDate>Thu, 20 Aug 2015 15:20:53 +0800</pubDate><description><![CDATA[1、什么是Cypher

2、写（create、merge、set、delete、remove、foreach、import）

3、读（match、optional
 match、where、start、聚合）

4、常规（return、order
 by、limit、skip、with、unwind、union）

5、函数（谓词、标准函数、集合函数、数学函数、字符串函数）]]></description><category></category></item></channel></rss>