<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[weipanp的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weipanp</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weipanp]]></copyright><item><title><![CDATA[akka remote实例]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/47278621</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/47278621</guid><author>weipanp</author><pubDate>Tue, 04 Aug 2015 16:23:22 +0800</pubDate><description><![CDATA[Akka的设计目标就是为分布式准备的，因此 所有Actor之间的交互都是通过消息，且所有动作都是异步的 。这种做法就是为了确保Akka的所有功能无论是在单独的JVM，还是包含了成百上千机器的Cluster，都是可用的。

然而，本地与分布式总是存在区别，主要牵涉到两点：


消息需要支持序列号；

消息传递的可靠性问题；

为了保证本地处理与分布式处理的透明化，Akka几乎没有特]]></description><category></category></item><item><title><![CDATA[actors角色模型系列之一 actors介绍以及akka 框架的使用入门]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/46443021</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/46443021</guid><author>weipanp</author><pubDate>Wed, 10 Jun 2015 16:01:00 +0800</pubDate><description><![CDATA[摘要 春天来了 感觉真好，这一章 开始讲actors角色模型系列,讲诉什么是角色模型 ，角色模型应用的领域 并发 事务 消息驱动 消息中间件 网络传输 ，本系列第一张 讲解自己对角色模型的理解 以及 基本认识使用 以后所有文章演示章节的源代码 我以后将会放到我的一个项目下，这是我前面讲querydsl时候 做的一个项目。现在基本架构放到了githubhttps://github.com/zhuyu]]></description><category></category></item><item><title><![CDATA[kafka 实例]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/46332847</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/46332847</guid><author>weipanp</author><pubDate>Tue, 02 Jun 2015 17:33:00 +0800</pubDate><description><![CDATA[1、produce

import java.util.{Date, Properties}

import kafka.producer.{KeyedMessage, Producer, ProducerConfig}

import scala.util.Random

object ScalaProducerExample extends App {
  val events = arg]]></description><category></category></item><item><title><![CDATA[kafka部署及实例命令 彻底删除topic]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/46330471</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/46330471</guid><author>weipanp</author><pubDate>Tue, 02 Jun 2015 15:32:54 +0800</pubDate><description><![CDATA[1、安装zookeeper
2、安装kafka

Step 1: 下载Kafka
点击下载最新的版本并解压.
> tar -xzf kafka_2.10-0.8.2.1.tgz
> cd kafka_2.10-0.8.2.1
Step 2: 启动服务
Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加]]></description><category></category></item><item><title><![CDATA[spark部署一台机器时sparkstreaming无结果数据打印的问题]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/46330373</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/46330373</guid><author>weipanp</author><pubDate>Tue, 02 Jun 2015 15:27:27 +0800</pubDate><description><![CDATA[如：
bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999
此时默认 --master 为 local . 
这看起来毫无问题，但我在一台1核1G的主机上测试该样例，却永远无法成功。 原因这位老兄已道出：

Note
I experienced exactly the sa]]></description><category></category></item><item><title><![CDATA[SparkStreaming的worldCount实例]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/46330129</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/46330129</guid><author>weipanp</author><pubDate>Tue, 02 Jun 2015 15:16:34 +0800</pubDate><description><![CDATA[1、搭建好spark环境，sparkstreaming不需要什么特殊配置即可以使用
2、SparkStreaming简介
SparkStreaming是实时计算框架，它的数据源可以是socket或kafka等各种消息组件，具体详细的知识不多赘述
3、实例

import org.apache.spark._
import org.apache.spark.storage.StorageL]]></description><category></category></item><item><title><![CDATA[Spark源码IDEA远程调试]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45152851</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45152851</guid><author>weipanp</author><pubDate>Mon, 20 Apr 2015 17:13:23 +0800</pubDate><description><![CDATA[我们在编写Spark Application或者是阅读源码的时候，我们很想知道代码的运行情况，比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式，但是，logging方式调试代码有很多的局限和不便。下面是介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。
　　本文以调试Spark Application为例进行说明，本文用到的IDE是I]]></description><category></category></item><item><title><![CDATA[IDEA调试sparksql,打包并提交运行]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45098669</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45098669</guid><author>weipanp</author><pubDate>Fri, 17 Apr 2015 16:27:13 +0800</pubDate><description><![CDATA[1、创建一个新的工程，参考spark的windows开发环境搭建

2、添加依赖
（1）scala依赖


  org.scala-lang
  scala-library
  ${scala.version}


  org.scala-lang
  scala-compiler
  ${scala.version}


  org.scala-lang
  scala-reflect]]></description><category></category></item><item><title><![CDATA[Spark 学习资源收集]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45094001</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45094001</guid><author>weipanp</author><pubDate>Fri, 17 Apr 2015 10:48:49 +0800</pubDate><description><![CDATA[目录[-]

（一）spark 相关安装部署、开发环境（二）spark 架构、原理与编码（三）spark 监控与管理（四）YARN & spark（五）spark 数据平台架构（六）spark 应用与实践（七）spark 机器学习实践（八）Scala 学习指北（九）Spark book附：


（一）spark 相关安装部署、开发环境 
1、Spark 伪分布式 & 全分布式 安装指南]]></description><category></category></item><item><title><![CDATA[比较全的Spark中的函数使用及编程模型]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45075125</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45075125</guid><author>weipanp</author><pubDate>Thu, 16 Apr 2015 14:41:36 +0800</pubDate><description><![CDATA[1. Spark中的基本概念
在Spark中，有下面的基本概念。
Application:基于Spark的用户程序，包含了一个driver program和集群中多个executor
Driver Program：运行Application的main()函数并创建SparkContext。通常SparkContext代表driver program
Executor：为某Applicati]]></description><category></category></item><item><title><![CDATA[sparkSQL1.2.1入门之七：ThriftServer和CLI]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45062795</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45062795</guid><author>weipanp</author><pubDate>Wed, 15 Apr 2015 17:54:14 +0800</pubDate><description><![CDATA[spark1.2相较于spark1.0，最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL，在真正意义上进入了SQL时代。下面先简单介绍其使用，限于时间关系，以后再附上源码分析。
1：ThriftServer和CLI的命令参数
A：令人惊讶的CLI
刚部署好spark1.2就迫]]></description><category></category></item><item><title><![CDATA[Windows + IDEA + SBT 打造Spark源码阅读环境]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45043181</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45043181</guid><author>weipanp</author><pubDate>Tue, 14 Apr 2015 15:55:46 +0800</pubDate><description><![CDATA[Spark源码阅读环境的准备
Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。
本文介绍的是Windows下的各项配置方法（默认已经装了java，JDK）。
下面列举搭建此环境需要的各个组件：

IDEA，有两个版本：Ultim]]></description><category></category></item><item><title><![CDATA[spark1.2.1下的sql测试]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45039623</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45039623</guid><author>weipanp</author><pubDate>Tue, 14 Apr 2015 11:26:09 +0800</pubDate><description><![CDATA[安装了spark之后，可以在 shell中执行Spark SQL。Spark SQL是支持在Spark中使用Sql、HiveSql、Scaca中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可以是Parquet文件，最重要的是它可以支持用HiveQL]]></description><category></category></item><item><title><![CDATA[spark的windows开发环境搭建]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/45038771</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/45038771</guid><author>weipanp</author><pubDate>Tue, 14 Apr 2015 10:43:05 +0800</pubDate><description><![CDATA[Spark1.2.1开发环境搭建(适合windows环境)

更多0


1.环境准备
下载scala并安装，最好下载imsi版直接双击安装

2.IDEA的安装
官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免费，用户可以选择合适的版本使用。
根据安装指导安装IDEA后，需要]]></description><category></category></item><item><title><![CDATA[awk命令]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/44340899</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/44340899</guid><author>weipanp</author><pubDate>Tue, 17 Mar 2015 14:01:00 +0800</pubDate><description><![CDATA[简介
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的创始人 Alfred Aho]]></description><category></category></item><item><title><![CDATA[sed命令]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/44340867</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/44340867</guid><author>weipanp</author><pubDate>Tue, 17 Mar 2015 13:58:01 +0800</pubDate><description><![CDATA[转载：http://blog.chinaunix.net/u/22677/showart_1076318.html
 
1.简介
sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。
sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），]]></description><category></category></item><item><title><![CDATA[maven编译spark1.2 on hadoop-2.6.0]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/44150599</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/44150599</guid><author>weipanp</author><pubDate>Mon, 09 Mar 2015 08:58:39 +0800</pubDate><description><![CDATA[1、安装maven
(1)设置MAVEN_HOME
（2）将$MAVEN_HOME/bin参加PATH变量。
（3）设置maven_opts内存参数

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
若不运行，编译时必定出现如下错误，因为spark编译需要很大的内存]]></description><category></category></item><item><title><![CDATA[Vbox虚拟机知识]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/44095307</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/44095307</guid><author>weipanp</author><pubDate>Fri, 06 Mar 2015 09:14:50 +0800</pubDate><description><![CDATA[Vbox安装了centos默认是鼠标不可以在虚拟机与本机间自由切换
需要安装增强包
安装增强包的过程如下：
1、点击设备安装增强功能


2、安装完成后桌面上出现一个光盘

3、打开终端进入root用户
cd /media
ll
cd 目录
按如下执行

发现错误，错误原因是kernel包缺少（注意一定要安装需要的这个版本）
yum install kernel-de]]></description><category></category></item><item><title><![CDATA[oracle sql查询使用函数]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/44057221</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/44057221</guid><author>weipanp</author><pubDate>Wed, 04 Mar 2015 10:52:46 +0800</pubDate><description><![CDATA[查询过程中经常使用复杂的函数才能达到目的
1、nvl
NVL( A, B) 　　
    功能：如果A为NULL，则NVL函数返回B的值，否则返回A的值。 　　
    注意事项：A和B必须为同一数据类型，除非显示的使用TO_CHAR函数。
    例：NVL(TO_CHAR(num1),str2 ) 其中num1代指某个数字类型的值。 　   

NVL的扩展-NVL2(A,B,C]]></description><category></category></item><item><title><![CDATA[eclipse常用快捷键]]></title><link>https://blog.youkuaiyun.com/weipanp/article/details/42970239</link><guid>https://blog.youkuaiyun.com/weipanp/article/details/42970239</guid><author>weipanp</author><pubDate>Wed, 21 Jan 2015 16:39:48 +0800</pubDate><description><![CDATA[一、Eclipse 常用快捷键

Eclipse的编辑功能非常强大，掌握了Eclipse快捷键功能，能够大大提高开发效率。Eclipse中有如下一些和编辑相关的快捷键。

  1. 【ALT+/】

  此快捷键为用户编辑的好帮手，能为用户提供内容的辅助，不要为记不全方法和属性名称犯愁，当记不全类、方法和属性的名字时，多体验一下【ALT+/】快捷键带来的好处吧。

  2. 【Ct]]></description><category></category></item></channel></rss>