<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a95473004的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a95473004</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a95473004]]></copyright><item><title><![CDATA[Spark各类算法的应用场景]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/54691451</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/54691451</guid><author>a95473004</author><pubDate>Mon, 23 Jan 2017 10:22:40 +0800</pubDate><description><![CDATA[SparkMlib是Spark项目的其中一个模块，包含了当前比较热门的机器学习算法，这些算法API主要分成两种。ML和MLIB。
本文对官方文档中描述的一些算法和工具进行了简单的介绍。
ML主要针对DataFrame,MLIB则面向RDD，算法的种类基本一致，我个人比较偏向于ML，结构化的数据更易操作一些。


Classification
      分类算法包括逻辑回归，决策树已经]]></description><category></category></item><item><title><![CDATA[如何在spark-streaming中获取通过kafka传递的flume信息header]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/53896791</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/53896791</guid><author>a95473004</author><pubDate>Tue, 27 Dec 2016 16:58:57 +0800</pubDate><description><![CDATA[默认模式下，Spark-streaming只能拿到flume tail到的文字，但是某些情况下我们希望spark也能处理一些header中的内容。
譬如说上述配置文件中在tail的同时，我们还向header中添加了timestamp以及host信息。
那么如何将header传递给spark呢？]]></description><category></category></item><item><title><![CDATA[Spark submit deploy_mode cluster 中的第三方JAR包]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/53886010</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/53886010</guid><author>a95473004</author><pubDate>Mon, 26 Dec 2016 15:30:33 +0800</pubDate><description><![CDATA[本文介绍了一个种解决spark在cluster模式下提交作业无法添加第三方JAR包并引起class not found 异常的解决方案]]></description><category></category></item><item><title><![CDATA[利用gradle shadowjar构建包含依赖的JAR包]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/53886365</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/53886365</guid><author>a95473004</author><pubDate>Mon, 26 Dec 2016 15:24:33 +0800</pubDate><description><![CDATA[利用gradle shadow构建包含依赖的JAR包]]></description><category></category></item><item><title><![CDATA[Apche Phoenix，Spark的绝配搭档]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/51968292</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/51968292</guid><author>a95473004</author><pubDate>Wed, 20 Jul 2016 15:16:43 +0800</pubDate><description><![CDATA[Spark相信大家不会陌生，翻开有关大数据的报刊杂志，大家都在讨论Spark.也会有不少公司依靠Spark构建数据仓库。但我今天介绍的是另一款软件Apache Phoenix.那么它是用来解决什么问题的呢？为什么说它和Spark是绝配的搭档？作为一个数据仓库，繁琐的数据处理只是其中的一环，这也正是Spark擅长的，但是还有一环大家似乎都不怎么关注，就是数据处理的结果以及数据详单的查询。现在业内普遍的]]></description><category></category></item><item><title><![CDATA[android maven can not find appt]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/9312007</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/9312007</guid><author>a95473004</author><pubDate>Fri, 12 Jul 2013 15:28:53 +0800</pubDate><description><![CDATA[尼玛的 各种BUG啊  maven-android 各种BUG啊


1.can not find appt
      
    原因是sdk目录变了  把build-tools/17.0.0 下的文件 copy到 platform-tools 下少什么copy什么 


2.还是can no find appt  
    原因是少了 ia32-libs, 这什么玩意
  ]]></description><category></category></item><item><title><![CDATA[JENKINS  bad_recordmac svn 插件]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/9072085</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/9072085</guid><author>a95473004</author><pubDate>Mon, 10 Jun 2013 17:49:24 +0800</pubDate><description><![CDATA[最近搭建Jenkins 遇到三个BUG


1.对于HTTPS的SVN 始终报错 bad_recordmac  什么的


    解决办法: 换成JDK1.7


2.SVN始终显示没有权限.即使认证成功


    删除掉你${user.home}/.subversion


3.SVN的可选插件始终空白 
   你可以选择等一会...貌似查询更新插件的HTTP]]></description><category></category></item><item><title><![CDATA[Spring MVC 单元测试]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8926929</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8926929</guid><author>a95473004</author><pubDate>Tue, 14 May 2013 18:26:44 +0800</pubDate><description><![CDATA[作为WEB开发人员在开发过程中总是需要测试各种请求 


常规的方法则是启动WEB服务器 测试 出错 停掉WEB 改代码 重启WEB 测试 
大量的时间都浪费在WEB服务器的启动上
今天给大家介绍一种不用启动WEB 直接采用单元测试的方法来测试请求是否准确 
该方法基于SpringMVC 与 Spring Test 框架
如果大家对SpringMVC的基本知识不了解,请先百度一下.]]></description><category></category></item><item><title><![CDATA[Spring Mongodb集成]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8717432</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8717432</guid><author>a95473004</author><pubDate>Mon, 25 Mar 2013 15:48:48 +0800</pubDate><description><![CDATA[1.先上配置文件：
<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
	xmlns:mongo="]]></description><category></category></item><item><title><![CDATA[使用concurrent  重写生产者 消费者]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8717269</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8717269</guid><author>a95473004</author><pubDate>Mon, 25 Mar 2013 15:32:14 +0800</pubDate><description><![CDATA[场景：学生来食堂吃馒头
         
         1.食堂位置有限，只有10个座位，其中3个座位是厨师大叔的，其他7个座位是学生的。学生共有100个。
         2.食堂的大框只能容下10个馒头。
         3.大叔在学生来之前会事先准备好10个馒头。
         4.大叔只做300个馒头，然后把位子让给学生吃饭。
         5.学生吃3个馒头]]></description><category></category></item><item><title><![CDATA[CDH4   HA集群安装搭建手册]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8667747</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8667747</guid><author>a95473004</author><pubDate>Wed, 13 Mar 2013 12:53:04 +0800</pubDate><description><![CDATA[CDH4 HA搭建手册V1.2
 
一、           机器情况




ocdata17


10.1.253.27




ocdata18


10.1.253.28




ocdata19


10.1.253.29




 
我们有两台NAMENODE机器 分别部署在ocdata19和ocdata18上
我们有两]]></description><category></category></item><item><title><![CDATA[联接HIVE SERVER客户端的三种方式]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8622587</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8622587</guid><author>a95473004</author><pubDate>Thu, 28 Feb 2013 16:09:11 +0800</pubDate><description><![CDATA[在Hive/bin 目录下输入./hive --service hiveserver 代表hive启动了服务器模式。

和普通模式不同的是，这时hive同时启动了一个名为thrift的服务器。

你不用去研究这个服务器的原理，认为他是一个传递信息的人就好，你可以通过他向hive发送命令，然后hive再把命令送给hadoop。

1.命令行模式：

   ./hive
 -h127]]></description><category></category></item><item><title><![CDATA[关于HIVE的SELECT count(*) 优化]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8622580</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8622580</guid><author>a95473004</author><pubDate>Thu, 28 Feb 2013 16:07:59 +0800</pubDate><description><![CDATA[刚刚下载了一份HIVE的最新源码。

印象最深的是HIVE将表的大小作为了元数据保存在了关系数据库中。

譬如在老版本中执行如下的语句：

from base insert overwrite table user select * ;

你会发现日志的末尾会有 “999 ROWD LOADED INTO TABLE USER” 的字样

代表有999条目记录保存在了user表]]></description><category></category></item><item><title><![CDATA[HIVE：No suitable driver found for jdbc:mysql://localhost:3306/hive]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8622572</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8622572</guid><author>a95473004</author><pubDate>Thu, 28 Feb 2013 16:07:07 +0800</pubDate><description><![CDATA[搭建HIVE的过程中遇到了如上问题：

表面上看是缺少适合的驱动程序，但是我的HIVE/LIB下的确是有相应的JAR包的。

GOOGLE了一下

The value property should not contain any spaces or carriage returns. It should appear all on one line.也就是说PROPERTY元素中不要]]></description><category></category></item><item><title><![CDATA[HIVE针对反斜杠的正则替换问题]]></title><link>https://blog.youkuaiyun.com/a95473004/article/details/8622207</link><guid>https://blog.youkuaiyun.com/a95473004/article/details/8622207</guid><author>a95473004</author><pubDate>Thu, 28 Feb 2013 15:31:21 +0800</pubDate><description><![CDATA[最近收到一份需求：


有两张表 one  和  two . 两张表都有一个字段name,现在要求从one 导入到two 中。


要求是
           name字段有可能为空 ,在HIVE中默认是用"\N"来表示空，也就是ONE表在HDFS上文件包含"\N"。
           同时表ONE的NAME字段中有可能包含"\r"的转行符。]]></description><category></category></item></channel></rss>