<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/shifenglov</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shifenglov]]></copyright><item><title><![CDATA[ORM-HBASE 一个轻量级映射框架]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/50772636</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/50772636</guid><author>shifenglov</author><pubDate>Tue, 01 Mar 2016 15:04:13 +0800</pubDate><description><![CDATA[基于hbase使用复杂原因，所以我有了想写一个类似于hibernate那种对象关系映射框架（ORM）的想法，像操作对象一样方便的操作HBase数据库，但是它要是轻量级的，无侵入的，只提供简单的CURD、分页、映射功能的一个基础功能。]]></description><category></category></item><item><title><![CDATA[Spark MLlib系列(二):基于协同过滤的电影推荐系统]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/43795597</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/43795597</guid><author>shifenglov</author><pubDate>Fri, 13 Feb 2015 16:36:00 +0800</pubDate><description><![CDATA[随着大数据时代的到来，数据当中挖取金子的工作越来越有吸引力。利用Spark在内存迭代运算、机器学习领域强悍性能的优势，使用spark处理数据挖掘问题就显得很有实际价值。这篇文章给大家分享一个spark MLlib 的推荐实战例子。我将会分享怎样用spark MLlib做一个电影评分的推荐系统。使用到的算法是user-based协同过滤。如果对Spark MLlib不太了解的，请阅读我的上一篇博客。]]></description><category></category></item><item><title><![CDATA[Spark MLlib系列(一)：入门介绍]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/43762705</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/43762705</guid><author>shifenglov</author><pubDate>Thu, 12 Feb 2015 15:11:26 +0800</pubDate><description><![CDATA[还在用mahout吗，matlab，R，你已经out了，快来拥抱真正的分布式机器学习神器--spark machine learning，体验它强大的并发式计算能力，卓越的内存式运算性能，支持众多的算法包，以及scala语言的简洁！]]></description><category></category></item><item><title><![CDATA[Ambari系列（四）：基于Ambari做二次开发（DIY）]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/42803495</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/42803495</guid><author>shifenglov</author><pubDate>Sat, 17 Jan 2015 10:00:31 +0800</pubDate><description><![CDATA[Ambari能够搭建、管理Hadoop集群，这是一件很酷的事情，让集群管理变的easy，但是有可能也有自己的一些需求，如果我想基于Ambari做二次开发DIY，修改一下界面，增加一些功能，添加一个模块等等，这些都是没问题，首先Ambari是基于ASF协议，其次，开发也很方便，唯一不足的是官网基于此的开发文档不多。]]></description><category></category></item><item><title><![CDATA[Ambari系列（三）： Ambari架构详解]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/42803283</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/42803283</guid><author>shifenglov</author><pubDate>Sat, 17 Jan 2015 09:07:37 +0800</pubDate><description><![CDATA[Hadoop集群的管控一直是一个热门的话题，对于这样的一个应用场景，我所知道国内很早就有人研究并且取得不错的成绩，这就是EasyHadoop。它的功能主要有集群安装，管理，监控等功能，有兴趣的朋友可以百度，这位作者的博客有很详细的介绍。今天，我所要重点介绍的Apache的顶级项目，现在是大数据新贵Hortonworks公司在推进的项目Ambari，这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。]]></description><category></category></item><item><title><![CDATA[常用 Java 静态代码分析工具的分析与比较]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/42194239</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/42194239</guid><author>shifenglov</author><pubDate>Sat, 27 Dec 2014 16:38:42 +0800</pubDate><description><![CDATA[引言

在 Java 软件开发过程中，开发团队往往要花费大量的时间和精力发现并修改代码缺陷。Java 静态代码分析（static code analysis）工具能够在代码构建过程中帮助开发人员快速、有效的定位代码缺陷并及时纠正这些问题，从而极大地提高软件可靠性并节省软件开发和测试成 本。目前市场上的 Java 静态代码分析工具种类繁多且各有千秋，因此本文将分别介绍现有 4 种主流 Java]]></description><category></category></item><item><title><![CDATA[Ambari系列（二）：编译安装Ambari]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/42190827</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/42190827</guid><author>shifenglov</author><pubDate>Sat, 27 Dec 2014 09:16:04 +0800</pubDate><description><![CDATA[Ambari是目前最优秀的hadoop集群管理工具，并且是ASF下的开源产品。基于Ambari搭建自己的企业集群，或者做二次开发是一个不错的解决思路。编译Ambari是实现您的hadoop集群方案的第一步。]]></description><category></category></item><item><title><![CDATA[Ambari系列（一）：在离线环境中自动化安装Hadoop集群]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/41831983</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/41831983</guid><author>shifenglov</author><pubDate>Tue, 09 Dec 2014 21:56:06 +0800</pubDate><description><![CDATA[在企业真实生产环境中，应该是没有外网链接的，或者做了外网隔离，因此在离线环境下搭建集群很有价值。在内网集群中搭建yum服务器，安装ambari和集群，是一种比较好的解决思路。使用ambari在自动化搭建大规模集群，使传统模式下搭建集群的时间又数天到数周缩短到几天或者几小时，彻底提高集群建设效率，有效避免人为错误，并且ambari是ASF开源软件，明显优于cloudera manager等商业软件，是集群搭建的不二选择。]]></description><category></category></item><item><title><![CDATA[CDH使用秘籍（二）：cloudera Manager中监控数据的存储]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/41281399</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/41281399</guid><author>shifenglov</author><pubDate>Wed, 19 Nov 2014 14:18:28 +0800</pubDate><description><![CDATA[上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，怎样配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。]]></description><category></category></item><item><title><![CDATA[CDH使用秘籍（一）：Cloudera Manager和Managed Service的数据库]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/41115001</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/41115001</guid><author>shifenglov</author><pubDate>Fri, 14 Nov 2014 10:51:15 +0800</pubDate><description><![CDATA[从业务发展需求，大数据平台需要使用spark作为机器学习、数据挖掘、实时计算等工作，所以决定使用Cloudera Manager5.2.0版本和CDH5。
以前搭建过Cloudera Manager4.8.2和CDH4，在搭建Cloudera Manager5.2.0版本的时候，发现相应的Service Host Monitor 和 Service Monitor不能配置外部表，刚开是还以为是配置出错，后来才发现应该是新版本的Cloudera的存储改变方式了。查了很多文档，果然发现，新版本中Service ]]></description><category></category></item><item><title><![CDATA[Kafka简要介绍]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/40818711</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/40818711</guid><author>shifenglov</author><pubDate>Wed, 05 Nov 2014 10:15:01 +0800</pubDate><description><![CDATA[将之前自己调研的kafka相关的资料分享给你大家，只是简单研究，作为技术选型的前期准备使用，不设计到很深入使用。]]></description><category></category></item><item><title><![CDATA[大数据平台监控（二）：Ganglia与Nagios的整合]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/40658007</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/40658007</guid><author>shifenglov</author><pubDate>Fri, 31 Oct 2014 17:29:01 +0800</pubDate><description><![CDATA[Ganglia的优势在于实时监控集群中的机器的各项指标，比如cpu，内存，磁盘，温度等数据，汇总成成各种图形化界面，并提供接口可供调用数据。而在出现问题的时候报警提示功能，相对较弱。Nagios的优势在于出现问题之时可以提供强大的报警提示功能，但是在实时监控上，功能较弱，即使使用NRPE本地插件也不能提供强大的机器监控。两者结合能有效的解决各种场景.]]></description><category></category></item><item><title><![CDATA[大数据平台监控（一）：Ganglia在集群中快速安装方案]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/40587527</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/40587527</guid><author>shifenglov</author><pubDate>Wed, 29 Oct 2014 15:55:30 +0800</pubDate><description><![CDATA[Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。利用ganglia监控整个大数据平台，可以显著的提高平台的运维效率。]]></description><category></category></item><item><title><![CDATA[自学大数据：CDH和Cloudera Express的介绍]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/40393185</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/40393185</guid><author>shifenglov</author><pubDate>Thu, 23 Oct 2014 10:49:16 +0800</pubDate><description><![CDATA[ＣＤＨ和Cloudera Express的介绍
CDH的介绍：







CDH首先是100%开源，基于Apache协议。基于Apache Hadoop和相关projiect开发。可以做批量处理，交互式sql查询和及时查询，基于角色的权限控制。在企业中使用最广的Hadoop分发版本。






官网链接：


http://www.cloudera.co]]></description><category></category></item><item><title><![CDATA[自学大数据：用以生产环境的Hadoop版本比较]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/40376105</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/40376105</guid><author>shifenglov</author><pubDate>Wed, 22 Oct 2014 14:31:45 +0800</pubDate><description><![CDATA[Hadoop版本的选择
生产环境中，hadoop的版本选择是一个公司架构之时，很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见，或者指正，希望大家能交流。]]></description><category></category></item><item><title><![CDATA[强大的大数据全文索引解决方案-ClouderaSearch]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/40107069</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/40107069</guid><author>shifenglov</author><pubDate>Wed, 15 Oct 2014 10:05:08 +0800</pubDate><description><![CDATA[介绍
ClouderaSearch带来了全文索引，实时查询和针对CDH和你的企业级数据中心的扩展、灵活性的索引服务。由Apache Hadoop和Apache Solr提供，是企业级的开源搜索。Cloudera Search带来了扩展性和可靠性的新一代集成，多个工作任务的搜索。通过它与CDH独特的整合，Cloudera Search获得了同样的容错性，扩展性，可见性，安全性，以及灵活性的提供其他]]></description><category></category></item><item><title><![CDATA[安装solr在tomcat服务器下]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/39933791</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/39933791</guid><author>shifenglov</author><pubDate>Thu, 09 Oct 2014 16:55:02 +0800</pubDate><description><![CDATA[在linux下以下三步是必须的：
1、java1.7以上的版本
2、在Solr 的lib/ext目录下的jar包（比如在/opt/solr/example/lib/ext）必须拷贝到$CATALINA_HOME/lib/目录下
3、资源文件log4j.properties（比如在/opt/solr/example/resource）必须拷贝到$CATALINA_HOME/lib/目录下
]]></description><category></category></item><item><title><![CDATA[自学大数据：基于Solr实现HBase的文本索引]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/39929693</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/39929693</guid><author>shifenglov</author><pubDate>Thu, 09 Oct 2014 13:47:32 +0800</pubDate><description><![CDATA[使用目的：
HBase目前只支持对rowkey的一级索引，对于二级索引还不支持，当然可以把所有要索引的字段都拼接到rowkey中，根据hbase的filter功能进行查询，但是这样操作数据会涉及到全表扫描，效率很低，速度慢，不利于后期扩展。并且，通过HBase自己的索引，实现数据量统计，分页，中文索引几乎不可能。所以，基于solr为HBase创建索引，就显得更有价值。]]></description><category></category></item><item><title><![CDATA[自学大数据：Hive基于搜狗搜索的用户日志行为分析]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/38925683</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/38925683</guid><author>shifenglov</author><pubDate>Fri, 29 Aug 2014 14:58:06 +0800</pubDate><description><![CDATA[每天很多都听到很多关于wome]]></description><category></category></item><item><title><![CDATA[基于eclipse开发hadoop2中的MapReduce]]></title><link>https://blog.youkuaiyun.com/shifenglov/article/details/38584699</link><guid>https://blog.youkuaiyun.com/shifenglov/article/details/38584699</guid><author>shifenglov</author><pubDate>Fri, 15 Aug 2014 14:27:45 +0800</pubDate><description><![CDATA[开发

在windows下开发，通过eclipse连接到hadoop集群，并且远程运行 


参考代码为wordcount代码




调试
       直接运行，我


测试




MRunit测试开发




异常解决





1、Exception in thread "main" java.lang.UnsatisfiedL]]></description><category></category></item></channel></rss>