<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[maoxiao_jsd的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/maoxiao_jsd</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; maoxiao_jsd]]></copyright><item><title><![CDATA[回顾2013：HBase的提升与挑战]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18354593</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18354593</guid><author>maoxiao_jsd</author><pubDate>Thu, 16 Jan 2014 11:52:18 +0800</pubDate><description><![CDATA[2013年马上就要过去了，总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布，代码结构已经按照模块化发布了，而且提供了许多大家迫切需求的特点。这些特点大多在Yahoo!/Facebook/淘宝/小米等公司内部的集群中跑了挺长时间了，可以算是比较稳定可用了。
1. Compaction优化
HBase的Compaction是长期以来广受诟病的一个特性，]]></description><category></category></item><item><title><![CDATA[使用PowerDesigner创建CDM图]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18316277</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18316277</guid><author>maoxiao_jsd</author><pubDate>Wed, 15 Jan 2014 17:23:45 +0800</pubDate><description><![CDATA[使用PowerDesigner创建CDM图


CDM是大多数开发者使用PD时最先创建的模型，也是整个数据库设计最高层的抽象。CDM是建立在传统的ER图模型理论之上的，ER图中有三大主要元素： 实体型，属性和联系。其中实体型对应到CDM中的Entity，属性对应到CDM中每个Entity的Attribute，在概念上基本上是一一对应的。 但在联系上，CDM有了比较大的扩展，除了保留ER图原有]]></description><category></category></item><item><title><![CDATA[python基础篇]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18312269</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18312269</guid><author>maoxiao_jsd</author><pubDate>Wed, 15 Jan 2014 15:44:43 +0800</pubDate><description><![CDATA[http://linux.chinaunix.net/techdoc/beginner/2008/05/05/1000568.shtml]]></description><category></category></item><item><title><![CDATA[Python入门教程]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18311759</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18311759</guid><author>maoxiao_jsd</author><pubDate>Wed, 15 Jan 2014 15:23:27 +0800</pubDate><description><![CDATA[Lesson 1 准备好学习Python的环境
下载的地址是：
www.python.org
为了大家的方便，我在校内作了copy：
http://10.1.204.2/tool/compiler&IDE/Python-2.3.2-1.exe
linux版本的我就不说了，因为如果你能够使用linux并安装好说明你可以一切自己搞定的。

运行环境可以是linux或者是windows：]]></description><category></category></item><item><title><![CDATA[powerdesigner12.5 入门教程]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18311689</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18311689</guid><author>maoxiao_jsd</author><pubDate>Wed, 15 Jan 2014 15:21:18 +0800</pubDate><description><![CDATA[powerdesigner12.5 入门教程 
下载powerdesigner12.5 

进行破解和汉化： 
（1）powerdesigner->tools->lisence 
select the type of lisence you want to use :   
选择第一个,点击load，寻找lisence路径 
下一步，选择所在地 success（也有可能lisence]]></description><category></category></item><item><title><![CDATA[一网打尽2013最常用的NoSQL数据库]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18257483</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18257483</guid><author>maoxiao_jsd</author><pubDate>Tue, 14 Jan 2014 10:35:09 +0800</pubDate><description><![CDATA[在几年内，NoSQL数据库一直以性能、可扩展性、灵活的模式和分析能力聚焦着人们的注意力。尽管关系型数据库对于某些用例来说仍是一个不错的选择，就像结构数据和要求ACID事务的应用，但是NoSQL在以下用例中将更具优势： 


存储的数据实质上是半结构化或者松散的。要求一定的等级的性能和扩展性。存取该数据的应用与最终的一致性相吻合。

非关系型数据库典型支持以下功能： 


灵活的模式]]></description><category></category></item><item><title><![CDATA[大数据下的数据分析平台架构(2011)]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18256061</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18256061</guid><author>maoxiao_jsd</author><pubDate>Tue, 14 Jan 2014 10:03:36 +0800</pubDate><description><![CDATA[随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。






谢超

Admaster数据挖掘总监，云计算实践者，10年数据仓库和数据挖掘咨询经验，现专注于分布式平台上的海量数据挖掘和机器学习。





作]]></description><category></category></item><item><title><![CDATA[在Hadoop上运行SQL：程序员需知晓的13种数据工具]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18255459</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18255459</guid><author>maoxiao_jsd</author><pubDate>Tue, 14 Jan 2014 09:50:48 +0800</pubDate><description><![CDATA[在GigaOM安排Structure:
 Data的日程的时候，就意识到很有必要讨论在Hadoop上运行SQL查询，然而却未认识到Hadoop上运行SQL查询竟然变的这么重要。本文是Gigaom的资深编辑Derrick Harris 撰写的一篇文章 ，优快云编译如下：

其实，对SQL支持并不是Hadoop的最终目标，但是这一特性将会帮助Hadoop找寻自己的生存方式，让Hadoop在那些]]></description><category></category></item><item><title><![CDATA[Yahoo的Spark实践，下一代Spark调度器Sparrow]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18255349</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18255349</guid><author>maoxiao_jsd</author><pubDate>Tue, 14 Jan 2014 09:48:11 +0800</pubDate><description><![CDATA[Yahoo的Spark实践

Yahoo是大数据巨头中对Spark最情有独钟的一家。这次峰会，Yahoo贡献了三个演讲，让我们一一道来。

Andy Feng是从浙大走出来的Yahoo杰出架构师，他的主题演讲试图回答两个问题。

第一个问题，为什么Yahoo爱上Spark？当Yahoo的内容从编辑选择变成数据驱动的、上下文敏感的、个性化的页面时，机器学习、数据科学是盖子下面的引擎。技术]]></description><category></category></item><item><title><![CDATA[拥抱Spark，机遇无限——Spark Summit 2013精彩回顾]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18255273</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18255273</guid><author>maoxiao_jsd</author><pubDate>Tue, 14 Jan 2014 09:47:03 +0800</pubDate><description><![CDATA[时光回拨到去年九月， UC Berkeley AMPLab的几个成员从硅谷风投Andreessen Horowitz融资成立了Databricks公司，志在从Apache Spark开始，打造一系列工具和平台，从而更快、更方便地从大数据中挖掘有价值的信息。公司成立不久团队成员便着手组织第一届的Spark峰会，会议的组织和宣传只用了两个多月。

Spark今年的发展势头很猛，当Databrick]]></description><category></category></item><item><title><![CDATA[分布式日志收集系统Apache Flume的设计介绍]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18253113</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18253113</guid><author>maoxiao_jsd</author><pubDate>Tue, 14 Jan 2014 08:52:47 +0800</pubDate><description><![CDATA[概述

Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook
 Scribe，Apache Chuwka，Apache
 Kafka(也是LinkedIn的)。Flume是后起之秀，本文尝试简要分析Flume数据流通过程中提供的组件、可靠性保证来介绍Flume的主要]]></description><category></category></item><item><title><![CDATA[YARN ResourceManager调度器的分析]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053863</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053863</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 22:20:35 +0800</pubDate><description><![CDATA[YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器，探讨三种调度器的设计侧重，最后给出一些配置建议和参数解释。

本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如，CPU资源分配等特性在不就的将来就会加入。

为了方便查阅源代码，原代码位置使用[类名:行号]方式表示。

名词解释：

ResourceManage]]></description><category></category></item><item><title><![CDATA[Storm：最火的流式处理框架]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053643</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053643</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 22:16:20 +0800</pubDate><description><![CDATA[诞 生



　　在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。

　　有需求也就有创造，在Hadoop基本奠定了大数据霸主地位的时候，很多的开源项目都是以弥补Hadoop的实时性为目标而被创造出]]></description><category></category></item><item><title><![CDATA[Impala VS hive]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053453</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053453</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 22:11:45 +0800</pubDate><description><![CDATA[1. Impala架构


      
 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从]]></description><category></category></item><item><title><![CDATA[Impala入门笔记]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053303</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18053303</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 22:09:06 +0800</pubDate><description><![CDATA[问题背景：


初步了解Impala的应用
重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍

写作目的：


了解Impala的安装过程
初步了解Impala的使用
比较Impala与Hive的性能测试

适合阅读对象：


想了解Impala安装的读者
想了解Impala与Hive性能比较的读者

不涉及的内容：


如何安装H]]></description><category></category></item><item><title><![CDATA[什么是Spark]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18049327</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18049327</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 20:24:30 +0800</pubDate><description><![CDATA[概述

什么是Spark


Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习]]></description><category></category></item><item><title><![CDATA[Spark：大数据的“电光石火”]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18049003</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18049003</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 20:03:43 +0800</pubDate><description><![CDATA[Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。


轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，2.0为22万行。一方面，感谢Scala语言的简洁和丰富表达力；另一方面，Spark很好]]></description><category></category></item><item><title><![CDATA[HBase数据迁移（3）-自己编写MapReduce Job导入数据]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18048773</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18048773</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 19:50:11 +0800</pubDate><description><![CDATA[尽管在将文本文件加载入HBase时importtsv工具十分高效，但在许多情况下为了完全控制整个加载过程，你可能更想自己编写MapReduce Job向HBase导入数据。例如在你希望加载其他格式文件时不能使用importtsv工具。

HBase提供TableOutputFormat 用于在MapReduce Job中向HBase的表中写入数据。你也可以使用HFileOutputFormat]]></description><category></category></item><item><title><![CDATA[HBase数据迁移（2）- 使用bulk load 工具从TSV文件中导入数据]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18048721</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18048721</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 19:47:53 +0800</pubDate><description><![CDATA[HBase提供importtsv工具支持从TSV文件中将数据导入HBase。使用该工具将文本数据加载至HBase十分高效，因为它是通过MapReduce Job来实施导入的。哪怕是要从现有的关系型数据库中加载数据，也可以先将数据导入文本文件中，然后使用importtsv 工具导入HBase。在导入海量数据时，这个方式运行的很好，因为导出数据比在关系型数据库中执行SQL快很多。
importtsv]]></description><category></category></item><item><title><![CDATA[数据导入HBase最常用的三种方式（一）——put方式]]></title><link>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18048507</link><guid>https://blog.youkuaiyun.com/maoxiao_jsd/article/details/18048507</guid><author>maoxiao_jsd</author><pubDate>Thu, 09 Jan 2014 19:37:18 +0800</pubDate><description><![CDATA[HBase数据迁移（1）-使用HBase的API中的Put方法 


使用HBase的API中的Put是最直接的方法，用法也很容易学习。但针对大部分情况，它并非都是最高效的方式。当需要将海量数据在规定时间内载入HBase中时，效率问题体现得尤为明显。待处理的数据量一般都是巨大的，这也许是为何我们选择了HBase而不是其他数据库的原因。在项目开始之前，你就该思考如何将所有能够很好的将数据转移进]]></description><category></category></item></channel></rss>