知行天下

一、Hadoop是什么？ 答：是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。 hadoop的核心主要包含：HDFS和MapReduce HDFS是分布式文件系统，用于分布式存储海量数据。 MapReduce是分布式数据处理模型，本质是并行处理。 二、多少数据算海量数据？ 答：个人认为，TB（1024GB）级别往上就可以

安装numpy相对简单，以下命令可以完成 apt-get install python-numpyapt-get install python-scipy 安装matplotlib相对复杂一些需要先安装其依赖的包libpng和freetype安装libpng: sudo apt-get install libpng-dev

http://julyedu.com/machinelearning.php#bengin1

基于libsvm的中文文本分类原型 ，虽然做了原型，但是概念还不是很清晰。“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”结构化风险结构化风险 = 经验风险 + 置信风险经验风险 =  分类器在给定样本上的误差置信风险 = 分类器在未知文本上分类的结果的误差置信风险因素：样本数量，给定的样本数量越大，学习结果越有可

Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。下面的表格列出这些基础类型所占的字节以及从什么版本开始支持这些类型。数据类型

问题导读1.导入数据到HDFS，需要注意什么？2.在测试sqoop语句的时候，如何限制记录数量?3.sqoop导入时什么情况下会多导入一条数据?一、sqoop 导入数据到HDFS注意事项分割符的方向问题首先sqoop的参数要小心, 从数据库导出数据，写到HDFS的文件中的时候，字段分割符号和行分割符号必须要用--field

在一个Spark程序的开始部分，有好多是用sparkContext的parallelize制作RDD的，是ParallelCollectionRDD，创建一个并行集合。例如sc.parallelize(0 until numMappers, numMappers)创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份。在集群模式中，

你知道那种代码在跑，你却不知道下面在干什么的感受！ 这句话触动太大了哈。早年汇编程序员过渡C时，发现C语言对于机器抽象太过于猛烈。想当年那些寄存器运算、内存寻址、访问磁盘io多多少少还有些冯诺依曼结构的影子，再看如今C语言遍地的数组、指针操作已经完全把计算机体系映射到完整的数学逻辑操作。汇编程序员一边大骂C太过于傻瓜化，让大量不懂计算机体系，不懂CPU结构的”愣头青”也能参与到程序开发，而

Twitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.5.2，基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语，可被用于

最近写多了HiveSQL,今天偶尔改了一个很老的java程序，突然想到SQL到底是不是一种OO的语言？按照历史来说，SQL应该和OO几乎是出生于同一个年代，我无法得知发明SQL的人是否借鉴了OO，或者想出OO的人是否吸纳了SQL的精髓，但是某一些容易被人忽略的东西还是可以印证这两个东西的相似性！OO的三个基本特点:封装性/继承性/多态性对于SQL来说几乎全部拥有，特别是对于Hive

Hadoop Streaming中的大文件和档案任务使用-cacheFile和-cacheArchive选项在集群中分发文件和档案，选项的参数是用户已上传至HDFS的文件或档案的URI。这些文件和档案在不同的作业间缓存。用户可以通过fs.default.name.config配置参数的值得到文件所在的host和fs_port。这个是使用-cacheFile选项的例子：-cach

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hadoop是一个存储计算框架，主要由两部分组成： 1，存储

streaming把reduce的输出作为一个任务的最终输出，输出文件形如：       part-00000、part-00001……       文件个数为reduce任务个数 但是，有的时候，我们有多路输出的需求，eg：一部分数据作为下一个mapreduce任务的输入，另一部分数据直接供下游任务抓取，此时，我们就需要使用reduce的多路输出。在hadoop-v2-u

1、进入hive/conf目录下，修改hive-default.xml:  @baidu, I 修改的是 hive-site.xml   hive.metastore.local   true     javax.jdo.option.ConnectionURL   jdbc:mysql://192.168.0.121:3307/hive?createDatabaseI

http://blog.youkuaiyun.com/superye1983Hive的安装其实很简单下载tar包解压，然后配置一下HIVE_HOME和系统PATH就可以了然后运行hiveLogging initialized using configuration in jar:file:/home/kira/src/hive/current/lib/hive-common-0.8

翻译自 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types列类型Hive支持的数据类型如下:原生类型:TINYINTSMALLINTINTBIGINTBOOLEANFLOATDOUBLESTRINGBINARY (Hive 0.8.0以上才可用)TIMESTAMP (Hive 0

这里罗列常用操作，更多参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create%2FDrop%2FTruncateTable简单的创建表create table table_name ( id int, dt

标题是一篇文章，为新华社记者杨明所写，文中讨论了中国在亚运会团购金牌的事，认为泱泱中华不应该再以金牌论英雄，而需将竞技体育转移到全民运动中来，让全社会都来热爱体育，热爱运动。引用此文，不是在此讨论体育，而是因为前些天巴真同学的拍砖引起了我的一些想法！为什么会有这么多想法？因为本人活到现在还没有人在我的文章后留言如此之长，为表敬重，单独再开一贴。其实我们所要争论的核心议题很明确，就是

http://www.iteblog.com/archives/1240