hadoop
关注
分享
扫一扫
BP-自娱
现任汽车制造公司经营管理ITBP，原大搜车汽车服务有限公司测试总监、原阿里巴巴无线测试专家，百度手机安全卫士测试负责人，BSCQ测试解决方案经理。
曾带领测试团队开发WEB端测试框架，销售额600W+，组织开发教育O2O系统业务实现获利700W+，测试解决方案团队在公司一举成名，后加入百度，负责百度安全卫士持续集成管理。10年从WEB端转行做无线，与创新工场一起开发了国内第一款定制化ANDROID操作系统，点心OS，是国内第一批移动领军者，之后加入阿里巴巴，负责阿里巴巴无线性能与安全工作。当前在大搜车汽车服务有限公司担任测试总监职位。
著作：《Gradle中文使用文档》一书
展开
-
[Hadoop]Hive r0.9.0中文文档（一）之数据操作语句
[color=red]文章为原创，转载请标注文章出处，否则保留对版权的追求权力。[/color][size=large][b]一、创建表的语法[/b][/size][code="java"]CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment],...原创 2012-10-23 15:26:13 · 180 阅读 · 0 评论 -
[Hadoop]chukwa与ganglia的区别
众所周知， hadoop 是运行在分布式的集群环境下，同是是许多用户或者组共享的集群，因此任意时刻都会有很多用户来访问 NN 或者 JT ，对分布式文件系统或者 mapreduce 进行操作，使用集群下的机器来完成他们的存储和计算工作。当使用 hadoop 的用户越来越多时，就会使得集群运维人员很难客观去分析集群当前状况和趋势。比如 NN 的内存会不会在某天不知晓的情况下发生内存溢出，因此就需要用...原创 2012-07-20 15:06:06 · 202 阅读 · 0 评论 -
[Hadoop]chukwa的简单介绍
Apache 的开源项目 hadoop， 作为一个分布式存储和计算系统，已经被业界广泛应用。很多大型企业都有了各自基于 hadoop 的应用和相关扩展。当 1000+ 以上个节点的 hadoop 集群变得常见时，集群自身的相关信息如何收集和分析呢？针对这个问题， Apache 同样提出了相应的解决方案，那就是 chukwa。概述 chukwa 的官方网站是这样描述自己的： chuk...原创 2012-07-20 11:55:21 · 240 阅读 · 0 评论 -
[Hadoop]Pig与Hive的区别
请允许我很无聊的把飞机和火车拿来做比较，因为2者根本没有深入的可比性，虽然两者都是一种高速的交通工具，但是具体的作用范围是截然不同的，就像Hive和Pig都是Hadoop中的项目，并且Hive和pig有很多共同点，但Hive还似乎有点数据库的影子，而Pig基本就是一个对MapReduce实现的工具(脚本)。两者都拥有自己的表达语言，其目的是将MapReduce的实现进行简化，并且读写操作数据最终都...原创 2012-07-20 11:45:02 · 414 阅读 · 0 评论 -
[Hadoop]转载-Pig的简单介绍
Pig是Yahoo!捐献给Apache的一个项目，目前还在Apache孵化器（incubator）阶段，目前版本是v0.5.0。Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简易的操作和编程接口。本文介绍了Pig的安...原创 2012-07-20 11:33:56 · 143 阅读 · 0 评论 -
[Hadoop]转载-avro数据序列化简介
Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发，当前最新版本1.3.3。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。 ...原创 2012-07-20 11:31:07 · 149 阅读 · 0 评论 -
[Hadoop]Sqoop 1.4.2中文文档（三）之SqoopJob与其外的操作
[size=large][b]一、sqoop job相关命令参数[/b][/size][code="java"]usage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [] [TOOL-ARGS]]Job management arguments: --create Create a new saved job ...原创 2012-10-25 10:50:19 · 265 阅读 · 0 评论 -
[Hadoop]Sqoop 1.4.2中文文档（二）之数据导出
[size=large][b]一、sqoop-export[/b][/size]相关参数：[code="java"]usage: sqoop export [GENERIC-ARGS] [TOOL-ARGS]Common arguments: --connect Specify JDBC connect ...原创 2012-10-24 16:25:04 · 181 阅读 · 0 评论 -
[Hadoop]Sqoop 1.4.2中文文档（一）之数据导入
[size=large][b]一、Sqoop Help[/b][/size][code="java"]$ sqoop helpusage: sqoop COMMAND [ARGS]Available commands: codegen Generate code to interact with database records create-hi...原创 2012-10-24 16:02:39 · 345 阅读 · 0 评论 -
[Hadoop]Hive r0.9.0中文文档（五）之用户自定义反射
Reflect (Generic) UDF你可以使用Java中的类或者方法来执行一个功能，那么这些类和方法将使用Java的反射执行，你可以调用这些类的static方法。方法将返回一个私有类型，或者一个hive知道怎样去Serialize(序列化)的类型。[code="java"]SELECT reflect("java.lang.String", "valueOf", 1), ...原创 2012-10-24 11:56:13 · 142 阅读 · 0 评论 -
[Hadoop]Hive r0.9.0中文文档（四）之Hive变量的使用
[size=large][b]一、介绍[/b][/size]例子:[code="java"]$ a=b$ hive -e " describe $a "[/code]如果你hive数据库中没有b这个表，则会提示Table b does not existhive的变量设置可以放在hiveconf中，使变量赋值与查询合并为一句话：例子:[code="java"...原创 2012-10-24 11:42:35 · 156 阅读 · 0 评论 -
[Hadoop]Hive r0.9.0中文文档（三）之Hive相关命令
[size=large][b]一、Hive命令选项[/b][/size]Usage:[code="java"]Usage: hive [-hiveconf x=y]* []* [|] [-S] -i Initialization Sql from file (executed automatically and silently before any...原创 2012-10-24 11:15:54 · 178 阅读 · 0 评论 -
[Hadoop]Hive r0.9.0中文文档（二）之联表查询Join
[size=large][b]一、Join语法[/b][/size][code="java"]join_table: table_reference [INNER] JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_co...原创 2012-10-23 17:28:04 · 180 阅读 · 0 评论 -
[Hadoop]以前整理的一份Hadoop学习指南
附件是我曾经整理的一份Hadoop学习指南，后来因为离职后方向已经不搞Hadoop了，所以遗忘在硬盘里了，今天看见了，上传上来，分享之。原创 2013-11-19 13:51:38 · 180 阅读 · 0 评论