Hadoop
关注
分享
扫一扫
文章平均质量分 58
huhuijun123
这个作者很懒，什么都没留下…
展开
-
Hadoop作业调优参数调整及原理
高清视频地址：http://v.gotomao.com/video-search?q=hadoop第一部分：core-site.xml•core-site.xml为Hadoop的核心属性文件，参数为Hadoop的核心功能，独立于HDFS与MapReduce。参数列表•fs.default.name•默认值 file:///•说明：设置Hadoop namenode的...原创 2014-01-15 10:20:11 · 128 阅读 · 0 评论 -
hadoop集群部署
1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile： export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 保存，并执行s...原创 2015-05-08 15:47:36 · 88 阅读 · 0 评论 -
Hadoop集群的配置调优
一、背景Hadoop的集群使用也有些时候了，不过都是小集群的使用（数量小于30台）。在这个 过程中不断的进行着配置调优的操作。最早的时候，在网上也没有找到一些合适的配置调优方法，于是，我在这里列举一些基本的调优配置，以供参考。最后，还有 一个我自己的测试环境的配置说明，也可以参看一下。二、环境和配置1. 版本和环境Ø Hadoop版本：apache发布的0.21...原创 2015-04-30 18:22:39 · 143 阅读 · 0 评论 -
精通hadoop
1.Hadoop是什么 Hadoop原来是ApacheLucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。2.下面列举hadoop主要的一些特点：1扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。2成本低（Econ...原创 2013-10-22 09:58:58 · 205 阅读 · 0 评论 -
hive中的时间处理函数
日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323...原创 2014-03-18 12:32:10 · 137 阅读 · 0 评论 -
hadoop集群监控工具ambari安装
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有：Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache Oozie Apache ...原创 2014-03-14 10:55:50 · 210 阅读 · 0 评论 -
利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-...原创 2014-03-14 10:53:48 · 2489 阅读 · 0 评论 -
hive的Specified key was too long; max key length is 767 bytes问题解决
当在hive中show table 时如果报以下错时 FAILED: Error in metadata: javax.jdo.JDODataStoreException: Error(s) were found while auto-creating/validating the datastore for classes. The errors are printed in the ...原创 2014-01-22 22:45:04 · 152 阅读 · 0 评论 -
Hadoop MapReduce高级编程
高清视频地址：http://v.gotomao.com/video-search?q=hadoop第一部分：重要的组件Combiner•什么是Combiner•combine函数把一个map函数产生的<key,value>对（多个key, value）合并成一个新的<key2,value2>. 将新的<key2,value2>作为输...原创 2014-01-15 10:24:29 · 106 阅读 · 0 评论 -
Hadoop RestFul
高清视频地址：http://v.gotomao.com/video-search?q=hadoop第一部分：什么是REST 与RESTful•什么是REST及RESTful REST 描述了一个架构样式的互联系统（如 Web 应用程序）。REST 约束条件作为一个整体应用时，将生成一个简单、可扩展、有效、安全、可靠的架构。由于它简便、轻量级以及通过 HTTP 直接传输数据...原创 2014-01-15 10:23:22 · 98 阅读 · 0 评论 -
Hadoop 集群安装
高清视频地址：http://v.gotomao.com/video-search?q=hadoop第一部分：环境规划•用户 test 密码 test•机器 主机名IP角色bigdata-1 172.16.206.205NameNode JobTrakerSencondary Name...原创 2014-01-15 10:22:27 · 97 阅读 · 0 评论 -
hadoop集群默认配置和常用配置
获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文 件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览 更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-defa...原创 2015-05-08 17:28:09 · 83 阅读 · 0 评论