
Hadoop
unetman
四海之内皆兄弟
展开
-
Hadoop Map/Reduce内存限制
如何设置Hadoop Map/Reduce任务的内存限制? Parameter Type Meaning mapred.cluster.map.memory.mb set by admin, cluster-wide Cluster definition of memory per map slot. The maximum amount of memory, in MB, ea转载 2013-11-26 15:39:06 · 1005 阅读 · 0 评论 -
Hive 内建操作符与函数开发——深入浅出学Hive
第一部分:关系运算 Hive支持的关系运算符 •常见的关系运算符 •等值比较: = •不等值比较: •小于比较: •小于等于比较: •大于比较: > •大于等于比较: >= •空值判断: IS NULL •非空判断: IS NOT NULL •LIKE比较: LIKE •JAVA的LIKE操作: RLIKE •REGEXP操作: REGE转载 2014-03-31 18:06:14 · 1341 阅读 · 0 评论 -
hadoop 基本文件操作命令
1.将本地文件拷贝到 hdfs 文件系统中 bin/hadoop fs -copyFromLocal /server/bin/nutch/urls/url.txt urls 2.将hdfs中的文件拷贝到本地路径 bin/hadoop fs -copyToLocal urls(hdfs文件) /opt/index (本地路径) 3.查看hdfs文件系统内文件列转载 2014-04-02 16:41:45 · 810 阅读 · 0 评论 -
Hive与表操作有关的语句
1.创建表的语句: Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment],转载 2014-03-26 14:19:27 · 632 阅读 · 0 评论