快乐的瑾

udf:用户自定义的函数，针对每一行，可以传递一列或者多列作为参数。udaf：用户自定义函数，但针对的是所有行，也就是聚合函数的意思。udtf：针对的是输入一行数据，输出多行数据的需求，类似于hive自带的explode函数。http://wdicc.com/udf-in-hive/

当一个命令不希望被shell解释器解释的时候用\;,否则碰到；就会开始解释执行或者可以加上``这样就可以把值赋给其它变量把某文件清空cat /dev/null > 文件名

private String name;public void setup ( Context context ){this.name = context.getConfiguration().get("name");这样在map方法里就可以直接用this.name了}

package com.test;/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache

package com.test;import java.io.FileOutputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInp

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;imp

点击打开链接http://blog.fens.me/hadoop-maven-eclipse/

awk -F\; '$5 !~ /\.(gif|js|css|jpg|ico|png)$|profile\.do/ {print}' ${FILE} | sort -r  > /tmp/tmp_logsqoop export --connect jdbc:mysql://:3306/applogs --username mysql --password 123456 -m 1 --table

http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop#.E6.B5.8B.E8.AF.95Hadoophttp://www.cloudera.com/content/cloudera-content/cloudera-docs/HadoopTutorial/CDH4/Hadoop-Tutoria

如果是左关联，最好写成:select a.id,b.namefrom   (select * from lxw_t1 where pt = '2012-11-22') aleft outer join lxw_t2 b on (a.id = b.id);1.少用count(distinct);  select count(distinct cooki

http://my.oschina.net/leejun2005/blog/206341

7周作业过程积累1          job.setOutputKeyClass(Text.class);   job.setOutputValueClass(Text.class);如果这里不指定或者指定的跟map方法体那里的定义不一致，会导致map无法执行2 trim的问题一定要注意， 有空格的话每个地方都要trim

遇到的问题总结：（1）无法在dfs location处上传文件     在linux上开放hdfs目录权限，假设想上传文件到test目录，则hadoop dfs -chmod 777 /test(2)运行mr程序，控制台如下错误：13/11/16 11:53:16 ERROR security.UserGroupInformation: PriviledgedActionExc

今天看视频的收获有一个类型叫做nullWritable，默认的key和value之间用tab键分隔，如果key或者value本身自己定义的是用空格或者其它字符分隔的，不想让key和value之间用tab键，那么就可以使用nullwritable类型这样就不会输出任何东西，也不会有tab键。即如果value为1 2 3,最后的输出也是1 2 3那么我定义的输出的key就可以为nullwrit

正在往测试环境的hadoop集群上传文件，上传失败，提示put: Call to mymaster/123.168.12.6:9000 failed on local exception: java.io.EOFException后来关闭集群，并重启机器，namenode进程还是起不来，看日志，报错提示为：java.io.IOException: Incorrect data format

摘自http://blog.youkuaiyun.com/liangliyin/article/details/5984072 1 hadoop dfs -stat "%o" 文件路径：查看该文件的 分块情况，“ ”还可以是%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM

出现了两次这样的情况了，集群的某个从节点出现cpu超标达到100%，甚至还要高一些的值==100.×                 第一次不是我用的机器，找日志没找到有效信息，只那台从节点jps执行不了了，后来不记得怎么处理的了。                 这一次是我自己用的机器，我知道最后一次执行的操作，是kill -9hive的run jar进程号，当时正在执行一个几百个map

收集自网络几篇文章=====入门：知道MapReduce大致流程，map, shuffle, reduce知道combiner, partition作用，设置compression搭建hadoop集群，master/slave 都运行那些服务HDFS，replica如何定位版本0.20.2->0.20.203->0.20.205, 0.21, 0.23, 1.0. 1

来自http://zxjhx456789.blog.163.com/blog/static/121619722201212124032203/mapred.tasktracker.map.tasks.maximum 这个是一个task tracker中可同时执行的map的最大个数，默认值为2，看《pro hadoop》：it is common to set this value to t

http://dongxicheng.org/mapreduce/how-to-write-hadoop-schedulers/

http://dongxicheng.org/mapreduce/how-to-improve-hadoop-stablility-and-performance/http://dongxicheng.org/mapreduce/hadoop-adjust-heartbeat-interval/

http://dongxicheng.org/mapreduce/hadoop-gridmix-benchmark/http://www.tbdata.org/archives/1133

通过eclipse插件访问远程集群上的hdfs时，如果想往某目录下写数据，需要先将目录的所有者赋给你的windows用户（hadoop dfs -chown -R win上登录用户名 hdfs上目录名）。（或者设为允许所有人写？未试过）

编译过程目录结构    eclipse目录 F:\eclipse    eclipse工程目录 F:\workspaceStep1 导入 Hadoop-eclipse 插件工程获取 hadoop-1.2.1.tar.gz解压缩到 Eclipse workspace 目录下在 Eclipse 中选择 File—>Import—>Existing P

当时用dfsadmin -report 查看了节点状态都是正常的，每个节点上的进程也是正常的。能创建目录，就是不能上传文件。最后发现是因为从节点的防火墙没关。其它可参考的原因：磁盘空间不足，从节点未正常启动

1 用ant jar命令重新编译了hadoop源码之后会生成build文件夹，hadoop重新启动的时候主节点namenode进程会根据build中的版本启动导致从节点的datanode进程与主节点的版本不一致2 必须关闭了hadoop集群再格式化主节点，否则会报错，dfs-name已经被锁定，无法再次锁定3 格式化的时候，如果secondary与namenode在一台机器上，要备份一

视频收获2：可以用enum定义一个计数器，在map方法处理行时，catch捕捉异常行，然后调用context获取counter，context.getCounter(Counter.***).increment(1)enum Counter{ ***}

1 问题   在启动dfs，start-dfs.sh和hdfs dfs -ls /等命令执行的时候，一直出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2 原因   增加