冷锋

最近在研究

最基本的是cat、more和less。1. 如果你只想看文件的前5行，可以使用head命令，如：head -5 /etc/passwd2. 如果你想查看文件的后10行，可以使用tail命令，如：tail -2 /etc/passwd 或 tail -n 2 /etc/passwdtail -f /var/log/messages参数-f使tail不停地去读最新的内容，这样有

在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的拖慢了整个任务的完成时间，硬件不同就不说了，应用的类型不同其中就比如page rank 或者data mining 里面一些计算，它的每条记录消耗的成本不太一样，这里只讨论关于关系型运算的（一般能用SQL表述的) 数据切分上的

HDFS简介HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized

1 Xshell配置   1.1  下载xshell客户端   1.2  安装ssh服务         sudo apt-get install openssh-server         使用ps -e | grep ssh，如果只有ssh-agent表示还没启动，需要/etc/init.d/ssh start；有sshd说明已启动。 

Ubuntu 12.04默认是不允许root登录的，在登录窗口只能看到普通用户和访客登录。以普通身份登陆Ubuntu后我们需要做一些修改,普通用户登录后，修改系统配置文件需要切换到超级用户模式,在终端窗口里面输入: sudo  -s.然后输入普通用户登陆的密码，回车即可进入 root用户权限模式。然后执行: vi /etc/lightdm/lightdm.conf.增加 g

hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了这件事。1、HDFS我们首先应

注：本文翻译自 http://www.cyanny.com/2013/12/05/hadoop-isnt-silver-bullet/ Hadoop是一个分布式海量数据计算的伟大框架。但是，hadoop并不是万能的。比如，以下场景就不适合用hadoop： 1、低延迟数据访问需要实时查询并在毫秒级内进行低延时访问数据就不适合用hadoop。Hadoop并不适用

以下为本人在学习hadoop过程中遇到问题，在此做下总结方便以后查阅，同时也希望对大家有所帮助；

以下为本人在学习hadoop过程中遇到问题，在此zuo

以下为本人在学习hadoop过程中遇到问题，在此做下总结方便以后查阅，同时也希望对大家有所帮助；21、从本地上传文件至HDFS文件系统，报如下错误：INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink

hadoop有3种安装模式，分别是：本地模式、伪分布模式、集群模式。本文在这里只介绍伪分布安装模式。温馨提示：有意向进一步学习hadoop的伙伴，欢迎加qq:1040195253交流。1、 设置IP地址执行命令：service network restart验证：ifconfig2、 关闭防火墙命令: Serv

事先声明一点的是ubuntu中是没有yum命令的，yum是

首选,确认你已经安装了build-essential程序包:apt-get install build-essential确认你已经安装了内核头文件包:uname -rapt-get install linux-headers-'kernel version'如果你遇到gcc版本错误,你需要安装编译你内核的gcc版本:cat /proc/version这会告诉你,你的内核

安装基本库