dingzuoer的专栏

最近在学习Linux下的C编程，买了一本叫《Linux环境下的C编程指南》读到makefile就越看越迷糊，可能是我的理解能不行。            于是google到了以下这篇文章。通俗易懂。然后把它贴出来，方便学习。           后记，看完发现这篇文章和《Linux环境下的C编程指南》的makefile一章所讲述的惊人的相似，只是这篇文章从一个实例切入，在有些地方比

-l参数和-L参数-l参数就是用来指定程序要链接的库，-l参数紧接着就是库名，那么库名跟真正的库文件名有什么关系呢？就拿数学库来说，他的库名是m，他的库文件名是libm.so，很容易看出，把库文件名的头lib和尾.so去掉就是库名了。好了现在我们知道怎么得到库名了，比如我们自已要用到一个第三方提供的库名字叫libtest.so，那么我们只要把libtest.so拷贝到/

hadoop的工程是我在电脑上重新编译成32位的，但是直接使用hadoop权威指南的C++文件以及makefile会报错。makefile：cc = g++CPPFLAGS = -m32 -I$(HADOOP_DEV_HOME)/includemaxTemperature:MaxTemperature.cpp $(cc) $(CPPFLAGS) $< -lm -Wall -L$(HADOO

一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文

最近和寝室的同学一起搭建了Hadoop的集群，实现了一个简易的本地搜索引擎，并且将其开源到了github上：https://github.com/ifuding/search-1047，接下来的几篇博文将对这个项目及其代码作一些详细的描述。搜索原理概述“搜索”，简而言之就是要分析用户输入然后输出给用户已经排好序的URL集合。一个简单的实现所需要的排序依据主要就是文本检索以及url的PageRank值

系统：ubuntu 14.04 HADOOP VERSION: 2.6.0 32bits在装好hadoop并且开启dfs和yarn以后，用JPS检查能看到一下六个进程：14779 DataNode15322 NodeManager14657 NameNode15194 ResourceManager17656 Jps14979 SecondaryNameNode接下来我们需要运行Word

前段时间一直在准备实习的事情，没有更新项目相关的博客。最近才通过了百度的实习生面试，面试的时候这个小项目助力不少，所以又想来补充一下前面没有分享的一些项目经验。Hadoop输入输出格式Hadoop中mapper的输入必须是(key, value)格式的。若输入文件类型为文本格式，这也是默认的输入文件类型。则key是行号，value就是这一行对应的文本。 同理reducer输出的默认格式也是文本，输

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统，scheme是hdfs ，对本地文件系统，scheme是file 。其中scheme和 authority参数都是可选的，如果未加指定，就会使用