
大数据
文章平均质量分 74
IT农夫
古人学问无遗力,
少壮工夫老始成。
纸上得来终觉浅,
绝知此事要躬行。
展开
-
Hadoop 2.6 日志文件和MapReduce的log文件
Hadoop 2.6包含两个大部分:DFS和Yarn,而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统(不考虑加装ZooKeeper的HA的情况)的log是分别放在3个log里面的。1. 对于DFS的log,在Name Node和Data Node里面,默认可以在${HADOOP_INSTALL}/logs里面转载 2017-10-07 14:39:28 · 1579 阅读 · 0 评论 -
DT大数据梦工厂视频资源
DT大数据梦工厂视频资源:1,《大数据不眠夜:Spark内核天机解密(共140讲)》: 51CTO在线观看(支持手机、平板、PC): http://edu.51cto.com/course/course_id-4703.html 百度云下载: http://pan.baidu.com/s/1eQsHZAq 2,《Hadoop深入浅出实战经典》http://pan.bai转载 2017-10-07 12:06:55 · 2939 阅读 · 2 评论 -
HDFS读文件过程分析:读取文件的Block数据
我们可以从java.io.InputStream类中看到,抽象出一个read方法,用来读取已经打开的InputStream实例中的字节,每次调用read方法,会读取一个字节数据,该方法抽象定义,如下所示: public abstract int read() throws IOException; Hadoop的DFSClient.DFSInputStream类实现了该抽象逻辑,如果我们清楚了转载 2017-10-03 18:26:00 · 1799 阅读 · 1 评论 -
hdfs rack机架感知配置
HDFS不能够自动判断集群中各个datanode的网络拓扑情况。这种机架感知需要topology.script.file.name属性定义的可执行文件(或者脚本)来实现,文件提供了IP->rackid的翻译。NameNode通过这个得到集群中各个datanode机器的rackid。如果topology.script.file.name没有设定,则每个IP都会翻译成/default-rack。 下转载 2017-10-03 19:12:00 · 2130 阅读 · 0 评论