
hadoop
文章平均质量分 90
nyyjs
这个作者很懒,什么都没留下…
展开
-
Eclipse连接远程Hadoop集群&运行WordCount例程
hadoop开发主要分为两种,第一种是脱离集群开发;第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行; http://www.aboutyun.com/thread-6950-1-1.html https://my.oschina.net/OutOfMemory/blog/776772 本文记录的是后一种,即用本地windows下的eclipse 连接远程linux下的原创 2017-06-20 16:13:52 · 3651 阅读 · 1 评论 -
关于HDFS的一些总结
一,FsImage 和 FsEdit的意义及它们的运行机制FsImage。存储的是元数据镜像文件,具体讲是存储某一时段NameNode内存元数据信息。 FsEdit。操作日志文件。比如说,上传一个文件或删除一个文件,这些操作。从而引申出以下几个问题: 1),什么是元数据? 简单来讲,就是HDFS文件的属性信息(文件名、目录名等等属性信息)、文件内容信息(文件块情况、副本数等等内容信息)、dat原创 2017-07-20 11:04:04 · 447 阅读 · 0 评论 -
NIO(一)——阻塞/非阻塞/同步/异步/NIO/select/epoll基本概念
这个系列是我对NIO的个人理解,某些概念难免会与有理解上的偏差,希望各路大神能给在下指点出来,感激不尽!IO一般指的是内核与外部进行数据交互的所发生的事情。典型分为网络IO(socket),磁盘IO(文件),管道IO(pipe)等几类。我们将主要介绍网络IO这一部分。 一, 阻塞/非阻塞/同步/异步 谈及网络IO,都会谈到阻塞,非阻塞,同步,异步这几个概念。我们先从IO的过程讲起。 IO主要原创 2017-07-27 16:58:40 · 2339 阅读 · 1 评论 -
Eclipse和HBase连不上的问题分析
搭建一套物理上的hadoop和hbase集群,二者都是采用的完全分布式模式。 若hbase用hdfs文件系统的话,那么就需要先搭建hadoop集群(若是file文件系统便不需要先搭建hadoop)。而hbase与hadoop存在版本兼容的问题,原因是RPC协议对版本的要求非常严格。因此在选择hbase和hadoop的版本时,务必要参考官方文档。如下, 本人选择的版本: JDK版本:jdk1.8原创 2017-08-25 17:55:18 · 3253 阅读 · 1 评论 -
理解动态代理及动态代理在RPC中的应用
我尽量用通俗的语言来解释我对动态代理技术的理解动态代理技术动态代理涉及到了两种技术:1,反射机制;2,代理机制。这两种技术的详细解释请自行谷歌或百度。 有几篇文章大家可以看看: http://m.blog.youkuaiyun.com/hejingyuan6/article/details/36203505 http://www.cnblogs.com/xiaoluo501395377/p/3383130原创 2017-09-05 13:41:19 · 6284 阅读 · 3 评论