brandonroy347-优快云博客

原创 hadoop源码之hdfs(1)---通信协议

说起hadoop这个东西，只能说真是个伟大的发明，而本人对cutting大神也是无比的崇拜，记得刚接触hadoop的时候，还觉得这个东西挺多余的，但是现在想想，这个想法略傻逼......2006-2016，hadoop至今已经走过了10个年头，版本也已经发展到2.7了，现在hadoop3.0也快出来了，虽然spark，flink这些优秀的框架近几年的势头非常的强劲，但是我认为，近几年内并不

2016-11-26 12:53:10 2989

原创 hadoop yarn配置的一点小问题

hadoop2.x中的yarn配置的项都比较多，因此需要比较小心，一个不小心输错了，错误比较难发现，本人最近几天就在配置yarn的过程中遇到了一些问题，找了很久才发现问题所在。首先在启动namenode之后启动yarn然后jps一下发现是有resourcemanager和namenode的，但是再jps一下就发现resourcemanager没有了，再看其他节点上，nodemanager都还在，

2016-04-10 12:27:43 508

原创 Java中Integer类的缓存问题

当我们在Java中打入一段代码Integer a = 100, b = 100;Integer c = 1000, d = 1000;System.out.println(a==b);System.out.println(c==d);根据我们对Java的认识，如果两个引用指向同一个对象，那么==判断的值是相等的，否则的话，即使两个引用指向的对象的内容相同，==判断的结果还是fa

2015-12-19 18:55:49 742

原创 hive学习笔记（1）

hive中有个严格模式，即set hive.mapred.mode=strict，如果select语句中不包含限制性字句时就会报错，可根据情况进行使用，如果不想使用可设为nonstrict（注：本人一开始不知道默认值是多少，随便尝试了下district，还真可以，应该是只要不是strict就可以了吧哈哈）

2015-11-11 23:03:48 385

原创关于hive中jline版本与hadoop不匹配的问题

最近把hadoop从1.2.1版本升到了2.3.0，装好hive运行的时候，出现了如下的错误：WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist Logging initialized using configuration in file:/root/work/hive/conf/hive-l

2015-11-07 18:00:30 1204

转载实例分析JVM安全体系：双亲委派、命名空间、保护域、策略

在了解双亲委派模型之前，先了解一下类加载器的概念：类加载器的作用就是将真实的class文件根据位置将该Java类的字节码装入内存，并生成对应的Class对象。用户可以通过继承ClassLoader和重写findClass方法来定义自己的类加载器进行加载，系统类加载器按照层次，分为： (1).启动类加载器(Bootstrap ClassLoader)：将加载 /JAVAHOME/lib以及

2015-10-30 00:36:46 381

转载 Java常量池解析与字符串intern简介

在Java应用程序运行时，Java虚拟机会保存一份内部的运行时常量池，它区别于class文件的常量池，是class文件常量池映射到虚拟机中的数据结构。关于class文件常量池的部分可以参考之前的博文实例探索Class文件。　　1.CONSTANT_Class入口解析　　数组类的符号解析较为特殊。若是基本类型数组，那么虚拟机将创建该基本类型的新数组类，并创建一个Class实例来代表该类型

2015-10-30 00:33:52 427

翻译 CentOS更新源

首先备份/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup下载对应版本repo文件, 放入/etc/yum.repos.d/wget http://mirrors.163.com/.help/Cen

2015-10-16 13:21:20 378

原创启动datanode后jps下无datanode的解决方法

一般这种情况是由于多次的namenode格式化引起的，解决办法就是将hadoop/data/current/VERSION文件删掉然后重新启动datanodesbin/hadoop-daemon.sh start datanode

2015-10-10 20:53:58 1767

原创 maven构建本地环境的hadoop错误

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-maven-plugins: MavenReportException: Error while creating archive:[ERROR] E

2015-10-09 13:56:35 620

原创 ubuntu下安装openssl

检查是否已安装opensslsudo apt-get install openssl如果已安装执行以下操作：sudo apt-get install libssl-devsudo apt-get install libssl0.9.8Ubuntu 下安装 GTK+ 开发库sudo apt-get install libgtk2.0-dev

2015-10-04 20:45:23 339

转载 JAVA CAS 原理分析

看了一堆文章，终于把JAVA CAS的原理深入分析清楚了。感谢GOOGLE强大的搜索，借此挖苦下百度，依靠百度什么都学习不到！参考文档：http://www.blogjava.net/xylz/archive/2010/07/04/325206.htmlhttp://blog.hesey.net/2011/09/resolve-aba-by-atomics

2015-09-12 21:56:13 279

brandonroy347的博客