
大数据
eff666
这个作者很懒,什么都没留下…
展开
-
java上传文件到HDFS
java上传本地文件到HDFS。 1、pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</version></dependency><dependency> <groupId>or原创 2016-11-09 19:13:59 · 9865 阅读 · 0 评论 -
akka介绍
1、概述Akka是JAVA虚拟机JVM平台上构建高并发、分布式和容错应用的工具包和运行时。Akka用Scala语言写成,同时提供了Scala和JAVA的开发接口。Akka处理并发的方法基于Actor模型。在Akka里,Actor之间通信的唯一机制就是消息传递。Akka框架支持两种语言Java和Scala。Akka是一个运行时与编程模型一致的系统。2、Akka中的Actor是什么Actor本质上就是接原创 2017-03-06 19:25:27 · 3261 阅读 · 0 评论 -
Jackson详细介绍
Jackson是基于Java平台的一套数据处理工具,被称为”最好的Java Json解析器”。它可以使我们高效、简便的处理json字符串。1、Jackson的版本以及maven依赖重点内容<dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId原创 2017-02-28 20:18:16 · 9096 阅读 · 2 评论 -
hbase参数配置
1、hbase参数配置 配置文件:hbase-site.xml和hbase.tmp.dir (1)本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的: 线上配置 hbase.tmp.dir /mnt/dfs/11/hbase/hbase-tmp 默认值: java.io.tmpdir/hb原创 2016-09-25 17:05:30 · 1376 阅读 · 0 评论 -
google guava使用介绍
guava简介 Google Guava很优秀,大有取代Apache Commons之势。Guava是用来,用原汁原味的英文来说就是“Our goal is for you to write less code and for the code you do write to be simpler, cleaner, and more readable”,Guava中主要包括Basic Utili原创 2016-07-18 09:12:38 · 8850 阅读 · 1 评论 -
javahost(JVM虚拟DNS)解决hosts程序中hosts配置问题
最近做HBase项目,需要配置hosts,在本地运行很方便,自己直接配置本地文件hosts就可以。但是项目要上线发布,其他团队成员要使用等等,我是否都要告诉他们怎么配置hosts问题,这样太麻烦,因此我试着寻求另一种解决方案。 如果在不同的运行环境访问不同的数据源服务器,为了方便切换是否使用域名替代IP?如果使用域名的话,在开发环境就需要配置hosts文件。我希望可以不用修改hosts文件就可直接原创 2016-07-29 09:04:26 · 8821 阅读 · 0 评论 -
关于org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError
最近在项目中集成hbase1.0.0和ElasticSearch2.3.3时出现了问题,今天我把其中一个比较尴尬的问题写下来,log中错误:org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatc原创 2016-07-23 17:39:35 · 17558 阅读 · 2 评论 -
HBase读取数据卡住长时间不返回的原因分析
这些天做HBase,但是遇到Hbase连接上之后读取数据的时候,一直卡在那儿,程序既不报错也不结束,让我好生纠结,困扰我一整天。现在问题终于解决,现在写了一段Demo代码,具体如下:public static void main(String[] args) throws IOException { System.setProperty("hadoop.home.dir", "f:/hado原创 2016-07-22 19:54:08 · 15327 阅读 · 4 评论