- 博客(33)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 jaxb根据XSD生成java类时int和integer的区别
XSD中type定义为整形时会有int和integer，生成之后发现xsd:integer并不会生成想要的java.integer。具体对应如下。XML Schema类型Java数据类型xsd:stringjava.lang.Stringxsd:positiveInteger
2017-04-28 14:46:47
720
原创 Presto部署问题解决
2017-03-15T16:21:48.952+0800 ERROR main com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:1) Error: Defunct property 'task.max-memory' (class [class
2017-03-15 16:37:46
3515
原创 java springBoot项目代码加密总结
项目需要向外出售，涉及到版权问题需要进行代码加密。两周时间最终实现了对核心的一个package内的代码进行加密。还未实现对带有spring注解的类进行加密，但是以现在的技术积淀应该没有什么大的问题就可以将加密移植到springBoot源码之中，这个如果有的话后期再更新吧。 java加密很难，是因为源码编译后的字节码保留的源码信息是在太多导致了很容易被反编译。但是如果不是这样的话j
2016-11-07 10:42:39
4310
1
原创 java jni使用之Error: Could not find class file for 'HelloWorld'.
第一次使用jni，建了一个类在src/com/jni/HelloWorld.java下面。javac生成.class文件之后，我切换到了/jni目录下，执行javah -jni com.jni.HelloWorld一直出现Error: Could not find class file for 'HelloWorld'.的错误，最后发现应该切换到src/目录下执行javah -jn
2016-10-26 15:21:17
1561
原创 使用kryo进行序列化各种异常分析解决
使用kryo进行分布式开发时出现如下异常:com.esotericsoftware.kryo.KryoException: java.lang.IndexOutOfBoundsException: Index: 104, Size: 9Serialization trace:datas (com.bonc.text.entity.cluster.InputData) at c
2016-08-29 14:24:48
7691
原创 zookeeper伪分布式错误解决:无法创建目录"/opt/beh/logs": 权限不够
伪分布式的zookeeper启动报错如下:[text@minion19 bin]$ sh zkServer.sh start ../conf/zk1.cfg JMX enabled by defaultUsing config: ../conf/zk1.cfg/home/text/clusters/zookeeper/zk1mkdir: 无法创建目录"/opt/beh/
2016-08-17 14:48:43
2382
1
原创 kafka使用高级api获取指定数量消息
kafka使用高级api获取指定数量消息,低级api更好用只不过还未调试通过,后期再跟上.public Map> getMessages(long maxReads, long timeout, List topics) { stop = false; kafkaConsumer = new KafkaConsumer
2016-08-15 09:36:32
3570
原创 redis.clients.jedis.exceptions.JedisClusterMaxRedirectionsException: Too many Cluster redirections解决
使用redis的jediscluster客户端进行测试出现以下异常Exception in thread "main" redis.clients.jedis.exceptions.JedisClusterMaxRedirectionsException: Too many Cluster redirections?错误原因：创建redis集群的时候使用的命令是：./redis-t
2016-08-10 10:36:01
7598
2
原创 解决ubuntu16.04鼠标键盘自动休眠导致的失灵问题
直接上干货：sudo vi /etc/laptop-mode/conf.d/runtime-pm.conf 修改1到2，重启电脑即可1、AUTOSUSPEND_RUNTIME_DEVTYPE_BLACKLIST=""2、AUTOSUSPEND_RUNTIME_DEVTYPE_BLACKLIST="usbhid usb-storage"
2016-08-08 09:37:00
4092
2
原创 解决远程连接kafka集群无响应
使用ubuntu作为主力系统，virtualbox下搭建了kafka集群，在集群之外的物理机上使用java api写的producer不起作用，consumer一直阻塞在poll(100)处。尝试在物理机上配置了集群各机器ip和机器名映射之后解决问题。即修改物理机/etc/hosts文件，将集群里的主机名和ip映射都添加上，然后程序正常运行。
2016-07-20 15:13:43
1738
转载 JAVA Web.xml 加载顺序
转载：http://blog.163.com/qulei_lei/blog/static/186144231201141945740356/web.xml加载过程（步骤）： 1.启动WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读两个节点: 和 2.紧接着,容器创建一个ServletContext(上下文),这个WE
2016-05-23 16:52:59
277
转载 ANSI、GBK、GB2312、UTF-8、GB18030和、UNICODE编码解读
转载：http://www.qianxingzhem.com/post-1499.html网页编码就是那点事编码一直是让新手头疼的问题，特别是 GBK、GB2312、UTF-8 这三个比较常见的网页编码的区别，更是让许多新手晕头转向，怎么解释也解释不清楚。但是编码又是那么重要，特别在网页这一块。如果你打出来的不是乱码，而网页中出现了乱码，绝大部分原因就出在了编码上了。此外除
2016-05-12 11:39:12
356
原创 解决eclipse下/非spark集群下/通过 java application运行spark程序
最近开始学spark，配置好spark集群后使用另一台局域网内的非集群内部linux机器进行开发。创建的maven项目。直接使用run as-->java Application 报classNotFound错误。原因好像是程序没有生成对应的jar包给master，worker无法获取到jar。那首先想到的当然是使用maven生成jar包。然后可以使用两种方法来运行程序：1
2016-05-04 11:07:30
1083
原创 RDD中partion和block的对比
第一段引用：http://www.tuicool.com/articles/fyuABfQRDD是一个分布式数据集，顾名思义，其数据应该分部存储于多台机器上。事实上，每个RDD的数据都以Block的形式存储于多台机器上，下图是Spark的RDD存储架构图，其中每个Executor会启动一个BlockManagerSlave，并管理一部分Block；而Block的元数据由Driver节点的B
2016-04-29 16:18:16
976
转载 Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介
转载:http://www.cnblogs.com/shishanyuan/p/4723604.html?utm_source=tuicool1、SparkSQL的发展历程1.1 Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Ha
2016-04-29 10:22:11
404
原创 粗略对比Parquet和Hbase数据存储结构
Parquet的Row group相当于HBase的HRegion，Parquet的colum trunk相当于HBase的Store。 HBase的Store由StoreFile组成，Parquet的colum trunk则由最小单位page存储。两者最大差异就在于此，StoreFile仅是存储了某一特定列的阀值范围内的values集合。而colum trunk的每个pag
2016-04-28 18:18:16
3747
转载 深入分析Parquet列式存储格式
转载:http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-formatParquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，最新的版本是1.8.0。列式存储列式存储和
2016-04-28 17:58:22
434
转载 NoSQL：列存储数据库之HBase超详细解读
转载:http://tech.it168.com/a2011/1017/1259/000001259748.shtmlHbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实
2016-04-28 15:36:39
449
转载 关系模型、键值存储、文档存储、列式存储、图形数据库,解析五大流行的数据库模型
什么是数据模型？访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。不同的数据模型可能会提供或多或少的功能。一般而言，数据模型不会直接提供过多的功能，许多功能必须由客户端自行实现。数据模型决定了客户端如何对数据进行编码存储。应用程序需要某种域模型与存储技术支持的特性进行映射。迄今为止，主导的数据模型仍然是关系模型。在这里，我
2016-04-27 15:42:15
929
转载 Spark RDD详解
转载自：Spark RDD详解http://f.dataguru.cn/forum.php?mod=viewthread&tid=475874&fromuid=4462921、RDD是什么RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间
2016-04-27 10:52:38
394
原创 hadoop权威指南学习散记
寻址时间的提高远远慢于传输速率的提高结构化数据如 ：xml 半结构化数据 ：电子表格 非结构化数据：纯文本/图像数据关系型数据库与MapReduce差异正在消失磁盘块一般512k HDFS文件块64M 大块是为了最小化寻址开销hadoop 操作级别 job（分析词频）->tasks（每个数据块一个task）->多次map+reduce（如每行数据一次执行过程）mapper->r
2016-04-27 09:23:41
323
原创 socket http rpc学习总结
Socket接口位于应用层和运输层之间，它是一个编程接口便于进行程序开发，可以基于TCP/UDP，但是通常指一次TCP连接。HTTP则是一种应用层协议，HTTP是一种请求-响应式连接，必须是一问一答的形式（比如web编程，每次服务器必须等待request才能response）web则是基于HTTP协议的。序列化： 将数据结构或对象转换成二进制串的过程反序列化：将在序
2016-04-26 18:14:37
370
原创 输入流重复读取问题，解决InputStream引发的空指针问题
写安卓demo小程序，通过HttpClient获取了json文件，首先通过HttpResponse转换json为List，然后用同一个HttpResponse获取的输入流将json数据写入SdCard，然后程序一直异常，学安卓并不久，调试不太精通，废了很大功夫，发现了这个问题。 总结：同一个输入流只能读取一次，虽然以前使用socket编程时知道这个问题但是不小心还是会忘记。每次从输入
2016-03-05 17:10:04
3276
原创 hibernate 中lazy、banth 、fetch的对比
lazy 用于多种标签中，表示此标签代表对象的初始化时机，一般取值proxy和false，默认proxy即延迟加载，对于many-to-one等标签一般用lazy和fetch，lazy默认proxy，表示即使其他属性加载此对象属性保持懒加载，除非访问本对象内部属性。而fetch取值为select，join默认为select即正常模式可忽略，若取值join表示采取迫切左外连接方式，并且忽略lazy属
2016-02-23 01:16:15
493
原创 spring配置文件中声明式事务和OpenSessionInViewFilter深入研究和汇总
spring中配置文件可以配置声明式事务管理以及OpenSessionInViewFilter，一、1、对于声明式事务的配置作用是在配置有事务的方法上起作用，spring接管此方法内的数据库事务管理其原理是在声明的方法开始前通过sessionFactory获取session并且设置其flushmod为auto（所以即使没有使用事务起码也不会报错），并将此session绑定到当前线程上，用户需要
2016-02-23 01:10:25
607
原创 struts2运行流程深层总结
Struts2运行流程1，请求发送给StrutsPrepareAndExecuteFilter2, StrutsPrepareAndExecuteFilter询问ActionMapper:该请求是否是一个Struts2请求(是则返回对应ActionMapping对象否则为null)3，若ActionMapper认为该请求是一个Struts2请求，则StrutsPrepareAndExe
2015-11-28 22:15:23
340
原创 jquery+ajax实现常见电商网站页面显示时滚动条滚到最低端自动从服务器异步加载下一页内容
#dialog{ text-align: center; height: 50px; background-color: LightGray; } #page{ text-align: center; height: 750px; background-
2015-11-15 19:22:33
1099
原创 dao层里一直提示连接关闭的错误但是关闭连接语句明明还未执行
今天在goodsDao里面写方法，测试的时候查询出的数据不正确，而且一直提示连接关闭，报错如下java.sql.SQLException: Connection is closed. at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.checkOpen(PoolingDataSource
2015-11-11 16:12:22
671
原创 JSON解析转化list对象为String时出错
花了将近两个小时解决这个问题。幸亏认真分析了所有报出的异常。出问题的地方是这样的：客户端通过ajax访问servlet，servlet要调用service从数据库取出一个list，然后通过JSONArray将list转为String传回客户端。这时候servlet内的JSONArray.fromObject().toString();这个地方报错，主要详情如下，我的servlet是通过反射调用
2015-11-01 20:42:03
993
原创 jsp 中request 、response以及filter互相之间的关系
大家都知道request和response是servlet第一次被创建时由web容器创建的，filter时用来在客户端与服务器之间进行过滤操作设置的。 首先 当客户端要访问服务器时，本地浏览器会将当前html页面上的数据包括本地磁盘上的cookie封装到request内，然后通过http协议传送到服务器，在它到达服务器之后不会马上到达目标servlet并执行service()方法，而是会先
2015-10-18 23:39:23
897
原创 Tomcat 下多个项目同时启动导致乱码
说起来真奇怪，题目这个说法我也不知道准不准确. 先说说我的遭遇吧，环境为myeclipse2014 tomcat 7.0.0 前天写个小网站，登陆，注册，登陆成功后显示成员列 表。。。。。。 主要就是注册页面的乱码： 注册里面当然有中文了，为了解决？？乱码问题写了个CharacterFilter 配置范围为/*,但是发现插入数据库异常
2015-10-18 23:19:09
424
原创 Tomcat 下多个项目同时启动导致乱码
说起来真奇怪，题目这个说法我也不知道准不准确. 先说说我的遭遇吧，环境为myeclipse2014 tomcat 7.0.0 前天写个小网站，登陆，注册，登陆成功后显示成员列表。。。。。。主要讲这个注册页面的问题： 注册里面当然有中文了，为了解决？？乱码问题写了个CharacterFilter 配置范围为/*,但是发现插入数据库异常，说是某个字段
2015-10-18 23:12:04
132
原创 我的 java java.io.NotSerializableException: java.io.ObjectOutputStream 异常
最近写个小项目，服务器端维护了一个Map，map中有序列化后的一堆对象，还有objectstrem对象。然后执行某个功能时，客户端需要服务器端map中的某些对象数据。然后就一股脑地在服务器端用ObjectOutputStream将整个Map通过写给了客户端。然后就抛出此异常。排错发现map中自定义类全都序列化了。然后就卡了好久。最后去API看IOstream，才猛然发现IOstream是没有实现序
2015-08-04 22:50:53
835
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人