- 博客(295)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 置顶，关于我的博客文章说明
置顶，关于我的博客文章说明。以前刚开始用博客的时候，使用的是百度空间，所以大部分文章都发到了上面去了。后来百度空间关闭了，导致很多文章变成私有收藏内容，只能自己看。我在近期整理一下这些文章当中的涉及技术部分，发表到了csdn博客。凡是以前的旧文章都会在文章最下面注明以前的发表时间。
2016-07-13 11:04:12
826
原创 protobuf与json互相转换，protobuf输出字符串
protobuf与json互相转换，protobuf输出字符串Javahttp://code.google.com/p/protobuf-java-format/mavencom.googlecode.protobuf-java-formatprotobuf-java-format1.2从protobuf转jsonMess
2017-05-27 11:33:22
17133
1
转载 数据库中存储过程、函数、触发器的区别
存储过程、函数、触发器的区别比较项目存储过程函数是否有返回值可以有，也可以没有必须有且只有一个是否可以单独执行可以必须通过execute执行SQL语句（DML或SELECT）可否调用不可以可以，且可以位于FROM关键
2016-12-16 14:41:13
6793
转载 数学常数e的含义
作者： 阮一峰日期： 2011年7月 9日1.e是一个重要的常数，但是我一直不知道，它的真正含义是什么。它不像π。大家都知道，π代表了圆的周长与直径之比3.14159，可是如果我问你，e代表了什么。你能回答吗？维基百科说："e是自然对数的底数。"但是，你去看"自然对数"，得到的解释却是："自然对数是以e为底的对数函
2016-10-25 09:50:50
1268
转载 jQuery UI dialog插件出错信息:$(this).dialog is not a function
$("#dialog").dialog({ width: 480, height:"auto", resizable: false, draggable: true, modal: true, position: "center", autoOpen: fal
2016-10-24 17:32:33
5696
原创 java.lang.NoClassDefFoundError: org/springframework/context/ApplicationContext
java.lang.NoClassDefFoundError:org/springframework/context/ApplicationContext 如果是tomcat部署工程后出现该问题，则检查tomcat \webapps\project_name\WEB-INF\lib 发现下面没有jar，就是因为这个原因导致没有读取到spring jar，导致tomca
2016-10-13 10:57:50
16178
转载 SparkSQL读取Hive中的数据
注意红色字。----------------------由于我Spark采用的是Cloudera公司的CDH，并且安装的时候是在线自动安装和部署的集群。最近在学习SparkSQL，看到SparkSQL on HIVE。下面主要是介绍一下如何通过SparkSQL在读取HIVE的数据。（说明：如果不是采用CDH在线自动安装和部署的话，可能需要对源码进行编译，使它能够
2016-09-18 17:07:32
3995
原创 Hive metastore三种配置方式
Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。 一、本地derby这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可 javax.jdo.option.ConnectionUR
2016-09-18 17:01:18
693
原创 Hive连接产生笛卡尔集. FAILED: ParseException line 1:18 Failed to recognize predicate 'a'. Failed rule: 'kwIn
我在实际使用时，设置了set hive.mapred.mode=nonstrict;但是依旧报错。最后只好全部改成了inner join，这样子写起来很费劲。而且最后算出来的数据跟网上的实例不太一样，不知道是什么原因？=============================摘要： 在使用hive过程中遇到这样的一个异常： FAILED: ParseEx
2016-09-14 17:51:24
7966
转载 spark-submit 报错 Initial job has not accepted any resources
spark-submit 报这样的错误 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
2016-09-14 11:01:36
1487
1
转载 Spark 常见问题小结
问题导读1、当前集群的可用资源不能满足应用程序的需求，怎么解决？2、内存里堆的东西太多了，有什么好办法吗？1、WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster uito ensure that workers are registered
2016-09-14 11:00:41
960
转载 spring3的propagation的取值REQUIRED与REQUIRED_NEW的区别
spring3的propagation的取值REQUIRED与REQUIRED_NEW的区别spring 事务的传播行为中，有两个容易混淆的行为：REQUIRED和REQURED_NEW。当程序在某些情况下抛出异常时，如果对于这两者不够了解，就可能很难发现而且解决问题。下面我们给出三个场景进行分析：场景一：ServiceA.java:public class
2016-09-12 15:11:50
4820
转载 【重要】spring+springMVC,JdbcTemplate声明式事务失效，原因以及解决办法
【重要】spring+springMVC,JdbcTemplate声明式事务失效，原因以及解决办法 我的分析：由于配置了多份xml配置文件，导致了会生成父子容器，applicationContext.xml生成父容器，servlet-context.xml生成子容器。 @Service实例 本应由父容器扫描，结果由子容器生成。解决办法参照第三点，指定哪些不扫描。 -----
2016-09-11 15:40:56
2727
转载 检查异常和未检查异常不同之处
public class ExceptionTypeTest { public void doSomething()throws ArithmeticException{ System.out.println(); } public static void main(){ ExceptionTypeTest et
2016-09-06 16:32:35
497
转载 23种设计模式（9）：访问者模式
定义：封装某些作用于某种数据结构中各元素的操作，它可以在不改变数据结构的前提下定义作用于这些元素的新的操作。类型：行为类模式类图： 访问者模式可能是行为类模式中最复杂的一种模式了，但是这不能成为我们不去掌握它的理由。我们首先来看一个简单的例子，代码如下：class A {public void method1(){System
2016-08-26 17:40:24
647
转载 Java transient关键字使用小记
Java transient关键字使用小记 哎，虽然自己最熟的是Java，但很多Java基础知识都不知道，比如transient关键字以前都没用到过，所以不知道它的作用是什么，今天做笔试题时发现有一题是关于这个的，于是花个时间整理下transient关键字的使用，涨下姿势~~~好了，废话不多说，下面开始：1. transient的作用及使用方法 我们都知道一个对
2016-08-26 17:21:31
591
原创 MyEclipse2016 live preview功能引发的问题
提示：关闭live preview，使用tomcat8.0-------------------问题说明MyEclipse 2016目前最新版为CI 3，从CI 1起，添加了live preview功能，也就是实时预览，详情看官网介绍，这个功能在web项目中是默认开启的。但是这个功能引发的bug目前还得不到解决，已经得到官网的证实，确实是一个bug，并且会在
2016-08-16 10:45:27
975
转载 Myeclipse2016的特有乱码问题--tomcat中文乱码
Myeclipse2016的特有乱码问题--tomcat中文乱码忙活了两三个小时才找出症结所在。网上搜乱码你会得到各种各样的乱码解决方案，但。。。习惯了。。。很多情况都不是你所遇到的那种情况一般的乱码问题都是设置一下编码属性即可。我这里是将之前做的一个项目导入到ide，之前在win7上是没有任何问题的，换了win10，装了myeclipse2016，然后
2016-08-15 17:38:40
1536
3
转载 建议50： 使用package-info类为包服务
建议50： 使用package-info类为包服务Java中有一个特殊的类：package-info类，它是专门为本包服务的，为什么说它特殊呢？主要体现在3个方面：（1）它不能随便被创建在一般的IDE中，Eclipse、package-info等文件是不能随便被创建的，会报“Type name is notvalid”错误，类名无效。在Java变量定义规范中规定如下字符是允
2016-08-04 12:45:02
766
转载 Java中可变长参数的使用及注意事项
在Java5 中提供了变长参数（varargs），也就是在方法定义中可以使用个数不确定的参数，对于同一方法可以使用不同个数的参数调用，例如print("hello");print("hello","lisi");print("hello","张三", "alexia");下面介绍如何定义可变长参数 以及如何使用可变长参数。1. 可变长参数的定义使用...表示可变长参数，例如
2016-07-29 17:13:27
407
转载 Java 8的新特性—终极版
前言： Java 8 已经发布很久了，很多报道表明Java 8 是一次重大的版本升级。在Java Code Geeks上已经有很多介绍Java 8新特性的文章，例如Playing with Java 8 – Lambdas and Concurrency、Java 8 Date Time API Tutorial : LocalDateTime和Abstract Class Versus
2016-07-29 16:05:43
451
转载 Java注释@interface的用法【转】
java用 @interface Annotation{ } 定义一个注解 @Annotation，一个注解是一个类。@Override，@Deprecated，@SuppressWarnings为常见的3个注解。注解相当于一种标记，在程序中加上了注解就等于为程序加上了某种标记，以后，JAVAC编译器，开发工具和其他程序可以用反射来了解你的类以及各种元素上有无任何标记，看你有什么标记
2016-07-29 16:02:50
425
转载 隐马尔科夫模型(HMMs)之五：维特比算法及前向后向算法
维特比算法(Viterbi Algorithm) 找到可能性最大的隐藏序列通常我们都有一个特定的HMM，然后根据一个可观察序列去找到最可能生成这个可观察序列的隐藏序列。 1.穷举搜索我们可以在下图中看到每个状态和观察的关系。通过计算所有可能的隐藏序列的概率，我们可以找到一个可能性最大的隐藏序列，这个可能性最大的隐藏序列最大化了Pr(o
2016-07-25 17:33:13
2217
转载 隐马尔科夫模型(HMMs)之四：前向算法
前向算法(Forward Algorithm) 一、如果计算一个可观察序列的概率？ 1.穷举搜索 加入给定一个HMM，也就是说(,A,B)这个三元组已知，我们想计算出某个可观察序列的概率。考虑天气的例子，我们知道一个描述天气和海藻状态的HMM，而且我们还有一个海藻状态的序列。假设这个状态中的某三天是（dry，damp，soggy），在这三天中的每一天，天
2016-07-25 17:31:32
878
转载 隐马尔科夫模型(HMMs)之三：隐马尔科夫模型
隐马尔科夫模型（Hidden Markov Models） 定义隐马尔科夫模型可以用一个三元组(π,A,B)来定义:π 表示初始状态概率的向量A =（aij）（隐藏状态的）转移矩阵 P（Xit|Xj（t-1）） t-1时刻是j而t时刻是i的概率B =（bij）混淆矩阵 P（Yi|Xj）在某个时刻因隐藏状态为Xj而观察状态为Yi的概率值得注意的是，在状态转移矩
2016-07-25 17:29:20
648
转载 隐马尔科夫模型(HMMs)之二：隐含模式
隐含模式（Hidden Patterns） 当马尔科夫过程不够强大的时候，我们又该怎么办呢？在某些情况下马尔科夫过程不足以描述我们希望发现的模式。回到之前那个天气的例子，一个隐居的人可能不能直观的观察到天气的情况，但是有一些海藻。民间的传说告诉我们海藻的状态在某种概率上是和天气的情况相关的。在这种情况下我们有两个状态集合，一个可以观察到的状态集合（海藻的状态）和一个隐藏的状
2016-07-25 17:27:52
675
转载 隐马尔科夫模型(HMMs)之一：简介及生成模式
介绍（introduction）通常我们总是对寻找某一段时间上的模式感兴趣，这些模式可能出现在很多领域：一个人在使用电脑的时候使用的命令的序列模式；一句话中的单词的序列；口语中的音素序列。总之能产生一系列事件的地方都能产生有用的模式。考虑一个最简单的情况：有人(柯南？)试图从一块海藻来推断天气的情况。一些民间的传说认为“soggy”的海藻意味着潮湿（wet）的天气，“dry”的海藻
2016-07-25 17:26:18
1157
转载 redis 五种数据类型的使用场景
String1、String 常用命令： 除了get、set、incr、decr mget等操作外，Redis还提供了下面一些操作： 获取字符串长度 往字符串append内容 设置和获取字符串的某一段内容 设置及获取字符串的某一位（bit） 批量设置一系列字符串的内容 应用场景： String是最常用的一种数据类型，普通的key/v
2016-07-25 17:14:51
478
转载 Redis ZADD命令
Redis ZADD命令添加所有指定的成员指定的分数存放在键的有序集合。它可以指定多个分/成员对。如果指定的成员已经是有序集合中的一员，分数被更新，并在合适的位置插入元素，以确保正确的顺序。如果键不存在，一个新的有序集合的指定成员作为唯一的成员创建，就像如果有序集合是空的。如果该键存在，但不持有有序集合，则返回一个错误。返回值返回整型添加到有序集合，不包括被更新元素元素的数量。
2016-07-25 16:59:33
2751
转载 ZRANGEBYSCORE
ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT offset count]返回有序集 key 中，所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。具有相同 score 值的成员按字典序(lexicographical order)来排列(
2016-07-25 16:51:21
1967
转载 redis里能不能针对set数据的每个member设置过期时间？
redis里能不能针对set数据的每个member设置过期时间？想要使用redis的set数据集记录一组数据，每一条数据的过期时间都是30天，但这些数据不是同一天加进去的。也就是说这组数据不会在同一时间过期。这样就不能对set的key进行过期时间设定，因为一旦设置了key的过期时间，所有的member会同时过期。但是在redis的语法里又没有发现针对每个member的过期时间设定方法。
2016-07-25 16:44:23
18194
原创 Redis Expire
Redis Expire命令用于设定键有效期。到期时间后键不会在Redis中使用。返回值整数值1或01, 如果设置的键超时。0, 如果键不存在，或者未设置超时。语法Redis expire命令的基本语法如下所示：redis 127.0.0.1:6379> Expire KEY_NAME TIME_IN_SECONDS例
2016-07-25 16:42:43
1725
原创 Redis TTL命令
Redis TTL命令用于获取键到期的剩余时间(秒)。返回值以毫秒为单位的整数值TTL或负值TTL以毫秒为单位。-1, 如果key没有到期超时。-2, 如果键不存在。语法Redis TTL命令的基本语法如下所示：redis 127.0.0.1:6379> TTL KEY_NAME例子
2016-07-25 16:40:08
11850
转载 维特比算法(Viterbi Algorithm)
寻找最可能的隐藏状态序列 (Finding most probable sequence of hidden states)对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列，我们常常希望能找到生成此序列最可能的隐藏状态序列。 假设连续观察3天的海藻湿度为(Dry,Damp,Soggy),求这三天最可能的天气情况。天气只有三类(Sunny,Cloudy,Ra
2016-07-24 15:47:06
792
转载 使用System.arraycopy()实现数组之间的复制
System提供了一个静态方法arraycopy(),我们可以使用它来实现数组之间的复制。其函数原型是： public static void arraycopy(Object src, int srcPos, Object dest, int destPos, int length) src:源数组； srcPos:源数组要复制的起始位置； dest:目的数组； destPos:目的数组
2016-07-24 15:45:19
426
转载 前向算法(Forward Algorithm)
本文直接举实例说明ForwardAlgorithm (前向算法)由马尔科夫模型MM可知:对于一个系统，由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这种转移概率可以依据其紧接的前一种状态推算出来，与该系统的原始状态和此次转移前的马尔可夫过程无关。隐马尔可夫模型（HiddenMarkov models，HMM）是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序
2016-07-24 15:38:30
839
转载 通用维特比算法的Java实现
用Java实现的求解HMM的维特比算法，开源在Git上:https://github.com/hankcs/Viterbi。代码本身没什么新意，看到Git上没有好用的Viterbi的Java实现，所以补个缺。特点是简单好懂，一个方法搞定。调用简单，往compute方法里填充HMM的五元组就能得到最佳标注序列。附赠一个对经典天气预测问题的求解，问题的描述和思路详见前文：p
2016-07-24 14:31:21
1241
转载 viterbi,维特比算法通俗理解
维特比算法说白了就是动态规划实现最短路径，只要知道“动态规划可以降低复杂度”这一点就能轻松理解维特比算法维特比算法是一个特殊但应用最广的动态规划算法，利用动态规划，可以解决任何一个图中的最短路径问题。而维特比算法是针对一个特殊的图——篱笆网络的有向图（Lattice )的最短路径问题而提出的。 它之所以重要，是因为凡是使用隐含马尔可夫模型(Hidden Markov Model，HMM
2016-07-24 14:25:11
5752
1
转载 Java enum的用法详解
用法一：常量在JDK1.5 之前，我们定义常量都是： public static fianl.... 。现在好了，有了枚举，可以把相关的常量分组到一个枚举类型里，而且枚举提供了比常量更多的方法。public enum Color { RED, GREEN, BLANK, YELLOW } 用法二：switchJDK1.6之前的switch语
2016-07-24 14:23:39
312
转载 synchronized 是什么意思？
(转载)synchronized 关键字，它包括两种用法：synchronized 方法和 synchronized 块。 1. synchronized 方法：通过在方法声明中加入 synchronized关键字来声明 synchronized 方法。如： public synchronized void accessVal(int newVal); synchronized
2016-07-21 17:29:13
3147
Lucene 3.5 API Document 英文文档 说明文档
2012-01-19
txt文件编码转换工具软件
2010-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人