lida_java-优快云博客

原创 SQL实现行转列

需求：用SQL实现行转列。如下图所示：行显示的数据转换成列显示实现行转列的SQL脚本如下： SELECT DATE_FORMAT( LAST_DAY( DATE_FORMAT(20160519, '%Y-%m-%d') ), '%Y%m%d' ) AS 业务日期, MAX(CASE INDEX_CODE WHEN 'IND2

2016-05-19 17:28:31 1089

原创 zkfc报错：java.net.NoRouteToHostException: No route to host

问题：启动zkfc后立马就挂了，查看日志，发现报错如下：2016-05-12 17:15:34,452 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server lida1/10.30.12.169:2181. Will not attempt to authenticate using SASL (

2016-05-12 17:31:54 5607

原创安装、配置好hive后，在启动过程中报的错及解决方法

启动hive时报错：问题1：Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in stat

2016-05-12 17:25:42 11976 1

原创详述执行map reduce 程序的步骤（本地执行MR、服务器上执行MR）

MR程序的执行环境有两种：本地测试环境、服务器环境。 1、本地环境执行MR程序的步骤：（1）在windows下配置hadoop的环境变量（2）拷贝debug工具(winutils)到HADOOP_HOME/bin （3）从源码中拷贝org.apache.hadoop.io.nativeio.NativeIO.java到我们的mr的src目录下

2016-05-11 12:00:27 7865

原创启动hadoop报No Route to Host from lida1/10.30.12.87 to lida3:8485 failed on socket timeout exception:

问题：启动hadoop启动时有个NN始终起不来。查看日志，发现报错如下：2016-05-04 15:12:27,837 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Get corrupt file blocks returned error: Operation category READ is not support

2016-05-04 18:06:53 3752

原创 centos6.5的服务器同步时间时报错：ntpdate ntp.fudan.edu.cn

问题：centos同步时间时报错：ntpdate ntp.fudan.edu.cn 4 May 17:38:28 ntpdate[8559]: no server suitable for synchronization found 出现原因：可能是因为你的服务器上设置的时区和你要同步的服务器所在地方的时区不同。如果你的服务器上设置的时区为日本的时区，而你想同步上海的

2016-05-04 17:58:01 2386

原创 java.lang.IllegalArgumentException: Cannot format given Object as a Number

问题： java.lang.IllegalArgumentException: Cannot format given Object as a Number 报错的详细信息如下：严重: Servlet.service() for servlet [spring] in context with path [/ph51rs] threw exception [Request

2016-05-01 21:48:17 25969

原创 java.lang.IllegalArgumentException: Mapped Statements collection does not contain value for com.ph51

问题：java.lang.IllegalArgumentException: Mapped Statements collection does not contain value for com.ph51rs.pojo.statReserve.mapper.list报错的详细信息如下：Error querying database. Cause: java.lang.IllegalAr

2016-05-01 21:45:11 1705

原创 linux采用NAT的连接方式连接网络时，宿主机能ping通虚拟机，虚拟机ping不通宿主机

问题：linux采用NAT的连接方式连接网络时，宿主机能ping通虚拟机，虚拟机ping不通宿主机。出现原因：采用NAT方式连接网络或宿主机开启了防火墙。解决办法：采用桥接方式连接网络或关闭防火墙。

2016-05-01 21:38:28 2191 1

原创 Could not load the Tomcat server configuration at \Servers\Tomcat v7.0 Server at localhost-config

问题：Could not load the Tomcat server configuration at \Servers\Tomcat v7.0 Server at localhost-config. 出现原因：我的tomcat是放在/opt目录下的，这时候必须确保所有在tomcat目录下的conf目录中的文件的权限为755. 如果为700的话，是普通用户没有访问权限的。

2016-05-01 21:37:09 1612

原创 MongoVUE已连接MongoDB，但是，用MongoVUE，看不到MongoDB数据库中的数据，日志报错： “Failed to authenticate root@dataPlantform

问题：MongoVUE已连接MongoDB，但是，用MongoVUE，看不到MongoDB数据库中的数据，查看日志，报错：“Failed to authenticate root@dataPlantform with mechanism MONGODB-CR: AuthenticationFailed MONGODB-CR credentials missing in the user

2016-05-01 21:35:39 3578

原创 MongoVUE连接MongoDB，日志报错： “Failed to authenticate root@admin with mechanism MONGODB-CR: Authenticatio

问题：MongoVUE连接MongoDB的过程中，如果出现以下问题：“Unable to concect to server 127.0.0.1:27017：未将对象引用设置到对象的实例”Invalid credential for database ‘admin’..”日志报错：“Failed to authenticate root@admin with mechanism MONGO

2016-05-01 21:32:01 5857

原创启动hadoop报ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile

问题：重启所有服务器后，在启动hadoop集群时发现namenode（standby）始终启动不了，查看日志发现报错：ERROR org.apache.hadoop.hdfs.server.namenode.FSImage: Failed to load image from FSImageFile，详细报错信息如下：2016-04-29 18:01:03,770 WARN org.apach

2016-04-29 11:31:53 8338 5

原创 eclipse链接hadoop2.5.1时报错Error：Call From roo/10.30.12.xxx to hostname1:9000 failed on connection excep

问题：我用eclipse(Mar.2 Release(4.5.2))连接hadoop2.5.1时报错：Error：Call From roo/10.30.12.xxx to hostname1:9000 failed on connection exception:java.net.ConnectException:Connection refused:no further information

2016-04-28 16:52:01 7204

原创一个namenode能正常启动，状态为active，另一个namenode无法启动

简介：我在搭建hadoop2.5.1的HDFS（HA With QJM）时遇到了上述问题。在此先强调一点：我之前做过HA，现在要重做。问题：格式化namenode（起个别名，就叫甲吧）后，用hdfs namenode -bootstrapStandby的方式把格式化产生的源数据copy到另外一个namenode（乙）上。用start-dfs.sh的方式启动hdfs后，发现甲正常启动，乙

2016-04-28 11:32:24 3601

原创优化SQL脚本—求所有投资人首月投资金额

工作中遇到个问题：要求所有投资人首月投资的金额。举例说明：求fff4d7d1752f4950b088c5b550a82ac9的首月投资金额即求2015-12月所有的投资金额。为实现上述需求，原本采用笛卡尔集的形式，详细SQL如下：#统计首月投资金额SELECTC.INVESTOR AS INVEST,SUM(C.INVESTAMOUNT) AS F_M_INVESTAMOUNT,C.FLA

2016-04-21 15:26:44 531

原创 MySQL求投资人在第二次投资所在的那个月的所有投资金额

工作中遇到了个问题：要用MySQL求投资人在第二次投资所在的那个月的所有投资金额（以下简称二投金额）。举例说明：fff4d7d1752f4950b088c5b550a82ac9的二投金额，即为2016-02月份所有投资金额，也就是1500元。如下图所示：那么怎么写SQL呐？先说一下求一个人的二投金额的思路。首先取出这人的最小投资月份，即2015-12，然后求大于2015-12的所有月份

2016-04-21 11:53:23 1104

原创把SQL的执行结果赋值给变量，然后将其作为while的条件，循环执行SQL

主要的SQL脚本如下：BEGIN DECLARE V INT DEFAULT 1;DECLARE ARGS INT DEFAULT 0; #声明变量SELECT COUNT(*) INTO ARGS #给变量赋值FROM ( SELECT A.INVE_AMOUNT AS FIRST_INVEST_MONEY FROM ( SELECT

2016-04-20 17:56:54 5721

原创 MySQL实现把两行数据合并为一行

在项目中遇到了这样一个问题：某人上月投资N元钱，本月投资M元钱，现要求把本月和上月的投资金额放在一行显示。如下图：解决方案：用left join on详细SQL脚本如下：INSERT INTO DW_ADS.TR04_OPER_003 ( BUSINESS_DATE, USER_ID, MONTH_INVEST_MONEY, LAST_MONTH_INVEST_

2016-03-29 13:56:29 8068

原创 Invalid bean definition with name ‘dataSource’ definition in class path resource [applicationContext

SpringMVC架构的项目在进行JUnit测试时报错：Invalid bean definition with name ‘dataSource’ definition in class path resource [applicationContext.xml]:Could not resolve placeholder ‘jdbc.driverClassName’详细信息如下：

2016-01-13 16:48:11 20174

原创 MongoDB + Java (MapReduce)

1、项目结构如下：2、MapReduce.java源码：/**2016年1月5日 *auther:lida *testMongoMR *testMongoMR *MapReduce.java * */package testMongoMR;import java.net.UnknownHostException;import java.util.Map;

2016-01-06 16:27:30 826

原创 Caused by: com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJE

背景：SpringMVC—框架、Redis—缓存、MongoDB—数据库。源码：出现问题：Caused by: com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 1 path $

2015-12-31 17:22:37 25794

原创 org.springframework.beans.BeanInstantiationException: Failed to instantiate [java.io.Serializable]:

项目背景：SpringMVC + redis + MongoDB 架构的收集用户访问网站的日志数据的项目，我在实现把收集到的数据放到消息队列-redis时报错。 13:42:21.834 [http-bio-8080-exec-4] DEBUG o.s.web.servlet.DispatcherServlet - DispatcherServlet with name 'spring'

2015-12-21 16:05:12 26676

原创 kettle-6.0从MySQL中读取数据并写入MongoDB的教程

kettle从MySQL中读取数据并写入MongoDB的教程1、从MySQL中读取数据1.1创建“数据库连接”点击“DB连接”，会弹出如下页面。填写连接MySQL的信息，点击“测试”，查看是否连接上？如能正常连上MySQL，会弹出一个页面，如下图所示：如没有出现上图，证明没有连接成功，请重试。1.2从MySQL中读取数据点击“核心对象”

2015-12-10 16:24:39 11480

原创 Exception in thread "main" org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to co

问题：用Kafka创建topic时报错：Exception in thread "main" org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 30000出现原因：多样，比如kafka没启动，服务器时间不同，防火墙没关。（下面的解决办法只

2015-10-23 18:58:03 11059

原创 Hadoop-2.5+Hbase-0.98报错：java.lang.RuntimeException: Failed construction of Master: class org.apache.

问题：java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMasterat org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3015)at org.apach

2015-10-05 14:07:07 6226

原创 Hive+mySql遇到的问题和解决办法

问题1：Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby.

2015-10-03 17:31:10 6140

原创本地mapReduce项目报错：java.io.IOException: Unable to establish loopback connection;

问题：java.io.IOException: Unable to establish loopback connection;出现原因：本地防火墙阻止了IO流。解决方法：关闭本地防火墙。

2015-10-03 09:15:14 8814

原创本地mapReduce项目报错：java.lang.NullPointerException at java.lang.ProcessBuilder.start...

问题：java.lang.NullPointerExceptionat java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)at org.apache.hadoop.util.Shell.run(Shell.

2015-10-01 21:04:36 6373

原创搭建hdfsHA时遇到的问题及其解决方案

问题：1、 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled.出现原因：h

2015-09-30 15:31:58 12309 4

转载 No mapping found for HTTP request with URI [/...] in DispatcherServlet with name ...的解决方法

我在搭建一个Lucene的项目时遇到了这个问题：No mapping found for HTTP request with URI [/myLucene1/index.do] in DispatcherServlet with name 'spring'产生该问题的原因： IndexController类里没有加controller的注解。如下：...import org.spr

2015-09-27 20:34:17 5864

原创 xshell5连接centos6.7时提示服务器拒绝了密码的解决办法

我用xshell5连接centos6.7时，提示“服务器拒绝了密码“。在网上找了很多方法都没有解决该问题，冷静下来一想是不是centos下没有这个用户了呐？于是赶紧验证一下我的猜测，结果发现centos下没有这个账户了，因此，你不管登陆多少次都会出现上面的错误。解决办法：1、用别的用户名和密码登陆。2、新建个有特定权限的用户。

2015-08-28 11:44:16 7152

原创用xshell5连接vmware10+centos6.7时报Could not connect to '192.168.54.100' (port 22): Connection failed的解法

我在用xshell5连接vmware10上的centos6.7时报了上面的错。报这个错让我感觉很莫名其妙，因为虚拟机能ping通宿主机，宿主机也能ping通虚拟机，而且如下图：，百思不得其解，也找不到解决办法，直到我看到一篇文章—http://www.cnblogs.com/Leo_wl/p/4385381.html。然后，我关了防火墙，重启了ssh，解决了上面的问题。

2015-08-27 14:41:52 68577 4

原创启动tomcat7.0时报错：unable to start within 45 seconds. If the server requires more time, try increasing t

该错误产生的背景：我的开发环境的配置是：jdk1.8.0_51、Tomcat 7.0、MyEclipse 2015 stable2.0，通过myeclipse启动本地的tomcat时报错：Server Tomcat v7.0 Server at localhost was unable to start within 45 seconds. If the server requires mor

2015-08-17 10:08:05 1709

原创 java.lang.RuntimeException: org.dom4j.DocumentException: Error on line 1 of ...xml: 应该有伪属性名。

开发的系统在解析xml文档时，报了个错，百思不得其解，后看到一篇文章，以下是该文的链接：http://blog.sina.com.cn/s/blog_59a5c56301009yay.html，于是仔细检查了一遍xml文档，发现xml文档中有一个字母拼写错误，修改正确后，该问题被解决。如出现上述问题，请仔细检查xml文档

2015-07-29 16:03:07 9018

原创用myeclipse2015 stable 2.0新建jsp后，无法使用jstl/core标签

如出现上述问题，请把jstl-1.1.2.jar和standard.jar一块导入到项目中即可解决！

2015-07-28 17:08:11 951

原创 Navicat 连接SqlServer报错：Another installation is in progress,You must complete that installation...

问题描述：Navicat 连接SqlServer报错：Another installation is in progress,You must complete that installation...解决方法：重启电脑，重新用Navicat 连接SqlServer。

2015-01-09 17:54:07 6002

原创异常5：org.apache.jasper.JasperException: java.lang.NullPointerException

具体描述：基于SSH框架的系统在删除数据库中指定的某条记录时出现异常：org.apache.jasper.JasperException: java.lang.NullPointerException，但是从控制台可以看到数据库中的数据已被删除。控制台上的信息如下： Hibernate: delete from SYSTEM.ZHANG_MU where ZHANGMU

2014-05-28 00:36:10 2471

原创异常4： Unable to instantiate Action, AddZhangMuAction, defined for 'AddZhangAction' in namespace ...

异常4：Unable to instantiate Action, AddZhangMuAction, defined for 'AddZhangAction' in namespace '/'AddZhangMuActioncom.opensymphony.xwork2.DefaultActionInvocation.createAction(DefaultActionInvocati

2014-05-28 00:34:13 695