- 博客(29)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop集群完全分布式运行环境搭建
Hadoop集群完全分布式运行环境搭建软件版本 VMware-workstation-full-15.1.0 CentOS-6.8-x86_64-bin jdk-8u144-linux-x64.tar hadoop-2.7.2一、初始机搭建 VMare安装虚拟机1.1 新建虚拟机[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lE9...
2020-01-06 17:10:23
881
原创 oracle 11g学习笔记【基础篇】
前置条件搭建linux oracle 11ghttps://jingyan.baidu.com/article/90895e0f29c92164ec6b0bd1.htmlhttps://www.linuxidc.com/Linux/2012-08/68989.htmhttps://jingyan.baidu.com/article/6525d4b155767dac7d2e94e8.ht...
2019-08-28 00:08:42
705
转载 Hadoop中SecondaryNameNode和HA（高可用）区别
在Hadoop2.0之前，NameNode只有一个，存在单点问题（虽然Hadoop1.0有SecondaryNameNode，CheckPointNode，BackupNode这些，但是单点问题依然存在），在hadoop2.0引入了HA机制。Hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal ...
2019-06-27 06:09:51
2433
转载 ssh-keygen的使用方法
一、概述1、就是为了让两个linux机器之间使用ssh不需要用户名和密码。采用了数字签名RSA或者DSA来完成这个操作2、模型分析假设 A （192.168.20.59）为客户机器，B（192.168.20.60）为目标机；要达到的目的：A机器ssh登录B机器无需输入密码；加密方式选 rsa|dsa均可以，默认dsa二、具体操作流程单向登陆的操作过程（能满足上边的目的）：1、登录...
2019-06-24 19:58:05
1248
转载 vim: error while loading shared libraries: /lib64/libgpm.so.2: file too short解决过程
在使用vim的时候突然报错：[root@localhost ~]# vim avim: error while loading shared libraries: /lib64/libgpm.so.2: file too short解决过程如下：1、先搜索了一下该软件是哪个包提供的[root@localhost ~]# yum provides *libgpm.so.2Loaded p...
2019-06-24 19:54:50
5962
1
原创 执行hadoop jar命令时报Not a valid JAR的原因分析和解决方案
执行hadoop jar命令时报Not a valid JAR错的原因是执行该命令是在本地文件系统下，而非hdfs文件系统，所以若是hdfs上的jar包的路径就会报Not a valid JAR的错误，如下图：cd $HADOOP_HOME，进入hadoop系统环境，再次执行，成功...
2019-06-23 12:55:18
9385
转载 idea打包java可执行jar包
1,在项目上鼠标右键 --> Open Module Settings2, Artifacts --> + --> JAR --> From modules with dependencies…3, Main Class是你这个项目(脚本)的主方法,就是要运行的类,选一个4,如下图,设置 META-INF/MANIFEST.MF!!!切记,不能用默认的(起码我...
2019-06-23 11:53:07
294
转载 Hadoop Journal Node 作用
NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化...
2019-06-16 23:31:32
201
原创 namenode fortmat后datanode无法启动解决办法
hdfs namenode -format格式化后，datanode无法启动，集群无法启动，开始尝试手动排错，首先手动启动报错节点，观察日志：由于format导致namenode的CID和datanode的CID不一致**解决办法：**将datanode CID替换成namenode的CID 重新启动再次启动，解决...
2019-06-16 23:31:11
229
转载 Linux ntpdate同步网络时间
自己的Linux服务器的时间和PC机上的时间不太对，打log的时间对不上，不太方便调式信息的判断，因此需要同步一下Linux服务器的时间和自己Windows的时间，两者一致，才方便调式的查看呢。同步网络时间在Linux下，我们可以使用ntpdate进行网络时间的同步，而不是我们自己去设置时间。这个命令的使用很简单，ntpdate 0.cn.pool.ntp.org另外网络时间同步和时区是...
2019-06-16 10:02:39
3211
转载 spring 事务手动回滚
1、遇到的问题当我们一个方法里面有多个数据库保存操作的时候，中间的数据库操作发生的错误。伪代码如下：public method() { Dao1.save(Person1); Dao1.save(Person2); Dao1.save(Person2);//假如这句发生了错误，前面的两个对象会被保存到数据库中 Dao1.save(Person2);}期待...
2019-06-16 10:00:19
5212
转载 数据库连接用户名和密码加密
需求背景我们在开发应用时，需要连接数据库，一般把数据库信息放在一个属性配置文件中，比如jdbc.properties，具体的内容#mysql的配置文件jdbc.url=jdbc:mysql://127.0.0.1:3306/testjdbc.username=rootjdbc.password=123456里面用明文的方式存储着数据库的敏感信息用户名username和密码pas...
2019-06-16 09:54:47
3452
转载 专线http 400错误解决
产品上线后，在试单过程中，出现一个硬bug，我们系统接入的是百度系统，出现一个http 400错误，这硬bug难倒10几个英雄汉。接下来描述下问题，及我们解决问题的方法及教训：我们的系统与百度系统是专线访问通道，在上线前肯定确保应用系统是没问题的。双方的访问时基于http协议，接口对接。访问流程是：百度应用发出一条命令，经过百度网关，然后到达我们的负载，然后是网关，最后转发到应用系统。问题来...
2019-06-16 09:50:27
1043
转载 Http的Get/Post请求带有特殊字符，400 Bad Request解决方案
今天做项目的时候，需要向服务器接口 传递 json参数，使用 apache 的 httpclient，当时没有对参数做特殊处理直接提交了，结果运行时报错了，如下：HTTP 400 Bad Request后来在网上查资料找到原因了：HttpGet或 HttpPost都不能传包含 ” 、“{“、”}”这样的参数，需要对特殊字符进行转义，把 ” 转成%22，把 { 转成%7b，把 } 转成%7d ...
2019-06-16 09:49:01
7971
转载 定时任务会重复执行俩次的解决方法
情景：在使用SpringMVC的定时任务的注解时，发现自己的定时任务会重复执行俩次。这是为什么呢？java代码：spring-mvc.xml配置：这样配置完后，在启动项目后，项目便能按照指定的时间，间隔半小时执行一次。任务是没半小时执行了，但是每次会重复俩次插入操作。这让我有些费解了。我上网搜索了一下类似的情况的前辈们的解决方法，然后才知道原因原因：任务在同一时刻执行了俩次，说明这...
2019-06-16 09:47:22
12879
2
转载 The type org.springframework.dao.support.DaoSupport cannot be resolved. It is indirectly referenced
在继承SqlSessionDaoSupport出现了两个错误：The project was not built since its build path is incomplete. Cannot find the class file for org.springframework.dao.support.DaoSupport. Fix the build path then try bui...
2019-06-16 09:39:54
301
转载 Hadoop Journal Node 作用
NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化...
2019-06-09 13:04:19
262
转载 Linux虚拟机挂起后自动校准时间
“挂起”是虚拟机里面常用的操作，也是一个非常实用的功能。挂起和关机不同，挂起是把当前的系统状态都封存起来，相当于游戏里面的存档一样，下次直接从这里开始。而关机和平常的机器一样，关闭系统。通常关闭虚拟机都会选择“挂起”而不是“关机”，因为关机了下次开启要等待一段时间，而挂起则不用，一来方便，二来省事。但挂起后的一个问题是：系统被挂起后，系统的时间也被暂停，导致下次开启虚拟机时间不准确，需要手动...
2019-06-09 06:04:11
5316
1
转载 The type org.springframework.dao.support.DaoSupport cannot be resolved. It is indirectly referenced
在继承SqlSessionDaoSupport出现了两个错误：The project was not built since its build path is incomplete. Cannot find the class file for org.springframework.dao.support.DaoSupport. Fix the build path then try bui...
2019-06-09 06:01:32
327
转载 idea导入项目出现Unable to import maven project: See logs for details提示
删除项目根目录下.idea文件夹关闭idea工具，重新打开选择File->New->Project from the existing source ,选择刚才的项目根目，下一步：打勾此选项
2019-06-08 13:28:03
11754
转载 idea中的maven模块变成灰色的可能原因
在使用idea的过程中，遇到其中一个maven模块变成灰色，如下所示：造成这个的原因可能是忽略了maven模块，可以尝试如下解决方法：在idea中maven的setting中找到ignored files,看右边的面板中是否将变灰的maven模块忽略了。我的模块变灰就是因为这个原因，如下图所示：...
2019-06-08 13:26:16
5146
1
转载 找不到org.springframework.dao.support.DaoSupport的类文件
无法访问org.springframework.dao.support.DaoSupport 找不到org.springframework.dao.support.DaoSupport的类文件或者提示：提示：找不到 org/springframework/dao/support/PersistenceExceptionTranslator原因都是缺少如果是3.2，就是：spring-tx...
2019-06-08 13:24:07
6223
1
转载 javax.validation.ValidationException: Unable to find a default provider
错误信息是这样的，就是在浏览器输入一个请求，结果报这个错，之前是没有问题的org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'org.springframework.validation.beanvalidation.LocalValidatorFactoryBean#0'...
2019-06-08 12:27:20
733
转载 java.lang.reflect.InvocationTargetException
产生原因：1、包冲突、有重复包或者缺少包2、项目jdk和部署jdk版本不一样，导致InvocationTargetException异常信息返回一个空值，没有调用invoc里的重写消息方法。3、映射文件发生改变对于不同原因的解决：1、包：直接自己挨着查看就是了，但是一定要注意遇到重复包的时候你的系统究竟需要哪一个版本2、jdk版本：⑴、更换jdk包⑵、用一个方法统一处理该异常pr...
2019-06-08 09:55:39
139553
转载 关于map.put()方法，报java.lang.NullPointerException空指针异常
在Java编程中，时不时就会遇到java.lang.NullPointerException的异常，先来看以下代码：public class Test { private Map<String, String> map; public void test(){ map.put("1", "John"); map.put("2", "Lily"); System.out.pr...
2019-06-08 09:52:56
11991
转载 IntelliJ IDEA中程序包org.slf4j 找不到的问题解决方案
最近导入项目的时候遇到个莫名其妙的问题，提示程序包org.slf4j找不到。查了下maven，slf4j和log4j都已经导入了。捣鼓了老半天终于发现问题了：记得把slf4j-log4j的包也一起导入进去...
2019-06-08 09:50:03
26754
2
转载 Caused by: java.lang.ClassNotFoundException: org.I0Itec.zkclient.IZkStateListener
Caused by: java.lang.ClassNotFoundException: org.I0Itec.zkclient.IZkStateListenerat java.net.URLClassLoader.findClass(URLClassLoader.java:381)at java.lang.ClassLoader.loadClass(ClassLoader.java:424)...
2019-06-08 09:47:48
449
转载 Java泛型中?和T有什么区别？
T 代表一种类型加在类上:class SuperClass{}加在方法上:public void fromArrayToCollection(T[] a, Collection c){}方法上的代表括号里面要用到泛型参数，若类中传了泛型，此处可以不传，调用类型上面的泛型参数，前提是方法中使用的泛型与类中传来的泛型一致。class People<T>{ public void...
2019-06-08 09:38:35
596
转载 Java的程序里date类型怎么比较大小？
在java的程序里比较date类型的方法如下：1、java.util.Date类实现了Comparable接口，可以直接调用Date的compareTo()方法来比较大小，compareTo()方法的返回值，date1小于date2返回-1，date1大于date2返回1，相等返回0如下。String beginTime = "2018-07-28 14:42:32";String end...
2019-06-08 09:20:35
11069
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人