- 博客(39)
- 收藏
- 关注
RSS订阅原创 如何快速定位对数据库性能消耗高的慢语句
如何快速定位对数据库性能消耗高的慢语句前言：开启慢语句配置分析方法slow_query文件信息解读前言：MySQL中提供了一个慢查询的日志记录功能，可以把查询SQL语句时间大于多少秒的语句写入慢查询日志，日常维护中可以通过慢查询日志的记录信息快速准确地判断问题所在。如果出现数据库cpu消耗高，一般都是慢语句导致，所以第一时间我们一定要拿到数据库实例主机上面的slow_query的日志文件进行定位分析。开启慢语句配置/etc/my.cnf 配置 slow query#开启慢查询slow_query
2022-03-02 10:57:58
924
原创 mysql 如何快速生成百万测试数据
mysql 如何快速生成百万测试数据实现思路1、创建内存表和普通表2、创建函数及存储过程创建生成n个随机数字的函数创建生成号码函数创建随机字符串函数创建插入内存表数据的存储过程创建内存表数据插入普通表的存储过程3、调用存储过程插入数据一、修改mysql内存表存储大小的值二、调用我写的另一个存储过程 **add_test_user_memory_to_outside**实现思路在我们平时工作或学...
2019-09-22 14:14:26
6632
3
原创 python调用谷歌翻译接口
python调用谷歌翻译接口翻译文本内容目标需求运行环境python脚本 main.py获取tk值安装Py4Js准备i18n国际化文件执行 main.py生成英文国际化文件内容目标需求在做项目的过程中，因为项目需要部署给国外用户使用，所以需要实现国际化支持，我们采用的是I18N实现国际化，这种方式类似key-value的形式，通过key查找value的值，同一个key同时对应两个值，一个...
2019-07-09 20:41:40
8808
1
原创 docker搭建web运行环境
docker搭建web运行环境本文目的前提条件安装docker获取centos镜像启动容器拷贝JDK和tomcat安装包到宿主机器进入centos容器配置运行环境安装jdk安装tomcat设置环境变量编写运行脚本退出容器创建tomcat镜像启动镜像最后本文目的做过开发的人对开发环境的安装、配置应该都不会太陌生，不管你做什么开发，对开发环境都会具有一定的依赖性的。比如你是Java开发人员，开发了...
2019-06-15 15:04:28
2259
2
原创 自动生成代码工具类
自动生成代码工具自动生成代码的思路代码结构生成代码主要步骤生成实体模板开始生成代码最终生成的实体service层接口这是我在工作之余自己写的一个Java代码生成工具，虽然网上有不少代码自动生成的工具，但是原理都差不多，自己用空闲时间写一个也能学到一些东西，虽然不推荐重复造轮子，但是自己动手写一个自动生成代码的工具类是花不了多少时间的，只要把思路弄清楚，半天就能撸一个出来，现在我在工作中一般都是用...
2019-06-10 19:26:09
12043
1
原创 Docker中运行nginx并挂载本地目录到镜像中
本文以一个简单的docker运行nginx为例子介绍一下docker的基本用法。推荐一个不错的入门资料 Docker — 从入门到实践 本文也是主要参考了这个资料基本概念镜像Docker 把应用程序及其依赖，打包在 image 文件里面。只有通过这个文件，才能生成 Docker 容器。image 文件可以看作是容器的模板。Docker 根据 image 文件生成容器的实例。同一个...
2019-03-31 18:05:14
20082
3
原创 ubuntu安装docker
简单介绍Docker版本分为两个：Docker Community Edition (CE)和 Docker Enterprise Edition (EE)。Docker CE社区版本适合个人用户使用。下面介绍的也是Docker CE社区版的安装教程。开始安装由于apt官方库里的docker版本可能比较旧，所以先卸载可能存在的旧版本： sudo apt-get remove doc...
2019-03-29 16:07:58
2747
1
原创 linux服务器上搭建ftp服务器无法上传文件
最近在项目中遇到了一个问题，困扰了我好几天，客户有个需求需要在页面把xml文件上传，然后后台解析文件并入库。由于dubbo框架的dubbo协议有文件大小的限制，不能传输超过8M的文件，所以和组员讨论后决定使用ftp服务器的方案。实现方案：页面上传文件直接上传到ftp服务器，然后后台执行到解析文件的步骤时直接去ftp服务器的指定路径上下载客户上传的xml文件。很简单的业务逻辑，在本地（自己的电脑...
2019-01-25 16:52:30
9285
原创 PLSQL developer安装
PLSQL Developer是Oracle数据库开发工具，很牛也很好用，PLSQL Developer功能很强大，可以做为集成调试器，有SQL窗口，命令窗口，对象浏览器和性能优化等功能，下面简单的介绍一下如何安装PLSQL Developer工具，新手教程。把instantclient_11_2.zip和plsqldeveloper.zip拷贝到任意盘符上并解压。在instantclien...
2018-11-03 17:21:40
345
原创 kettle+jenkins集成
Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能，我们可以使用jenkins来调度kettle作业，这样更方便我们对kettle作业的管理及监控。利用kettle+Jenkins把TB_USER2表里的数据导入到TB_USER3表里。第一步：在kettle的kettle.propertie...
2018-10-21 20:25:02
3871
原创 ELK搭建流程
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日...
2018-10-13 11:17:17
1169
原创 springBoot整合elasticSearch
Windows下安装ElasticSearch 由于目前高版本的ES和springBoot兼容性不够好，所以我先下载了个低版本的学习。 1，文件准备 下载地址: https://www.elastic.co/downloads 选择ElasticSearch相关版本， 然后选择后缀名为ZIP文件进行下载，下载之后自己选择一个目录解压。。我下的版本是2.3.2 2，启动Elastic...
2018-09-02 00:36:13
2771
原创 RabbitMQ的安装及入门使用
最近由于要和另一家公司对接数据，对方打算用消息队列RabbitMQ来对接数据，由于之前没有用过RabbitMQ，只用过activeMQ，开完会回来花了点时间学了下RabbitMQ，并把学习的过程记录下来。1.安装Erlang 所以在安装rabbitMQ之前，需要先安装Erlang 。点击下载Erlang 我使用的是OTP 20.0 执行下载下来的Erlang，全部点击“下一步”就行...
2018-08-01 23:24:17
517
原创 ORA-24816: 在实际的 LONG 或 LOB 列之后提供了扩展的非 LONG 绑定数据
前两天在东莞出差，在用kettle同步数据时越到了个问题，在抽取了几万条数据到本地数据库后kettle异常停止了，查看kettle日志发现了这条异常：ORA-24816: 在实际的 LONG 或 LOB 列之后提供了扩展的非 LONG 绑定数据。 问题原因是该表有一个大字段类型CLOB，而在kettle的数据库映射源数据字段和目标字段时，CLOB类型的字段后面有LONG或INERGER类型的...
2018-07-29 17:20:10
12544
1
原创 Oracle ORA-01033: ORACLE initialization or shutdown in progress 错误解决办法
今天用PL/SQL Developer连接数据库时发现无法连接，弹窗报Oracle ORA-01033: ORACLE initialization or shutdown in progress 信息。由于是第一次遇到这个问题，以为是数据库服务的原因，遂把数据库相关服务都重启了一遍，问题没有解决。然后进入cmd界面，用sqlplus连接数据库，输入：shutdown immediate 成...
2018-07-29 16:59:00
626
原创 IDEA spring-boot + logback中文乱码
今天发现IDEA控制台打印的日志存在中文乱码的问题，上网一查，发现挺多人遇到过这个问题，但是我尝试了网上提供的多种方法，都没有解决我的问题，最后在简书上看到了一个解决方法（解决方法在最后）。如下图所示用tomcat启动后，出现中文乱码 按照网上要求，把Encoding都设置为UTF-8 tomcat启动参数里也设置为UTF-8 然鹅并没有什么卵用，控制台还是显示中文乱码最...
2018-07-22 14:47:50
4074
原创 Spring Boot MVC api返回的String无法关联到视图页面
今天有同事问了我一个问题，他说他使用springMVC返回的String无法关联到视图页面，我看了下他写的代码，发现是由于他对@Controller和@RestController的区别不了解导致的，我以前也越到过这种细节问题。@RestController 等价于 @Controller 加上 @ResponseBody. @ResponseBody 表示该方法的返回不会被解析为跳转, 而...
2018-07-21 22:04:03
5479
2
原创 spring集成redis异常
最近在帮忙升级维护一个几年前开发的系统，由于客户量增大以及统计报表比较多，导致数据库压力过大，而当初又没有考虑加入缓存来分担数据库的压力，所以不得不对系统进行升级优化。 系统使用的spring版本是spring3.0.2，在集成RedisTemplate时会导致项目无法成功启动。如果不集成RedisTemplate，只集成JedisPoolConfig和JedisConnectionFactor...
2018-07-14 23:20:39
828
原创 hibernate操作实体引发的惨案
今天接到测试反馈的一个bug，他在系统上点击详情页面的时候，关掉详情页面，然后再点击一次进入详情页面，发现页面中有两个字段的值被更改了。我检查后发现是由于有个新来的同事不够细心引起的bug。代码如下所示/** * add ljk 20160822 * @return * @throws Exception */ public String t...
2018-05-23 16:42:53
227
原创 oracel 字段不走索引
用oracle做全表查询时发现一个问题，如果数据库某个varchar2类型的字段建了索引，但是查询的时候扔进入的值是long或integer类型的数据，oracle会不走索引，oracle会对传入的参数做to_char()处理，所以不会走索引。 走索引如果参数不是字符串类型，而是数字类型，则不走索引。走索引 select t.username,t.userpassword,t.sex,t.add
2018-05-06 15:05:33
1503
原创 redis.clients.jedis.exceptions.JedisDataException
redis.clients.jedis.exceptions.JedisDataException: MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. ...
2018-05-06 14:50:04
1504
原创 Spring IOC的几个主要步骤介绍
public void test() { ApplicationContext context = new ClassPathXmlApplicationContext("beans.xml"); SomeBean someBean= (SomeBean) context.getBean("someBean"); someBean.doSomething();}上面三...
2018-05-06 14:38:03
4579
原创 jenkins+maven+git集成教程
最近在探索jenkins这个功能强大的工具，通过使用这个工具，开发过程中可以为我们提升工作效率。我的本地环境是 ubuntu16.04、jenkins2.89.4、maven3.5、jdk1.8。 注意：安装jenkins过程中最好在安装的过程中把jenkins默认推荐的插件安装好，这样默认会把一些常用的插件提前安装好，不用到用到时才去查找插件安装。该教程需要安装好git和maven的插件。...
2018-04-21 11:38:07
2341
1
原创 ant编译打包
最近花了点时间学习使用ant这个工具，虽然平时经常用ant脚本来构建war包，不过都是别人写好的，所以感觉自己还是有必要简单学习一下这个工具的。下面这个ant脚本是我自己写来用来打包最近在做的一个项目。过程中遇到一些问题，在此记录一下。<?xml version="1.0" encoding="GB2312" ?> <project name="cdaOtherSe...
2018-04-12 19:59:00
5275
原创 jdk、jre、jvm关系
我们开发的实际情况是：我们利用JDK（调用JAVA API）开发了属于我们自己的JAVA程序后，通过JDK中的编译程序（javac）将我们的文本java文件编译成JAVA字节码，在JRE上运行这些JAVA字节码，JVM解析这些字节码，映射到CPU指令集或OS的系统调用。Java语言是跨平台运行的，其实就是不同的操作系统，使用不同的JVM映射规则，让其与操作系统无关，完成了跨平台性。JVM 对...
2018-04-07 16:21:10
265
原创 ubuntu创建postman和IDEA快捷方式
再Ubuntu上安装了postman软件后，为了方便在桌面打开postman，需要创建一个postman快捷方式，其实创建一个其他软件的快捷方式也基本是这样，只需改里面部分东西而已。 创建快捷方式指令如下 [Desktop Entry] Name=Postman Exec=/opt/software/Postman/Postman Comment=Postman Icon=/opt/s...
2018-04-07 16:17:50
2016
原创 lrzsz（Linux服务器和window互传文件工具）
首先说明一下，lrzsz这个工具只适合传输小文件，不适合传输大型文件，我本机搭配的软件是xshell和lrzsz。 xshell安装请参照：https://jingyan.baidu.com/article/e75057f210c6dcebc91a89dd.html安装 sudo apt-get install lrzsz 手动安装 tar zxvf lrzsz-0.12.20.ta...
2018-04-07 15:55:14
62402
1
原创 linux学习笔记
tar -cvf packageName fileName 打包 tar -xvf packageName 解包c 创建新的档案文件。如果用户想备份一个目录或是一些文件，就要选择这个选项。相当于打包。 x 从档案文件中释放文件。相当于拆包。 t 列出档案文件的内容，查看已经备份了哪些文件。 特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！因为不可能...
2018-04-07 15:43:04
178
原创 kettle定时调用（windows）
E: cd E:\pdi-ce-6.0.1.0-386\data-integration kitchen /file C:\Users\1\Desktop\demo1.kjb /level Basic /logfile D:\timing.log @pause保存成 .bat文件 然后 返回桌面，右键此电脑，进入管理，右键-任务计划程序-新建基本任务 调用转换和上面...
2018-04-07 15:17:45
3862
原创 kettle定时调用（linux）
export JAVA_HOME=/opt/software/java/jdk/jdk1.7.0_79 export JRE_HOME=/opt/software/java/jdk/jdk1.7.0_79/jre export CLASSPATH=.:CLASSPATH:CLASSPATH:CLASSPATH:JAVA_HOME/lib:JREHOME/libexportPATH=JREHOM...
2018-04-07 15:13:50
922
原创 kettle连接Oracle之SERVICE_NAME和SID
今天用kettle抽取远程数据库的过程中发现了一个问题，我根据对方给的ip、server_name、用户名、密码；由于之前用kettle连接远程库时都是如下图所示 但是当我输入ip和数据库名称等信息后发现连接不成功。 改为如下后可以连接 这是我用oracle客户端连接远程库时，发现连接远程库用的是SERVICE_NAME 而其它库用的是SID 所以导致用kettle连接时...
2018-04-07 15:11:20
11134
原创 Spoon实现跨库数据迁移
Spoon是个功能很强大的ETL工具，下面使用spoon来实现不同数据库之间数据迁移的小demo。在此过程中遇到了数据迁移后出现中文乱码的问题，在结尾处我会列出中文乱码的问题和解决方法。首先打开Spoon后创建一个转换 接着在转换里创建两个数据库连接，这里分别创建了mysql和oracle的连接。 然后把表输入 和 插入/更新 拖到右边空白区域。 双击表输入，对表输入进行编辑 点击获取SQ
2017-11-01 15:33:02
6855
原创 spoon新手入门教程
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transf
2017-10-31 21:01:12
62071
8
原创 MAT安装及使用教程
MAT插件版安装步骤第一步:下载Eclipse MAT 上面两个分别是插件版的MAT、独立版的MAT。第二步：把下载好的安装包解压到eclipse的解压路径下的dropins文件夹下，重新启动eclipse安装成功会如下图所示 创一个java工程，写一段故意使内存泄漏的代码，然后运行前做一下操作先右键选中项目名，配置一些vm启动参数。输入VM参数： -Xms40m -Xmx40m -
2017-10-24 21:06:21
12369
2
原创 数据库查询结果封装List<Map<String,String>>
今天在做一个报表时犯了个错误，数据库是mysql，有一个字段类型是int型， 我想直接用hibernate框架的query.setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP) 属性把结果转成List<Map<String,String>> 的格式返回action层， 但是当我在action层取出数据库类型为int字段的
2017-10-24 20:32:57
3693
原创 删除创建时间超过七天的文件
!/usr/bin/pythoncoding: utf-8#filename:deleteFileByTime.pyauthor:wzwfunction：删除指定路径下创建日期超过七天的文件files = (‘D:\A’,r’D:\test2’) 文件路径 如果是单个路径 则写成files = (‘D:\A’,) 不要少了那个逗号测试期间最好把34行的os.remove(path_now)注释掉，以
2017-10-24 20:15:55
2136
原创 Java中的四种JDBC驱动
Java中的JDBC驱动可以分为四种类型，包括JDBC-ODBC桥、本地API驱动、网络协议驱动和本地协议驱动。JDBC驱动类型一、JDBC-ODBC桥JDBC-ODBC 桥 是sun公司提供的，是jdk提供的的标准API. 这种类型的驱动实际是把所有 JDBC的调用传递给ODBC ,再由ODBC调用本地数据库驱动代码.( 本地数据库驱动代码是指 由数据库厂商提供的数据库操作二进制代码库,例如在or
2016-12-20 09:56:20
2047
原创 IO流总结
IO流总结字符流的由来：早期处理数据都是字节数据，使用字节流技术就可以完成了。因为后期编码表的不断出现，识别某一文字的码表不唯一。比如中文，GBK，unicode都可以识别。就出出现了编码问题。中文字节数据 gbk --> 流处理--->gbk解析可以了。 后期：容器出现这样的问题：中文字节数据gbk --> 流处理 unicode来处理-->数据错
2016-12-08 20:54:42
268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人