- 博客(10)
- 收藏
- 关注
RSS订阅原创 kettle入门：安装和使用
ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。Kettle是ETL中其中一个开源工具，基于纯Java开发。 kettle有两种脚本Transformation（转换）和Job（作业） transformation：定义对数据操作的容器，数据操作就是数据从...
2019-11-07 11:17:01
507
原创 hadoop环境搭建（windows）
hadoop原理介绍见： 下载 Hadoop官网：http://hadoop.apache.org/ 安装 环境变量配置 1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME 指向hadoop安装目录 2.Path环境变量下新增变量%HADOOP_HOME%\bin 3.查看是否安装成功 执行>hado...
2019-09-03 11:48:09
430
原创 SQL优化经验
在项目压测阶段(多张业务主表数量达亿级)，很多人都会碰到平时明明秒级响应的请求，现在却经常得到的响应是504 gateway timeout…这是因为在大数据的前提下，暴露了很多慢SQL，现在我就项目中遇到的一些情况以及对应的优化方案进行简要分享。 首先定位到查询语句，可以通过工具，如pinpoint可以很方便找到慢sql，也可以自己凭业务逻辑定位到查询sql，然后用 EXPLAIN 你的 SEL...
2019-07-30 19:10:47
656
原创 Pinpoint安装与部署
Pinpoint部署步骤 环境准备 服务名 版本 JDK jdk1.8.0_121 zookeeper zookeeper-3.4.9 hbase hbase-1.2.4-bin tomcat apache-tomcat-8.5.14.zip Pinpoint Collector pinpoint-collector-1.6.2.war Pinpoint Web...
2019-06-18 21:56:52
4402
原创 mysql压测快速造亿级数据
造大量数据的方式有很多，比如写存储过程，或者直接用java，我现在使用的就是通过java实现大数据量的导入。 使用java也有很多方式，单条插入就不讨论了 下面主要讨论以下几种策略： 1、Mybatis 轻量级框架插入（无事务） 2、采用JDBC直接处理（开启事务、无事务） 3、采用JDBC批处理（开启事务、无事务） 先给出结论，效率比较： Mybatis轻量级插入 > JDBC直接处理 ...
2019-06-15 15:14:49
3015
3
原创 滑动警告：Unable to preventDefault inside passive event listener
在项目上看到 chrome 的控制台看到如下提示： 翻译过来就是：不能给passive(被动的)事件监听器preventDefault，因为它被认为是passive。 下面我们来了解一下passive和preventDefault 很久以前，addEventListener() 的参数约定是这样的： addEventListener(type, listener, useCapture) 后来，...
2019-04-24 18:01:48
2134
原创 使用LiquiBase实现数据库的迁移
最近项目一度因为特殊原因导致频繁迁移数据库，中间也出了不少事故。原先项目上只在数据库初始化的时候使用了Liquibase，为了便于日后数据库的管理，不再出差错，决定开发过程中也需要使用Liquibase。 Liquibase是一个用于数据库重构和迁移的开源工具，通过日志文件的形式记录数据库的变更，然后执行日志文件中的修改，将数据库更新或回滚到一致的状态。Liquibase的主要特点有： 支持几乎...
2019-04-02 19:39:22
2329
原创 JProfiler的安装和使用
JProfiler是一个重量级的JVM监控工具，提供对JVM精确监控，其中堆遍历、CPU剖析、线程剖析看成定位当前系统瓶颈的得力工具。可以统计压测过程中JVM的监控数据，定位性能问题。 JProfiler下载与安装 环境准备 JProfiler 17.1.5（IDEA插件） JProfiler 9.2（可执行软件） IntelliJ IDEA 2017.2.5 JProfiler插件安装 方式...
2019-03-31 09:52:17
32066
3
原创 JVM学习总结
基本概念 栈和堆 对象的大小 基本类型的大小是固定的，而非基本数据类型就不是了，这里主要介绍非基本类型的java对象。java中，一个空的object对象大小为8byte，所谓空的就是没有任何属性。 当我们new一个object对象时，这个对象所占用的空间为4byte+8byte，4byte是栈中保存该对象的引用所需要的空间，8byte则是堆中此对象的大小。我们知道，所有的非基本类型的对象都继承o...
2019-03-27 13:43:04
205
原创 Mysql数据备份总结--Xtrabackup
在生产环境中，除了保证项目的基本业务功能外，还有一个很重要的就是数据了。想想如果在项目上碰到以下几个场景： 客户：我昨天录的xxx单子怎么不见了。。？ 相关技术：xxx表的数据怎么不见了。。？ 相关技术：服务器怎么崩了。。？ 所以，如何提高系统的高可用性和灾难恢复性，在数据崩溃时，以最小代价重新恢复数据就非常重要了？ 关于备份 备份原因 在实际应用中，可能会因为各种意外情况导致数据异常： 硬...
2019-03-22 17:00:30
478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人