smooth的博客

MYSQL应该是最流行的WEB后端数据库。大量应用于PHP，Ruby，Python，Java 等Web语言开发项目中，无论NOSQL发展多么快，都不影响大部分架构师选择MYSQL作为数据存储。 MYSQL如此方便和稳定，以至于我们在开发 WEB 程序的时候非常少想到它。即使想到优化也是程序级别的，比方不要写过于消耗资源的SQL语句。可是除此之外，在整个系统上仍然有非常多能够优化的地方。...

       无意中在网上看到一篇文章《利用kettle中的JS来完成ETL数据校验》，挺受启发的，觉得用JS来实现ETL的自动化校验，是个不错的思路。但是这篇文章里给的JS脚本样例确实有待改进，一是让初学者看着不那么清晰，二是扩展性和维护性都较差。于是我做了二次改造，重新编写了脚本，如下：//Script herevar strConn = "TestOrcl";var check_stat...

前不久写过一篇高效大批量制造MySQL数据的文章：《如何利用LoadRunner最高效的批量制造MySQL数据》，后来有人问我，怎么高效大批量制造Oracle数据。其实是一样的，也是用JDBC的批量插入（addBatch）方法，以下就提供一下我写的脚本，以供参考：/* * LoadRunner Java script. (Build: _build_number_) * * Script ...

性能测试工具操作数据库连载九，本节在前面八节的基础上，讲述了如何通过Loadrunner工具连接操作MongoDB数据库，具体包括数据库连接、查询、插入、更新、删除操作，涉及到的操作过程和注意事项对新人绝对有帮助。...

性能测试工具操作数据库连载十，本节在前面九节的基础上，讲述了如何通过Loadrunner工具连接操作Redis数据库，具体包括存储普通字符串、存储Map数据、操作List、操作Set等，涉及到的Redis操作过程和应用技巧对新人绝对有帮助。......

批量制造数据的方法有很多种，也有许多专业的工具，但是都算不上高效，针对MySQL的批量插入数据，目前认为最高效的方式是通过执行JAVA代码（通过设置事务为非自动提交，以executeBatch批处理提交大量插入事务）来实现，但是JAVA的灵活参数化和大用户量分布式并发执行，绝对没有LoadRunner方便。所以我们可以利用LoadRunner+JAVA的方式，来实现高效、高可靠、持续性的批量造数据...

通过Carte服务对kettle转换进行稳定性测试，刚开始时是20并发，持续压力测试到20天时出现崩溃，由于崩溃的时间点和引起崩溃原因一时难以定位，重新改变压力测试的策略（测试前开发人员先做些优化，先解除和排除日志中出现的一些异常错误），然后进行100并发持续压力测试（加大并发数可以实现空间换时间，以尽快定位影响稳定性问题的原因），同时开启jvm监控，开启所有服务和数据库监控。测试脚本日夜不间断跑测，直到出现问题，通过监控和系统日志进行综合分析，找出问题。

JMeter测试MongoDB性能有两种方式，一种是利用JMeter直接进行测试MongoDB，还有一种是写Java代码方式测试MongoDB性能。

mysql的innodb_flush_method有三种配置模式：fdatasync模式：写数据时，write这一步并不需要真正写到磁盘才算完成（可能写入到操作系统buffer中就会返回完成），真正完成是flush操作，buffer交给操作系统去flush,并且文件的元数据信息也都需要更新到磁盘。O_DSYNC模式：写日志操作是在write这步完成，而数据文件的写入是在flush这步通过fsync完成O_DIRECT模式：数据文件的写入操作是直接从mysql innodb buffer到磁盘的，并不用

1 重要定义及相关配置1.1 垂直切分1.1.1 垂直切分定义数据的垂直切分，也可以称为纵向切分。将数据库想象成由很多个一大块一大块的“数据块”（表）组成，垂直地将这些“数据块”切开，然后把它们分散到多台数据库主机上面。这样的切分方法就是垂直（纵向）的数据切分。一个架构设计较好的应用系统，其总体功能肯定是由很多个功能模块所组成的，而每一个功能模块所需要的数据对应到数据库中就是一个或多个表。而在架构...

使用Kettle的初期，一般只是关注Tranaction如何实现功能，对连接参数可以说基本不关注，其实这里面隐含一些性能问题，如果不熟悉这些性能参数，要想提高性能还真的不容易。

在对Carte+kettle的性能测试过程中，通过在loadrunner中用web_set_user("cluster", "cluster","172.17.2.89:8080");可以登录carte服务页面，但是压力测试过程中发现报告中产生了大量的HTTP 401请求。虽然这个错误不影响最终的测试，但是让追求完美的我，感觉不舒服，总觉得哪里有个重要事情我没搞明白。

性能测试工具操作数据库连载七，本章节以loadrunner操作SQL Server为例，调取loadrunner函数实现SQL Server数据库的连接、查询和插入操作。

性能测试工具操作数据库连载二，本章节以loadrunner操作oracle为例，可以实现loadrunner批量插入、更新、查询、删除oracle数据库。

性能调优在整个工程中是非常重要的，也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面：一方面是硬件调优，一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。......

1、库文件下载地址：http://files.cnblogs.com/files/xiaoxitest/MySQL_LoadRunner_libraries.zip分别库文件和代码添加到Loadrunner bin目录和include目录下2、vuser_init文件添加代码：#include "Ptt_Mysql.h"#include "mysql.h"#include "my...