jgzd1124的专栏

目前大部分WEB系统都是构建在DB基础之上的，随着用户越来越多，访问量越来越大，时间一长，库，表就会十分的庞大，系统就会变得越来越慢。对于有些记录如用户的基本信息，可以通过分库，分表加DB cache之类的给解决掉，而有些记录未必有必要保存那么多，譬如用户的交易记录，用户有可能就关心最近几个月的交易记录，如果还做一些分库分表之类的操作，DB就得做改动，相应的上层的程序都得要变，工作量大，而且也

shell脚本:备份的脚本比较简单：#!/bin/bash # 定义年 月 日year=`date   +%Y`month=`date   +%m`day=`date   +%d` # 定义备份的目录BACKDIR=/bak_1/mysql/$year/$month/$day # MySQL的root密

如今的数据库设计，不单单使用数据库设计工具，经常使用数据库导出模型以备分析~现在手头上用到的生成工具从数据库生成模型：        1.PowserDesigner15 里提供了方式转换：           步骤如下：FILE-->REVERSE ENGINER-->DATABASE                             选择要生成的数据库脚本和数据库类型。

数据库分表：使用Mysql Merge存储引擎实现分表对于数据量很大的一张表，i/o效率底下，分表势在必行！使用程序分，对不同的查询，分配到不同的子表中，是个解决方案，但要改代码，对查询不透明。好在mysql 有两个解决方案：Partition（分区，在MySQL 5.1.中实现） 和 Mysql Merge存储引擎。本文讨论 Mysql Merge存储引擎。 CREA

支持MySql的数据库自动分表工具DBShardTools发布前段时间参与了公司的一个项目，这个项目的特点是数据量、访问量都比较大，考虑使用数据库水平分表策略，Google了大半天，竟然没有找到分表工具。于是自己写了个数据库水平分表工具，支持MS Sql Server和 MySQL，对MYSQL支持比较好。下面介绍下分表工具的使用方法。首先是设置数据库连接界面

1. 单数据库连接瓶颈，可以看到很多连接都sleepmysql> show processlist;+-----+-------------+--------------------+-------+---------+-------+----------------------------------+----------| Id | User | Host

运行环境  centos 5.6   hadoop  hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20

1. 一个CSV文件2.5G 用excel打开直接死机，通过UltraEdit可以加载到文件里面，但是无法保存和拷贝。2.将文件切分成几个文件，通过CVS拆分工具拆分（）3.通过mysql data load file 命令将文件导入到mysql里面，但是文件编码格式和数据库的编码格式需统一4.通过native 客户端导入