qq_41345281的博客

概述本实验目的是尝试选择一种最优方式向MySQL数据库插入5000W条随机测试数据。以下内容包括JDBC、Mybatis和Spring JDBCTeplete各种插入方式的效率分析、参数调整以及超大数据量插入的解决办法。JDBC各种插入方式比较我们知道，jdbc将数据插入数据库有多种方式，包括常用的单条记录插入、多Values拼接SQL字符串和批量插入的方式，在此基础上还可以增加事务提交和预编译的策略来提高插入效率，下面以100W数据为例，分别测试单条记录、多Values拼接SQL字符串、批量插入、多

为什么使用索引？据统计，一般的应用程序运行过程中，对数据库读写操作的比例约为10:1，并且常见的写入操作多为简单的I/O操作，一般不会出现性能问题，但是在多表查询或者超大数据量的情况下很容易出现查询时间过长的情况，针对查询速度慢的问题我们应该怎么解决呢？首先想到的就是SQL优化。那如何对SQL进行优化呢？针对不同的情况方法可能会有多种，但是在大多数情况下，利用索引来提高查询效率就是SQL优化的重点。索引是什么？索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息

explain是什么？explain可以模拟MySQL优化器执行SQL语句，可以很好的分析SQL语句或表结构的性能瓶颈。这是网上大多数人给出的相同解释，我在简单使用过后认为，explain是一个帮助我们优化SQL和表结构的工具，更多的时候它都是在帮助我们去了解表结构和一段SQL在执行过程中索引的使用情况，通过这些信息去指导我们设计和使用索引，优化表之间的关系，写出更优的SQL。expalin具体可以做什么？explain可以显示表的读取顺序、数据读取操作的操作类型、哪些索引可以使用、哪些索引被实际使用

今天写了一个随机测试数据的程序，由于需要反复测试并且数据插入量非常大达到了几亿的数据记录，几次测试后发现binlog几乎把D盘的空间占满了，然后就找到了刚生成binlog文件，发现几个文件就有几十G，果断将其删除，删除之后出问题了，发现MySQL服务暂停了，无法重启，一直显示拒绝访问5，拒绝访问，使用管理员权限重启时候则显示服务无法启动，服务没报告任何错误。后通过查看日志发现是因为binlog文件无法加载，网上查询得知，binlog文件是通过读取binlog.index文件加载的.\binlog.0001