- 博客(10)
- 收藏
- 关注
RSS订阅原创 如何提高千万条数据分页查询效率
表my_resume数据1000W条表v_getAllUserLabels数据100条[b]SQL语句如下:[/b]SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;WITH OrderedResults AS ( SELECT R.MyUserID,R.Pername,R.Sex,R.Birthday,workedc...
2012-08-28 18:23:36
793
原创 如何将一个数据库表(千万条)"快速"导入另一个数据库的同一张表
[b]应用场景:[/b]需要把A数据库users表(有1000W条数据)全部导入到B数据库users表(表结构一样,但B库的表是经过分区的).A库与B库在同一台服务器上.[b]数据库版本:[/b]MS2005[b]我的方案:[/b]insert into A.dbo.users(field1,field2,field3) select * from A.db...
2012-08-28 11:28:32
1338
原创 lucene 多线程下创建大数据索引文件 效率问题
应用场景:需查询数据库(1000W条数据的表),然后将查询出来的数据放入lucene索引文件中.我的方案:采用多线程去查询数据库,每个线程负责查询一个区间的数据(如:1W条),每个线程查询完之后创建一个索引文件,最后把这些小的索引文件合并.实施步骤:创建了一个线程池,初始化500个线程,每个线程分配的任务是到数据库查询1W条记录(单线程环境下查询1W条数据花费5...
2012-08-27 11:27:11
331
sqlserver2005查看当前会话和锁定情况
sqlserver2005 内置了很多系统存储过程，这些存储过程都是以sp_开头的。根据这些存储过程我们可以查看到sqlserver很多系统信息。--查看当前登录名为test的会话情况。sp_who @loginame='test'--查看数据库的锁定情况sp_lock具体用法可以参见：http://msdn.microsoft.com/zh-cn/librar...
2012-06-05 11:08:22
710
junit4使用总结
junit4注解标记的方法运行的顺序@BeforeClass->@Before->@Test->@After->@AfterClass如果需要在[b]类[/b]开始之前执行某个方法需要使用该注解标注，主要用来初始化资源@BeforeClass 如果需要在每个[b]测试方法[/b]执行前都执行一次需要使用该注解标注，主要用来初始化资源@Before每个测试的方法需...
2012-06-04 16:48:14
182
原创 使用log4j注意事项
使用log4j需注意以下几项：1.log4j.properties的配置文件需放在src（或者WEB/INFO/classes）目录下，启动tomcat进程时log4j引擎也会随之启动（也就是log4j会自动初始化）。2.如果log4j.properties配置文件放在别的目录，则需要应用程序负责初始化log4j（因为tomcat启动时在classes下面没有找到log4j.prope...
2012-06-04 16:11:15
196
原创 eclipse手动安装插件的方法（link的方式）
eclipse手动安装插件方法，也就是通过link方式安装，推荐这种安装插件的方法，因为可方便的管理eclipse插件。1.在eclipse安装home目录下(假定为d:\eclipse)，新建一个my-plugin文件夹(主要用 来存放我们需要安装的各种eclipse插件)2.下载你所需安装的插件，解压到my-plugin文件夹中。 --假定解压的插件文件夹名为s...
2012-05-31 10:41:51
228
原创 sql(t-sql)优化
1.在应用程序中需要执行到的SQL语句，都应该放到查询分析器执行一遍，看看SQL的实际执行计划。和所花费的时间等其它的一些性能指标。这是一个好的习惯，确保在开发阶段SQL的执行效率不会太差，比等到上线时候来优化SQL，所需要的成本要低的多。 --查看IO扫描信息 set statistics io on; --查看CPU执行时间 set statistics time on...
2012-05-30 17:37:00
142
原创 sqlserver重建(rebuild)索引可以提高查询速度
当随着表的数据量不断增长，很多存储的数据进行了不适当的跨页（sqlserver中存储的最小单位是页，页是不不可再分的），会产生很多索引的碎片。这时候需要重建索引来提高查询性能。如何查看索引的使用情况：SELECT index_type_desc,alloc_unit_type_desc,avg_fragmentation_in_percent,fragment_count,avg_fr...
2012-05-30 15:58:54
851
原创 t-sql with as用法
with as 在t-sql(SQL Server 2005版)中也称为公用表达试，语法如下：WITH [name of temporary resultset] (columns in result set) AS ( SQL Query Definition ) with as 作用：相当于定义一个临时名称存储一个select结果集。with as 效率：比子查询和...
2012-05-30 14:28:24
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人