数据库查询优化原则

内容复习----NMF在单细胞空间中的运用 阅读详情

步骤/方法

  1. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。
  2. 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:
    1 select id from t where num is null

    可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:

    1 select id from t where num=0
  3. 应尽量避免在 where 子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描。
  4. 应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:
    1 select id from t where num=10 or num=20

    可以这样查询:

    1 select id from t where num=10
    2 union all
    3 select id from t where num=20
  5. in 和 not in 也要慎用,否则会导致全表扫描,如:
    1 select id from t where num in(1,2,3)

    对于连续的数值,能用 between 就不要用 in 了:

    1 select id from t where num between 1 and 3
  6. 下面的查询也将导致全表扫描:
    1 select id from t where name like '%abc%'

    若要提高效率,可以考虑全文检索。

  7. 如果在 where 子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:
    1 select id from t where num=@num

    可以改为强制查询使用索引:

    1 select id from t with(index(索引名)) where num=@num
  8. 应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:
    1 select id from t where num/2=100

    应改为:

    1 select id from t where num=100*2
  9. 应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:
    1 select id from t where substring(name,1,3)='abc'--name以abc开头的id
    2 select id from t where datediff(day,createdate,'2005-11-30')=0--‘2005-11-30’生成的id

    应改为:

    1 select id from t where name like 'abc%'
    2 select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
  10. 不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。
  11. 在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。
  12. 不要写一些没有意义的查询,如需要生成一个空表结构:
    1 select col1,col2 into #t from t where 1=0

    这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:

    1 create table #t(...)
  13. 很多时候用 exists 代替 in 是一个好的选择:
    1 select num from a where num in(select num from b)

    用下面的语句替换:

    1 select num from a where exists(select 1 from b where num=a.num)
  14. 并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。
  15. 索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。
  16. 应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。
  17. 尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。
  18. 尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。
  19. 任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。
  20. 尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。
  21. 避免频繁创建和删除临时表,以减少系统表资源的消耗。
  22. 临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。
  23. 在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。
  24. 如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。
  25. 尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。
  26. 使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。
  27. 与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。
  28. 在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
  29. 尽量避免大事务操作,提高系统并发能力。
  30. 尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。
脚本更新---NMF识别单细胞数据中的基因模块 阅读详情

相关推荐

NMF降维算法与聚类模型的综合运用

NMF降维算法与聚类模型的综合运用前言一:NMF算法二:NMF算法的使用三:NMF算法与层次聚类的综合使用四:总结 前言 这一章,我们讨论下另一个比较有效的降维手段:NMF(非负矩阵分解)。NMF降维理论的创建相比于经典的降维理论,略显“年轻”。我们接下来将详细介绍下NMF的原理以及在生产实践中的运算,结合代码和可视化图像来说明这些。 岁月如云,匪我思存,写作不易,望路过的朋友们点赞收藏加关注哈,在此表示感谢! 一:NMF算法 NMF又叫非负矩阵分解,为什么是“非负”?因为非负数据往往在实际中才是有意义的数

weixin_43577256的博客 3952

mysql 大数据 查询优化原则

今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。关于数据库的性能,这并不只是DBA才需要担心的事,而这更是我 们程序员需要去关注的事情。当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能。这里,我们不会讲过 多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。   

大树叶 技术专栏 3648

单细胞geneNMF分析流程学习

geneNMF可以帮助指导或验证单细胞分群结果

zfyyzhys的博客 2212

查询优化一般原则

选择运算尽早进行 投影运算与选择运算同时进行 将笛卡尔积与随后的选择运算合并为连接运算 投影运算与其它运算同时进行 寻找公共子表达式并将结果加以存储 对文件进行预处理 这些在SQLServer的查询优化器都自动处理了...

weixin_33712881的博客 748

单细胞泛癌NMF实战:如何从海量数据中提炼跨癌种核心程序与细胞特异性标记?

本文详细拆解了《Nature Cancer》研究中整合40多种癌症、560多万个细胞的单细胞泛癌NMF实战流程。该方法通过分样本NMF分解、跨样本程序聚合等步骤,从海量数据中提炼出跨癌种核心生物学程序与细胞特异性标记,有效规避批次效应,为癌症共性规律与精准治疗靶点发现提供了稳健的分析框架。

weixin_29204749的博客 576

非负矩阵分解(NMF)的Matlab实例与说明

原理啥的到处都有,就直接跳过了。这里主要是NMF的基础实验。下一篇是NMF的高光谱实验总结。 1. matlab示例解说 这一节的图片来自官方文档。 这里第一和第三变量在第一行的值0.6945和0.62220对W的第一列有相当强的权重。第一个第二变量在第二行的值0.8020和0.5683对W的第二列有相当大的权重。 其中,H的转置是4乘2大小的。也就是有4个变量【SW,SL,PL,PW】,2个特征【所以是二维坐标轴X和Y轴】,转化到二维图上。使用W当做’scores’做出散点图。然后标签是这四个。

林源的博客 1万+

机器学习-特征抽取(主成分分析法/因子分析法/非负矩阵因子分解NMF算法)

1.特征抽取: 特征抽取是机器学习中另一种十分有用的方法,它与特性选择不同,特征抽取是对数据的特征进行概括和总结,而特性选择则主要是对数据中的不同特征进行比较和选取。 特征抽取是机器学习技术中的一个常用的方法,它是一个属性降维的过程,特征抽取实际上是变换属性。经变换了的属性,或特性,是原来属性集的线性合并。特征抽取会导致更小更精的一组属性。用特征抽取建立的模型可能是质量更好的,因为数据被更少的和更有意义的属性所描述。特征抽取将高维数据集映射到一个低维的数据集中。特征抽取对数据可视化是很有用的,当一个复杂的数

辛勤的小蜜蜂! 5013

手把手教你复现Nature Cancer单细胞NMF分析:从3CA数据库下载到MP程序鉴定

本文详细解析了Nature Cancer研究中单细胞NMF分析的完整流程,从3CA数据库数据下载到Meta-Program(MP)鉴定。通过分样本NMF分解与跨癌种聚类策略,帮助研究者挖掘肿瘤微环境中的稳定转录程序。文章提供了可操作的R代码实现,涵盖数据预处理、NMF运行、稳定程序筛选及MP聚类等关键步骤,助力肿瘤生物学研究。

weixin_30823001的博客 389

NMF算法与肿瘤元程序:多组学联合分析实战解析

在肿瘤组学研究中,从bulk转录组到单细胞与空间转录组,NMF(非负矩阵分解)算法正成为解析肿瘤异质性的重要工具。NMF通过非负约束和加性分解,将高维表达矩阵拆解为可解释的基因因子与样本权重,从而刻画肿瘤中可重复的生物学程序。与PCA或聚类相比,NMF支持“混合权重”的软划分,能同时捕捉上皮-间质转化、增殖、缺氧等多个状态,为肿瘤元程序发现提供了更贴合生物学直觉的数学框架。在多组学联合分析中,NMF元程序既能与临床生存数据关联,也能在单细胞水平验证细胞来源,并在空间转录组中定位组织生态位,形成从数据到机制的

weixin_32285357的博客 83

K-Means算法、非负矩阵分解(NMF)与图像压缩(Python)

K-Means算法是最基础的聚类算法、也是最常用的机器学习算法之一。 本教程中,我们利用K-Means对图像中的像素点进行聚类,然后用每个像素所在的簇的中心点来代替每个像素的真实值,从而达到图像压缩的目的。 非负矩阵分解(Non-negative Matrix Factorization, NMF)是一种对非负矩阵进行低维近似逼近的常见方法,同样也能达到图像压缩的目的。   0. 前言 K...

SofaSofa_io的博客 2862

【视频教程】cNMF(Consensus NMF):基于python的单细胞转录组数据非负矩阵分解分析

本文介绍了cNMF(ConsensusNMF)这一高效的Python工具在单细胞RNA测序数据分析中的应用。相比R语言NMF分析耗时长的缺点,cNMF基于Python实现,运行速度更快,能快速从单细胞数据中推断基因表达程序。文章详细演示了cNMF的安装步骤(需创建独立conda环境)和完整分析流程,包括数据准备、矩阵分解、合并结果、选择最佳K值和获取共识解等5个关键步骤,并展示了如何将结果与scanpy对象整合进行可视化。cNMF输出包含基因表达程序矩阵和细胞使用矩阵,为单细胞数据分析提供了更高效的解决方案

qq_42090739的博客 1694

NMF.非负矩阵分解.--.原理与应用

1.原理发现写关于非负矩阵的博文还是蛮多的,还是以自己的角度总结一下自己的最近看的若干东西以及对非负矩阵分解有用的一些资料链接。NMF,全称为non-negative matrix factorization,中文呢为“非负矩阵分解”。NMF的思想:V=WH(W权重矩阵、H特征矩阵、V原矩阵),通过计算从原矩阵提取权重和特征两个不同的矩阵出来。属于一个无监督学习的算法,其中限制条件就是W和H中的所有

6086

6. NMF方法及实例

非负矩阵分解NMF 实现原理 sklearn中非负矩阵分解 NMF人脸数据特征提取1. 非负矩阵分解(NMF)非负矩阵分解(Non-negative Matrix Factorization ,NMF)是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。 基本思想:给定一个非负矩阵V,NMF能够找到一个非负矩阵W和一个非负矩阵H,使得矩阵W和H的乘积近似等于矩阵V中的值。Vn×m=Wn×k×H

一只小羊 3663

单细胞NMF实战:如何用非负矩阵分解破解上皮细胞异质性难题(附完整R代码)

本文详细介绍了如何利用非负矩阵分解(NMF)技术解析单细胞RNA测序数据中的上皮细胞异质性,提供完整的R代码实现。通过功能模块分解和参数优化,NMF能够有效解决传统聚类方法在处理连续渐变细胞状态时的局限性,特别适用于上皮细胞研究中的EMT过渡模块识别和转移潜能分析。

weixin_29061425的博客 225

NMF非负矩阵分解初探

NMF非负矩阵分解初探 NMF非负矩阵分解初探 简介 NMF信号分解 最优化问题NMF 简介 数据可以表示为一个矩阵 VVV,列 vnvnv_n 是采样点而行代表特征features。我们想把这个矩阵VVV因式分解为两个未知的矩阵 WWW 和 HHH V≈V^≡WHV≈V^≡WH V \approx \hat{V} \equiv WH 这里面 WWW 是一个经常性...

JOHZEN 1342

单细胞NMF实战:如何用非负矩阵分解破解上皮细胞异质性难题

本文详细介绍了如何利用非负矩阵分解(NMF)技术破解上皮细胞异质性难题。通过单细胞RNA测序数据分析,NMF能够有效识别细胞状态和功能模块,克服传统聚类方法的局限。文章提供了从数据预处理到参数优化的完整实战指南,并展示了模块功能解析和临床关联分析的高级应用,为研究上皮细胞异质性提供了有力工具。

weixin_30892037的博客 103

NMF(非负矩阵分解)的SGD(随机梯度下降)实现

NMF把一个矩阵分解为两个矩阵的乘积,可以用来解决很多问题,例如:用户聚类、item聚类、预测(补全)用户对item的评分、个性化推荐等问题。NMF的过程可以转化为最小化损失函数(即误差函数)的过程,其实整个问题也就是一个最优化的问题。详细实现过程如下:(其中,输入矩阵很多时候会比较稀疏,即很多元素都是缺失项,故数据存储采用的是libsvm的格式,这个类在此忽略) package NMF

玉心sober 1万+

2024年捡垃圾指南:E5 V3/V4服务器CPU怎么选?从游戏多开到深度学习,附华南X99主板搭配清单

本文详细解析2024年E5 V3/V4服务器CPU的选购策略,涵盖游戏多开、深度学习等多种应用场景。通过对比E5 V3与V4系列的制程、功耗及性能差异,提供高性价比的CPU型号推荐及华南X99主板搭配方案,帮助用户在有限预算下打造高效能工作站。

weixin_42549451的博客 1599
上一篇: 《算法导论》第12章 二叉查找树 (2)查找、插入与删除
下一篇: C语言的编译链接过程的介绍
overstack
博客等级 码龄14年 115粉丝 55原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值