- 博客(26)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 mysql的索引使用（三）-SQL优化
中我们创建的索引，默认索引的叶子节点是从小到大排序的，而此时我们查询排序 时，是从大到小，所以，在扫描时，就是反向扫描，就会出现 Backward index scan。因为创建索引时，如果未指定顺序，默认都是按照升序排序的，而查询时，一个升序，一个降序，此时 就会出现Using filesort。引擎并不会把全部字段取出来，而是专门做了优化，不取值，服务层直接 按行进行累加。通过测试我们会看到，越往后，分页查询效率越低，这就是分页查询的问题所在。是一个聚合函数，对于返回的结果集，一行行地判断，如果。
2023-05-21 16:43:05
155
原创 mysql的索引使用（二）
索引使用索引使用在讲解索引的使用原则之前，先通过一个简单的案例，来验证一下索引，看看是否能够通过索引来提升 数据查询性能。在演示的时候，我们还是使用之前准备的一张表 tb_sku ,在这张表中准备了1000w 的记录。这张表中id为主键，有主键索引，而其他字段是没有建立索引的。我们先来查询其中的一条记录，看看里面的字段情况，执行如下SQL可以看到即使有1000w的数据根据id进行数据查询性能依然很快，因为主键id是有索引的。那么接 下来，我们再来根据 sn。
2023-05-21 15:21:45
128
原创 mysql的索引介绍（-）
索引（index）是帮助MySQL高效获取数据的数据结构有序。在数据之外，数据库系统还维护着满足 特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据， 这样就可以在这些数据结构 上实现高级查找算法，这种数据结构就是索引。特点。
2023-05-21 13:44:30
91
原创 mysql存储引擎的介绍
存储引擎就是存储数据、建立索引、更新查询数据等技术的实现方式。存储引擎是基于表的，而不是 基于库的，所以存储引擎也可被称为表类型。我们可以在创建表的时候，来指定选择的存储引擎，如果 没有指定将自动选择默认的存储引擎。1).建表时指定存储引擎。
2023-05-21 11:17:35
82
原创 Hbase的读写流程
查看hbase基本介绍的参考hbase的基本介绍和表模型1.habse的逻辑结构2.habse的物理结构3.hbase的集群架构主节点HMaster的作用：管理众多从节点用于分配region给从节点负责元数据管理操作从节点HRegionserver的作用：管理众多从节点用于分配region给从节点负责元数据管理操作Hbase集群中可以有多个Hmaster（一主多备）和多个HRegionserver组成。一个HRegionserver由一个HLog和多个Region组成
2022-04-17 14:22:07
5961
1
原创 hbase的基本介绍和表模型
1.hbase的作用和应用场景支持海量数据的存储，虽然没有hdfs存储性能高，但是支持数据的随机读写，性能比较如下：HBase仅支持三种数据读取方案:1.根据rowkey的单行数据查询，比如：get table_name row_key2.根据rowkey的范围数据查询比如：scan ‘表名’ , {COLUMNS=>[‘列族’ | ‘列族:列名’ …], STARTROW=>‘起始rowkey值’ ,ENDROW=>‘结束rowkey值’, FORMATTER=>‘to
2022-04-17 12:27:43
1925
原创 hive导入导出数据自动化的shell脚本
1.从mysql导入到hive的ods层的shell脚本传参表示要导入的数据分期日期，sqoop导入，实例：#!/bin/bashexport SQOOP_HOME=/usr/bin/sqoopif [ $# == 1 ] then dateStr=$1 else dateStr=`date -d '-1 day' +'%Y-%m-%d'`fidateNowStr=`date +'%Y-%m-%d'`yearStr=`date -d ${dateStr}
2022-03-28 12:19:08
3392
原创 hive优化
1.存储格式和压缩格式一般分为列式和行式存储，行式包含text、sequence两种类型；列式包含orc和Parquet两种；压缩方式比较多，gzip、bzip2、DEFLATE、LZO、LZ4、Snappy。开启map压缩：set hive.exec.compress.intermediate=true;set mapreduce.map.output.compress=true;set mapreduce.map.output.compress.codec= org.apache.hadoo
2022-03-26 11:22:09
763
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人