jinjiating的专栏

Redids笔记

天下武功，唯快不破。ETL Job优化的目标是执行快，耗费时间更短，总结起来有以下方式：增加硬件资源，比如增大内存、CPU等，但优化往往是在资源不足的情况下数据缓存，空间换时间服务常驻，减少初始化化时间减少输入数据量，常用以下技术数据压缩，缓存中能存放更多数据索引+BloomFilter，也是空间换时间，加快数据查找速度列裁剪，原理也是提高了缓存利用率谓词下推，减少扫描数据，一般要借助预分区或索引相关技术数据分区分桶避免重启读取相同数据，比如对同一张表多次查询UNIO

log-structured merge-tree(LSM tree)是可支持大量写的一种数据结构，写操作被优化成顺序写，LSM树是许多数据库背后的核心数据结构，包括BigTable, Cassandra, Scylla, 和 RocksDB.SSTablesLSM树在磁盘上以有序表(Sorted String Table)的形式存在。下图所示，SSTable存储了以key排序的key-value键值对，其中name为key。一个SSTable是由多个排序的文件组成，每个文件是一个Segment, 这些

所有应用软件之中，数据库可能是最复杂的。MySQL的手册有3000多页，PostgreSQL的手册有2000多页，Oracle的手册更是比它们相加还要厚。但是，自己写一个最简单的数据库，做起来并不难。Reddit上面有一个帖子，只用了几百个字，就把原理讲清楚了。下面是我根据这个帖子整理的内容。一、数据以文本形式保存第一步，就是将所要保存的数据，写入文本文件。

建表create table test(        id int(11) NOT NULL AUTO_INCREMENT,        a int(4) NOT NULL DEFAULT 0,&nbsp

windows上安装1、下载安装包解压到MYSQLHOME，切换到MYSQL_HOME，切换到MYSQLH​OME，切换到MYSQL_HOME目录2、mysqld --initialize-insecure: 初始化data-dir, 无root密码3、mysqld --console: 启动mysql服务，若不指定console选项则启动日志信息保存到log文件中4、mysql -u r...