Shine_mmm

结构与对象

单机数据库的实现

多机数据库的实现

独立功能的实现发布与订阅事务Lua脚本排序二进制数组慢查询日志监视器

hive分区。默认是静态分区。分区的好处：将列值作为目录存放数据，这样查询时，根据分区列过滤，只需查询对应目录下的数据，快速定位，查询效率高。Hive的分区方式：Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并非一个实际字段。当在插入数据的时候指定分区，其就是新建一个目录或者子目录，或者在原有的目录上添加数据文件静态分区静态分区分区的值是确定的新增分区或者是加载分区数据时，已经指定分区名creare table if not exist.

Volcano Optimizer简介：提供了一套sql解析与执行接口，包含sql查询和执行相关任务的执行代码，只需将数据模型

做到以下这几点，可保证Redis安全启动：不能以root用户来启动！！！端口：避免用默认6379端口地址：避免仅监听本地地址密码：密码设置复杂一点redis-cli登录时不要通过redis-cli -a YouPassword来登录，而是先登录后验证，redis-cli后，输入auth YouPassword的方式限制Redis的文件目录访问权限设置redis的主目录权限为700...

实时同步MySQL数据到ES前情：经过查询，网上大概有以下三种方式1）elasticsearch-jdbc，独立的第三方工具（只支持es 二点几的版本，不支持5.6.1及更高版本）2）logstash-jdbc，logstash官方插件安装logstash安装logstash-jdbchttps://gems.ruby-china.com3）go-mysql-elastics...

转自本人旧博客title: mongodate: 2017-07-24 23:44:07tags: mongocategories: 数据库基础整理操作mac安装brew updatebrew install mongodb启动mongodmongo关闭ctrl+cmongo> use admin db> db.shutdo...

缓存穿透：缓存穿透：查询不存在的数据，不会写入缓存，因此就会不断的去查询，在流量大的时候，数据库可能就会挂了。解决方法：布隆过滤器将查询结果为空的数据写入缓存，设置过期时间短一些缓存雪崩：缓存雪崩：大量的key设置了相同的过期时间，在某时刻全部失效，大量key请求数据库，数据库！雪崩！解决方法：在缓存过期时间上加一个随机值时间，使数据的过期时间分散，不在同一时刻失效缓...

MongoDB：经济的横向扩展，以增加分区的方式将数据库拆成不同的区块，来分布到不同的机器。脱离的横向扩展的弊端（管理困难）NoSQL的设计方式：操作数据灵活预设计模式、动态模式预设计模式：传统数据库设计需要对数据库表中的字段名称、字段类型进行规定。插入不符合设计的数据会失败动态模式：动态追加，在创建时不会对数据类型进行限定范式化与反范式化范式化：将数据分散...