shrek11的专栏

比如我们有些需求，需要查找每个省市最新的记录，原数据是这样的现在我要返回每个省市里日期最新的那条记录。mysql里我们可以这样写select id, vdate, type , province_city, price_change, price,last_update_date,last_update_by,longitude,latitude from ( select * from steel_price_management order by vdat

时间维度表是数据仓库的重要统计项：很多统计都是基于时间。下面是我的一个时间维度表：网上很多用mysql或者是oracle的存储过程初始化数据的，下面我用Hive Sql初始化，记录一下。1，首先设置2个变量 初始开始日期和初始结束日期：0: jdbc:hive2://node1.ansunangel.com:2181,nod> set hivevar:start_day=2020-07-01;No rows affected (0.004 seconds)0: jdbc.

下面是大数据体系架构图大数据分2个部分，一部分是走实时的，另外一部分是走离线的，不管那块都需要数据来分析从上图来看，数据分为结构化数据（MYSQL,ORACLE等），半结构数据（文件日志），非结构化数据（视频，PPT等）我们一般需要分析的数据 就是结构化的数据和非结构化的数据，非结构化数据可以存HDFS系统。很多专业的东西后面在开博客另讲，先大概了解数据流走向。1，数据收集...

很多高性能高并发的优化最有效果的优化就是做缓存，缓存又分本地缓存和分布式缓存，分布式缓存大多数用redis，但是高并发下的redis有时候网络消耗多的时候也扛不住，于是redis又可以做分布式redis，增加redis的服务器节点和配置，但是这个成本也比较高，其实完全可以用本地缓存+redis缓存结合的方式，保证高并发下的响应速度。下面是git上一个本地缓存（一级缓存）+r...

前言一般一个系统大概分3个部分，前端 - 后端 - 数据库。前端 可能是N台电脑，N个手机，所以压力最小后端 很多个用户操作电脑端或者手机端请求 压力很大数据库 又有1个或者多个后端程序来请求它， 所以它的压力是最大，资源也是最紧张的所以我们设计的系统的准则是什么：尽量把一些计算，存储信息往前推。大概意思就是，能在前端完成的...

redis集群有三种方式，1，主从模式，即一个master,一个slaver2，哨兵模式，哨兵模式建立在主从模式基础上，一主多从或多主多从当主挂了之后，会在从节点里选举一个作为主节点，这个时候redis会有一个空档期，即不可写入。而且当数据过多，redis压力越大，是全部缓存在各个主从机子上3，redis cluster 集群模式，官方推荐建立在主从和哨兵基础上，采用分片规...

最近有个需求，需要将一张表同步redis，找到了CANAL,又是阿里开发的，下面是官方介绍开发背景早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务如上面图片意思，大概CANAL相当于一个从机，监听...

我们知道，当表的数量大于一定限度的情况下，操作起来就非常慢所以我们就可以把表分成拆分成多个表保存，比如我一个user表，未拆分前，有五千万条数据，我们就可以把它拆成10个表来保存，当然你的主键是一个有序自增长的序列，这个自增长的ID必须在插入之前就分配，可以参考分布式ID生成机制（下个博客介绍），通过SHARDINGJDBC我们就可以设定一个规则，比如每个插入库的ID我...

上个博客讲了MYSQL的主从配置，主从数据库配好了以后就可以实现读写分离了。一般读写分离，主库做增删改等操作，从库做查询操作。如果查询多的话，可以多做几天从库。SHARDINGJDBC最开始是由当当网开始的一个开源项目。由于反响好直接进入apache的孵化项目，更名为 SHARDINGSPHEREGITHUB项目地址：https://github.com/apache/i...

一个系统往往最后的瓶颈就是数据库，所有现在出了分布式数据库的概念，但是部署分布式数据库对硬件和技术的成本要求更高。所以还是很多公司采用数据库主从和读写分离的技术来平摊数据的压力。数据的读写分离有MYCAT，SHARDINGJDBC等，下节介绍SHARDINGJDBC来实现读写分离，本章还是先把数据库的主从设置配好环境：2台centos7虚拟机，上面装了MYSQL5.7(...