weixin_39666736的博客

2021年上半年在腾讯实习，马上实习结束跑路了，一些相关工作内容不方便对外发表，下面只记录一些思考与收获。1.思考组里面是做OLAP计算引擎的，从学科大类上来说，属于大数据、数据库领域的交界处。从1970年oracle发表的关系型模型论文开始，就开启了数据库的新世界，到95年开源的MySQL、学术圈的PostgreSQL，之后漫长的20多年都是单机版数据库。（如上图所示）随着移动互联网的兴起，数据量越来越大，出现了一些新形数据库，如2003的出现了内存的数据库memcache，到2005年左右.

大数据领域一些值得读的论文（不断更新1.大数据Hadoop三辆马车MapReduce-2004：一种计算框架https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/mapreduce-osdi04.pdfGoogleFileSystem-2003：GFS 谷歌的文件系统https://static.googleusercontent.com/media/research.google.com/zh-

原文链接 https://blog.youkuaiyun.com/qq_42189083/article/details/80610092 1、 什么是MPP？MPP (Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，

1.前言 & 摘要Amazon aurora是针对OLTP、云原生关系型数据库对于高吞吐量的数据处理，目前的主要矛盾已经转变为网络IO将redo操作推到了多租户水平拓展存储服务关键词：quorum model、OLTP、log processvpc:virtual private cloud，虚拟私有云使用多阶段同步协议（如 2-parse-commit）解决事务提交的问题在云环境下是困难的这些协议不能容忍大型分布式系统持续的硬故障和软故障，由于大型分布式系统有很多数据中心，他们也有很

论文发表于2010年，论文提出了一个新概念：提供云SQL服务，SQL Azure提供完全的关系型数据库服务SQL Azure有以下特点：share nothing architecture单区提供ACID级别的事务一致性full relational supportCloud SQL Server currently only supports full ACIDproperties within a single partition其他大厂，都在研发自己的分布式存储系统，如Google

摘要传统的数据仓库被设计为用于固定资源，数据的结构、容量、传入速度是可预测的，不能使用云的弹性，随着数据的种类变多、数据量变大，需要新型数据仓库Snowflake是建立在云上的新型数据仓库，架构上云（云原生？），DaaS（database as a service）特点：多租户 multi-tenant，pay-as-you-go，pay for use事务型，支持SQL,ACID（技术螺旋向上发展）支持semi-structure data和no schema data弹性和高可用（res

1.云原生(cloud native)4个要点：①DevOps ②持续交付 ③微服务 ④容器云原生是基于云基础之上的软件架构思想，以及基于云进行软件开发实践的一组方法论

1.背景首先我们谈谈Hadoop的背景，说到Hadoop起源，就离不开Google的三辆马车：Google File System、MapReduce和BigTable，分别说了分布式文件系统、分布式计算MR和分布式结构化存储系统MapReduce论文翻译：MR链接Google file system论文翻译：gfs链接bigtable论文翻译：bigtabel链接Hadoop从2005年提出，采用的是存储计算耦合的架构，Hadoop将所有的计算（如：mapreduce、spark）和存储（如