hsabrina的博客

docker run 参数大全

（1）Front Node：前端节点,负责接收sql请求，并解析发送给insert和delete 语句buffer Node写入缓存节点，对于查询语句，讲查询任务分发给computing node，并汇总结果返回给客户端。（2）ComputingNode：负责计算和存储两个职责。计算由fn前端阶段发下来的执行计划，并完成数据分析处理任务。大存储模式下，cn会从盘古读取数据，热数据会缓存到本地ssd磁盘；搞性能模式，cn会从盘古读取全部数据，cn直接从ssd磁盘中读取。（2）BufferNode：支持实时

RDS：面向事务。存不了太大数据。类似mysql。OLTPADS：索引查询，比较快，存关系型数据库，要做表关联的时候就不能做ADS。类似数据透视表，但是支持数据量大可以秒级反应。存进来的时候并不能做到那么快，一旦存进来就很快。OTS：主键列的形式，存nosql数据。...

什么是OTS   OTS 是Open Table Service的简称，现在已更名为表格存储Table Store，官网对它的解释为：OTS是构建在阿里云飞天分布式系统之上的 NoSQL 数据库服务，提供海量结构化数据的存储和实时访问。OTS 以实例和表的形式组织数据，通过数据分片和负载均衡技术，达到规模的无缝扩展。OTS 向应用程序屏蔽底层硬件平台的故障和错误，能自动从各类错误中快速...

窗口函数，也叫OLAP(Online Anallytical Processing,联机分析处理）,可以对数据库数据进行实时分析处理窗口函数有以下功能：1）同时具有分组（partiton by）和排序（order by） 的功能2）不减少原表的行数，所有经常用来在每组内排名注意事项：窗口函数原则上只能写在select 子句中窗口函数使用场景：1）经典top N问题，比如找出每个部门排名前N的员工进行奖励2）经典排名问题，比如每个部门按业绩来排名。...

随着用户规模和业务的发展,运营商的业务平台规模不断增大,如果沿用传统的从硬件到应用相互独立的"烟囱式"部署方式,IT设备采购和部署将面临越来越大的压力.因此运营商迫切希望通过建设云计算资源池,对业务平台进行统一承载,实现资源共享...

与数字化转型一起火起来的，是“中台建设”。如今，在大多数实践者眼中，中台就是数字化转型标配，以至于，一个帮助企业建设中台的创业赛道异军突起。同样，喊出中台建设口号的企业不少，但真正建起来中台的，更是屈指可数。但随着中台建设的火爆，有关“中台建设究竟成不成立”的争论也如影随形。就连被认为是中台建设典范的阿里，有段时间也传出了正在“拆中台”的消息。有人更是戏称：“大公司上中台，钱没了；小公司上中台，公司没了。”本项研究将探讨数字化转型中的三个关键问题：一是Why，即是否应该建设中台？二是What，即应该..

知识目标1）了解数据质量的概念、重要性、质量评价方式2）熟悉数据质量的分析方法，掌握业务、技术、管理等几个维度3）掌握数据质量管理的方法论体系4）掌握数据质量事前、事中、事后控制策略及控制流程数据质量的基本概念数据是对现实世界的反应，数据质量指的是数据在多大程度上反应了真实世界。一般来说，如果数据代表的意义和目的不一致，数据就有质量问题。数据质量管理的定义：数据从计划，获取，存储，共享维护应用以及它的整个生命周期的每个阶段里都可能引发的数据质量问题进行一些识别、度量、监控、预

总体应用流程应用流程图：角色开发、部署/运维、运维三种角色涉及模块数据集成模块、数据开发模块、发布管理模块、运维中心模块数据处理包括：数据输入、数据开发、数据输出（数据集成+数据开发模块）；代码发布（发布管理模块）；生产调度、生产运维（运维中心模块）数据输入就是数据的收集和数据存储，是数据开发的基础，首先要将不同业务系统的数据，分析要用到的数据同步到MaxCompute平台上来，这样才能利用MaxCompute海里数据存储和处理能力对数...

数据集成离线/实时数据同步复杂网络环境下，对丰富异构类型数据源高效稳定的移动和同步能力数据开发对MaxCompute中的数据进行加工 (SQL，UTF，Graph，MR)、分析与发掘（数据分析、数据挖掘）等处理从而发现其价值数据应用对MaxCompute数据加工处理后，应用各种场景，如数据提取、数据交互、数据报表、数据分析数据服务提供为企业搭建统一的数据服务总线，帮助企业统一管理对内外的API服务。提供快速将数据库表生成API能力，同时支持快速注册现有API至数据服务平台，进