小知识记录_取数工具取应用层数据还是中间层数据-优快云博客

1.登录方式

（1）授权登录：此方式可以获取比较多的信息，例如头像、昵称、openid、unionid、是否关注公众号等信息
（2）静默登录：

OpenID 是一个以用户为中心的数字身份识别框架，是一个以URL为身份标识的分散式身份验证解决方案，它具有开放、分散、自由等特点
可以通过URL来认证一个网站的唯一身份，可通过这个URL在多个网站进行登录，作为用户的身份认证
举个栗子：URL是护照，OpenID是户口所在地
使用 OpenID时，URL就是用户名，密码存储在一个 OpenID 服务网站（OP）上。登录RP时需要提交两个重要信息，一个是你的名字，一个是OpenID网站的网址。例如我在OP：open.cn上的账号是：kidult，我的OpenID就是http://kidult.openid.cn/。
RP：OpenID支持方，支持终端用户（End User）使用OpenId登录自己的网站 OP： OpenID提供方，提供OpenID注册、存储等服务

（3）扫码登录：此种方式一般适用于电商网站的PC登录,如下图

2.脱敏

脱敏指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

3.合规（技术上的）

（1）数据是平的：数据的产生是有前因后果和来龙去脉的，不可凭空而来
（2）变更有操作记录：事后有迹可寻，保证历史可回溯
（3）重要变更有审核记录
（4）安全有效的保护：数据库备份的可恢复性测试需有书面证据证明
（5）责权利对等：系统权限与员工岗位职责要对等。再譬如不要共用帐号

4.脏数据是如何形成的

（1）软件bug

代码低级错误
分布式系统问题，如未做到防重复提交和防并发提交
缺乏开发规范和意识，譬如不同环境随意对接，违反流程规范，原本应该测试环境对接测试环境，镜像环境对接镜像环境，生产环境对接生产环境，结果随心所欲，交叉对接
缺乏审计意识，譬如随心所欲删除数据，毁尸灭迹，尤其是不了解数据表结构，导致删数据还删不平，看上去更像造假；
刷库刷错，譬如上线时数据迁移刷错了，或修复BUG时刷数据漏刷了

（2）滥用IT系统

前期产品设计的功能自由度太大，未严格限制输入，在区区IT系统面前，人民群众是无（wu）所（kong）不（bu）能（ru）的。而产品设计者和系统开发者又容易在“非禁止则可输入和选择”和“锁死一切，只能输入已知的数据序列，并做上下文校验”之间首鼠两端，导致输入数据随意性大，杂乱无章
因功能缺失导致有意利用系统（漏洞）完成流程
不同系统均可录入和修改，违反了在数据源头修改的大原则，造成数据（到处）不一致，看上去很像是数据造假

5.阿里云全站加速

（1）全站加速（Dynamic Route for Content Delivery Network）是阿里云自主研发的融合了动态加速和静态加速技术的CDN产品。该产品一站式解决了页面动静态资源混杂、跨运营商、网络不稳定、单线源站、突发流量、网络拥塞等诸多因素导致的响应慢、丢包、服务不稳定的问题，提升全站性能和用户体验。
（2）工作原理：阿里云全站加速通过智能路由区分客户请求内容，实现动静态加速。

智能区分动静态内容：域名接入阿里云全站加速后，通过域名访问的动静态内容将被智能识别并区分。
动静态内容同时加速：静态内容使用阿里云CDN加速，缓存在CDN节点上，供您就近访问。动态内容通过智能路由优化、协议优化等动态加速技术快速回源获取。

（3）CND和全站加速区别
在这里插入图片描述

6.注册表

注册表是Microsoft Windows中一个重要的数据库，用来存储系统和应用程序中重要的配置信息
作用：Windows的核心数据库，其中存放着各种参数，直接控制着Windows的启动、硬件驱动程序的装载以及一些windows应用程序的运行，从而在整个系统中起着核心作用。这些作用包括了软、硬件的相关配置和状态信息，比如注册表中保存有应用程序和资源管理器外壳的初始条件、首选项和卸载数据等，联网计算机的整个系统的设置和各种许可，文件扩展名与应用程序的关联，硬件部件的描述、状态和属性，性能记录和其他底层的系统状态信息，以及其他数据等。
PS：对于注册表语句使用可查看参考2中的内容

7、ELT

ELT用来描述将数据从来源经过抽取、交互转换、加载至目的端的过程。将业务系统的数据经过抽取、清洗、转换之后，加载到数据仓库的过程，也称为数据仓库技术。所以ELT主要做三部分的工作，数据抽取、数据的清洗转换和数据的加载。
数据抽取（E）一般是通过工具从各个不同的数据源抽取到一个中间层中，其中可以做一些数据的清洗和转换，这个过程要注意抽取效率。
数据清洗是指将不符合要求的数据除掉，包括错误数据、不完整数据、重复数据。
数据转换要做的工作是把所有数据的模板、标准、计算规则等进行统一，如存储结构、数据编码等。清洗转换好的数据按着标准的ETL架构存储到数据仓库中，以备进行数据分析和决策。（一般来说数据的清洗和转换是整个工作量的2/3）
目的：将分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
特点：数据同步，ELT是经常性、按固定周期运行的；数据量巨大，值得将数据流动的过程拆分成三部分

8、BI（商业智能或商务智能）

概念：指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。例如DataFocus这个软件，可以对数据按照不同的维度进行分析，系统会以数据的特点来适配图表展示

9、数据仓库

（1）数据仓库存储量企业中的各种数据，使用数据仓库的目的是为了有效分析数据，然后基于它产出供数据挖掘的数据，或者数据应该需要的数据
（2）数据仓库分为：操作型数据库和分析型数据库

操作型数据库：主要面向应用，用于业务支撑，支持对实际业务的处理，也叫作业务型数据库、是基本的、日常的事务处理
分析型数据库：主要面向数据分析，侧重决策支持，作为公司的单独数据存储，负责利用历史数据对公司各主题域进行统计分析。
（3）数据处理大致可以分成两大类：OLTP（联机事务处理）和OLAP（联机分析处理）。
OLTP（联机事务处理）就是操作型数据库的主要应用，也称实时系统(Real Time System)，支持事务快速响应和大并发，这类系统典型的有ATM机(Automated Teller Machine)系统、自动售票系统等，但有些银行转账并不是实时到账的。OLTP反映企业当前的运行状态，完成企业管理所包含的日常任务的数据库应用，一般没有复杂的查询和分析处理，更侧重于基本的、日常的事务处理，包括数据的增删改查。
OLAP（联机分析处理）就是分析型数据库的主要应用，OLAP也称决策支持系统(Decision Support System，DSS)，是数据仓库系统的主要应用形式，使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。
（4）特点：
面向主题：通过一个个主题或将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品）进行分析而建，操作型数据库是为了支撑各种业务而建立。
集成性：将不同源数据库中的数据汇集到一起。
历史性：数据加载后会被长时间的保留，有可能至少几十年。
时变性：数据仓库包含来自其时间范围不同时间段的数据快照（数据快照：数据库在某一时间点的视图；快照是一个主表的查询子集，可以加快数据的查询速度；在保持不同数据库中的两个表中的同步中，利用快照刷新，数据的更新性能也会有很大的改善）。
稳定性：数据库中的数据一般仅执行查询操作，很少会有删除和更新。但是需定期加载和刷新数据。

持续更新。。。。。。

参考：
1、https://blog.youkuaiyun.com/qq_42521751/article/details/103887965
2、https://blog.youkuaiyun.com/qq_21516633/article/details/101110736
3、联机分析处理(OLAP) 与联机事务处理(OLTP)：https://blog.youkuaiyun.com/weixin_30521161/article/details/97640236
4、数据仓库：https://blog.youkuaiyun.com/zhaomengszu/article/details/105469698