金融科技和数据治理

思考问题的核心是最原始的数据是什么，先找到最原始的数据，然后基于原始数据做增加、过滤、联结等操作。T1–数据来源大范围；T2–关联表及相关；第二步，结合数据条件，拼凑出原始数据–基础数据；第三步，根据基础数据拼凑出最终想要的数据；第一步，搞清楚数据范围；

我们都知道SQL语言虽然有统一的标准，但是每家数据库在支持的函数和使用细节上面又各有差异，本文主要从MS SQLServer的SQL语句入手，讲解在实际使用过程中遇到的问题。一、SQL Server SQL语句日期；日期相关功能是最常见也是最复杂的功能，接下来我们从日期的常见几种情形出发去认识和理解SQL Server SQL的功能。1.1 选取早于或晚于某个日期的数据。SELECT...

本文从实际具体的使用场景记录在MySQL下SQL的使用。唯一列表关联多列表展示（例子：有一张用户表，一张用户购买商品的订单表；用户表一列一个用户不会重复，订单表中同一个用户可能有多个购买记录；）问题是如何统计每个用户购买的总金额，表结构如下：实现：通过ID关联两张表，同时对订单表的金额项求和，根据用户ID分组。SELECT a.ID,a.Name,a.Age,SUM(b.Amount...

一、问题平时工作中我们经常遇到这样的问题，我们在创建数据表的时候是根据业务实际情况设计的，但随着业务的拓展和需求的变化以前我们是通过横向去使用、分析这张表的，后来慢慢的从纵向去分析了，这里我举个例子就明白了。比如公司采购部有两位同事，总共采购四件物品，从采购员角度最终我们的建表语句如下：create table tb_rowcol(name varchar(20),item varchar(20...

大学毕业之后就没认认真真学习过数据库相关的知识，特别是SQL语句，要用到的时候上百度，不用的时候根本不会往这块想，今天有幸面试了一位候选人，期间问了一个如何查询两表的非交集部分，题目其实不难，实现的思路也很多，但说实话如果对一个不经常使用SQL语句的人来说，实现起来还是有点困难的。笔者采用的验证环境是在MySQL系统下。登录数据库首先，登录MySQL的默认数据库test，我们的验证从这里开...

由于Hive项目中存储元数据的数据库采用的是MySQL，今天通过Kettle在Hive中创建带中文字段的时候一直创建失败，在网上查了一些资料，最后发现是MySQL中文字符集在作怪，抱着科研的态度，把中文字符串全部换成英文的再去执行，发现在Hive中建表可以成功，反过来验证了是Hive中元数据中的中文问题。接下来主要讲解MySQL的中文配置问题，当然网上有很多这方面的解决方案，但有些设置是基于Ses...

今天在用Kettle做数据迁移的时候遇到一个问题，因为表比较复杂，就直接从SQL Server Mangement Studio手动方式导出建表的SQL语句，具体过程是：选择需要查看的表->右键“编写表脚本为”->CREATE到->文件，这个时候会弹出一个目录保存建表语句内容。我们都知道虽然SQL Server和Oracle都支持标准的SQL语句，但是每家厂商的支持方式是有差...

SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS），它最初是由Microsoft、Sybase和Ashton-Tate三家公司共同开发的，并于1988年推出了第一个OS/2版本。Microsoft SQL Server近年来不断更新版本，1996年，Microsoft 推出了SQL Server 6.5版本；1998年，SQL Server 7.0版本和用户见面；...

SQL是用于访问和处理数据库的标准的计算机语言，适用于目前主流的关系型数据库Oracle、SQL Server、Mysql、PostgreSQL、DB2等，要精通SQL并不是每个人的目标，大部分人只想能熟练应用，作者整理了一份SQL最少知识点，供读者学习、分享。知识点查询SELECT column_name FROM table_name WHERE colunm_name operator...