自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 Linux 文本编辑vi常用命令

Linux 文本编辑vi常用命令

2022-07-25 17:55:37 1142

原创 实现Pandas自行车行驶数据分析

pandas小案例,实现Pandas自行车行驶数据分析,通过简单的案例来熟悉pandas和matplotlib的使用

2020-09-24 21:56:27 2940 4

原创 数据可视化:利用Python和Echarts制作“用户消费行为分析”可视化大屏

数据可视化:利用Python和ECharts制作可视化大屏,使用到的东西有PyCharm、Flask、Ajax、HTML、JavaScript、ECharts、jQuery等,制作用户行为可视化大屏。文中有可视化大屏的整个制作过程,还有整个项目从数据预处理以及数据可视化的源码下载链接,以及前边数据分析的博客链接。

2020-08-29 21:11:16 4519 4

原创 使用Hive进行数据分析以及将分析后的数据导入MySQL数据库

使用hive进行数据分析,以及将分析后的数据导入MySQL。前段时间写了一个用pandas进行数据预处理的一个博客,这篇博客是接着上一篇,数据预处理后的数据分析阶段,用的是hive

2020-08-16 17:45:17 7729 6

原创 Hive运行的一个错误

hive运行卡住,查询日志报错:slave:8032 failed on socket timeout exception: java.net.NoRouteToHostException: 没有到主机的路由;

2020-08-09 16:33:03 2270

原创 Ubuntu18.04.4 MySQL、Hive本地模式及Sqoop的安装配置(详细步骤)

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Sqoop是一款开源的工具,主要用于在Hadoop与传统的数据库间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。本篇内容是在Ubuntu操作系统下安装配置 MySQL、Hive本地模式及Sqoop的详细步骤。

2020-08-02 18:39:50 2864 3

原创 利用Pandas进行数据预处理的一个简单小案例

利用Pandas进行数据预处理的一个简单小案例。用户行为数据预处理。

2020-07-26 21:49:23 2348

金融监管数据质量控制规则配置

内容概要:本文档为金融监管数据质量校验规则的SQL脚本集合,主要包含对贷款、客户、机构等业务数据的完整性、唯一性和合规性校验规则。通过删除旧规则、插入新规则(如JS5891、JS5570等)以及建立规则映射关系,定义了各类数据校验逻辑,涵盖字段唯一性约束(如数据日期+借据编号+流水号唯一)、统一社会信用代码校验码合规性验证、关联字段存在性检查(如同业客户代码必须存在于基础信息表中)及金融机构代码格式规范等。同时,部分规则通过脚本或SQL查询实现复杂逻辑判断,并与特定报表模块(如DWDKFS、FRJBQK)绑定执行。; 适合人群:从事金融行业数据治理、监管报送系统开发与维护的数据工程师、数据库管理员及技术管理人员。; 使用场景及目标:①用于金融机构内部数据质量控制体系建设;②支撑向人民银行等监管机构报送数据前的自动化校验;③帮助理解监管规则的技术实现方式,确保数据准确性与合规性。; 阅读建议:需结合数据库表结构与业务背景理解各规则含义,重点关注SCRIPT字段中的逻辑表达式及SQL语句的实际应用场景,建议在测试环境中部署并验证规则有效性。

2025-12-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除