
笔记
文章平均质量分 51
weixin_30777913
这个作者很懒,什么都没留下…
展开
-
Python Pandas实现LEFT OUTER APPLY、CROSS JOIN和CROSS APPLY的功能
以下是用Python Pandas实现SQL Server中CROSS JOIN和strstrstrstr。原创 2025-02-19 19:24:41 · 320 阅读 · 0 评论 -
AWS SAA-C02 Study Guide
Notes。原创 2024-06-21 16:53:34 · 757 阅读 · 1 评论 -
C++实现自动演示程序信息,防止电脑锁屏和休眠
C++实现除了自身程序的窗口以外,在Windows10上把所有打开的应用程序窗口依次最大化,每次窗口最大化之间的间隔是10秒。原创 2023-08-23 14:25:07 · 278 阅读 · 0 评论 -
两个数组的卷积
实现两个数组的卷积,数组可自行添加更改。原创 2022-07-06 15:58:05 · 950 阅读 · 1 评论 -
Oracle数据库和Informatica ETL逻辑及视图、用户定义函数和存储过程迁移到AWS的Hive数据仓库基本流程
首先,我们需要注册AWS帐号,并启用EC2(Elastic Cloud Computing,高性能云计算)、EMR(Elastic Map-Reduce,高性能大数据计算)、Redshift/Snowflake数据仓库和S3(Simple Storage Service,简单存储服务)、DevOps(用于Github持续集成)和Github Enterprise这些服务。其次,我们需要梳理清楚Oracle数据库中Informatica Designer中的数据源、目标表和数据转换映射对象中的表、视图以及用原创 2021-09-26 12:32:24 · 709 阅读 · 0 评论 -
Teradata数据库和Informatica ETL逻辑及视图、用户定义函数和存储过程迁移到AWS的Hive数据仓库基本流程
首先,我们需要梳理清楚Teradata数据库中Informatica Designer中的数据源、目标表和数据转换映射对象中的表、视图以及用户定义函数和存储过程之间的依赖关系。操作上可以使用Teradata的SHOW语句,如SHOW TABLE <表名>、SHOW VIEW <视图名>、SHOW PROCEDURE <存储过程名>、SHOW FUNCTION <用户定义函数名>,以及DBC架构下面的系统视图如DBC.Tables、DBC.Columns来查看数原创 2021-09-24 12:56:39 · 1006 阅读 · 0 评论 -
从运程Teradata数据库到本地SQL Server数据库的离线快速数据压缩传输方案
需求是从美国总部的Teradata数据库每天定时传几百MB的增量数据到中国分部的SQL Server数据库,需要在两个小时以内完成。如果直接采用数据库直连的方式传输,需求是从美国总部的Teradata数据库每天定时传几百MB的增量数据到中国分部的SQL Server数据库,需要在两个小时以内完成。如果直接采用数据库直连的方式传输,由于网络不稳定和网络带宽较低,很难完成这样的快速数据传输的需求,所以我们采用离线压缩传输的方式实现。具体的实现方案为先在美国借用或架设一台跳板服务器,编写C#程序用Teradata原创 2021-09-15 14:36:54 · 246 阅读 · 0 评论 -
SQL Server数据库和SSIS包及视图、用户定义函数和存储过程迁移到AWS的Hive数据仓库基本流程
首先,我们需要梳理清楚SQL Server数据库中SSIS包及表、视图、用户定义函数和存储过程之间的依赖关系。操作上可以使用SQL Server的系统存储过程sp_depends和INFORMATION_SCHEMA架构下面的系统视图来查看数据库对象之间的关系。对于SSIS包,可以将发布在SQL Server服务器上的SSIS包用系统存储过程导出为二进制数据流,然后解析出其中用到数据库对象和dtsx文件,然后将得到的依赖性关系的信息存储到数据库或文件中。迁移ETL程序的时候,可以根据依赖性关系,确定迁移项目原创 2021-08-27 15:04:28 · 646 阅读 · 0 评论 -
利用ABBYY软件实现个人资产管理软件项目开发设计的思路
首先,由于银行和公司出于信息安全的考虑,是不可能跟我们这个个人应用做直接的数据对接的,所以我们只能针对银行和商户或公司发给个人的账单做OCR文字识别来导入数据。搞一个这样的项目可以先做一个电脑端网站或手机端的APP,接着上传个人银行账单的PDF文件和商户或公司提供的PDF个人账单导入后台服务器。上传的时候需要指定账单的类型,以便程序采用不同的策略来对 PDF文件中的内容进行OCR识别。然后在后台服务器上用OCR加机器学习的方法来解析pdf文件的内容,最后将账单数据导入用户资产数据库,并显示在界面上。具体操原创 2021-08-26 17:58:21 · 116 阅读 · 0 评论 -
跨境支付反洗钱业务逻辑和相关大数据分析技术实现
反洗钱分析业务以交易数据为中心,关联双方所在国家,国家的风险等级、交易频率、交易金额等综合因素考虑是否可能涉及洗钱,并以国家所在的大洲(亚洲、非洲、北美洲等)来分组统计。具体是根据数据科学家通过对历史交易数据和各种相关维度信息的分析得到的模型和参数,筛选出可能涉及到洗钱行为的帐号,然后对账号的可疑操作进行监控。技术上,将交易数据、帐号信息和相关维度定期地从交易系统中导出为数据文件,将文件传输到Hadoop集群的HDFS文件系统中,通过Hive外部表连接到数据文件,然后使用Spark或Flink大数据计算引原创 2021-08-26 17:39:21 · 632 阅读 · 0 评论