3文丰-优快云博客

原创数仓架构--之数据拉链表实操

数仓架构--之数据拉链表不登高山不知天之高也，不临深溪不知地之厚也序拉链表定义拉链表特征拉链表加工重跑机制逻辑加工全量拉链和增量拉链全增量问题全量拉链的全增量问题增量拉链的全增量问题结尾不登高山不知天之高也，不临深溪不知地之厚也序一句话道出求知的路劲，要想知道这个东西难不难只有去行动，去攀登。接下来在这里比较简单的讲讲数仓中的拉链表拉链表作为处理历史数据的非常常用的表，掌握拉链表可以说掌握了数仓开发的核心，废话不多说，直接进入正题。拉链表定义可参考百度不详细说明，主要是记录某些数据特征在某一段时

2020-11-26 17:52:11 1269

原创 canal 环境搭建和配置

在数据库中创建一个root@127.0.0.1且使用mysql_native_password加密方式的用户,后面显示canal@localhost没有权限，同样创建一个;// 判断当前entryType类型是是否为 RowData 类型。// 订阅数据库，监控数据库 trcanal所有表。// 判断集合是否为空，如果为空，则等待继续拉取。// 获取修改前的数据。// 获取修改后的数据。// 获取当前事件的操作类型。// 遍历并打印数据集。// 获取数据，每次获取100条。// 获取序列化后的数据。

2023-06-13 16:32:57 1796

原创 Linux（centos 7）环境安装MySQL5.7

相关命令：/usr/bin(mysqladmin、mysqldump等命令)(*mysql的一种安全启动方式：/usr/bin/mysqld_safe –user=root &)数据库文件默认在：cd /usr/share/mysql 配置文件默认在：/etc/my.cnf。启动脚本：/etc/rc.d/init.d/ （启动脚本文件mysql的目录）配置文件模板：/usr/share/mysql。数据库目录：/var/lib/mysql/数据文件：/var/lib/mysql/

2023-05-05 14:25:35 714

原创 python 的scrapy架构爬取一个需要登录的网站的多个页面并导入数据库

主要三个文件，爬取网页的bookspider.py定义字段的 Items.py传输到数据库的pipelines.py

2023-03-30 14:31:44 460 2

原创 apache 安装

winxp中安装apache ：1.下载 apache 官网下载页面找到想要下载的版本，点击链接，然后再页面中找到点击链接Files for Microsoft Windows2.安装apache 解压下载后的文件夹，把apache24拷贝到根目录下 cmd运行，到apache的bin目录下执行：httpd -k install 成功后执行成功，在bin目录

2015-07-02 23:43:58 328

原创 text,varchar,char 在存贮长度方面个人的理解

此文档限制在mysql 5.5以上成立

2014-07-11 12:24:47 1002

原创 mysql安装之一

安装程序见目录《MSSQL Server 2000相关程序》；安装程序中有如下文件：根据windows系统的位数，选择相应的安装程序，双击运行，安装过程如下图示：这里可以自行指定程序安装目录，点击browse更换安装目录，建议不要安装在系统盘；至此就完成了数据库的安装，接下来进行数据库的配置设置此处如果数据库是当做数据库服务器用，选择

2014-07-04 15:41:04 590

原创数据库被破坏后,数据是完整的,如何对数据进行还原呢

﹙1﹚ 为了避免数据库配置文件出现问题,建议每次修改数据库配置文件就备份一次,这样恢复数据库会方便很多,不然类似这样的问题出现会很难解决,但是出现这个问题也必须要解决,因为这些数据虽然是本地的,但是不想失去这些数据﹙2﹚ 产生问题的描述:1﹚ 在虚拟机中测试数据库性能的问题,在修改之后发现MySQL的配置文件突然被清空了.在MySQL关掉服务

2014-07-04 11:53:04 2134

原创数据库权限管理和维护

﹙1﹚ 赋权限1﹚ 对普通用户的查询删除Grant select,insert, update, delete, execute on database.* to ‘user’@’hostname’ identifiedby ‘password’2﹚ 对数据库开发人员需要权限:”create(创建),alter(修改) ,drop(删除),reference(外键

2014-07-01 19:50:30 680

原创使用Navicat同步数据库字段的相关问题总结

﹙1﹚ 问题描述:在修改了表名称或者属性名称之后再做同步经常会出现重新新建该字段,并删除原来字段的现象.1﹚ 这样造成的结果是所有的原来的数据库中存在的值会随同这边的同步一起被删除2﹚ 而如果是主键等字段的值会部分内容被删除,而部分内容是删除不掉的3﹚ 如果表中有外键关联那么该表会删除不了 ﹙2﹚ 问题原因:1﹚ 同步只识别

2014-06-24 08:38:17 3079

原创在Navicat for MySQL工具中大小写敏感的情况下表名称会出现变小写的情况,如何改回大写呢

1﹚ 在Navicat for mysql 修改过表名之后表在后续的跟进中会把表名在未知情况下变成小写的.2﹚ 在大小写敏感情况下,对字段中该大写的字母修改之后发现说表已经存在,3﹚ 我们数据库设置是大小写敏感的,所以导致有些查询语句会无法查询,数据库同步无法用工具实现同步,造成比较大的困难4﹚ 我们在数据库设计中对数据库配置设置为大小写不明感,然后再把配置修改回来,发现数据库中表名也

2014-06-20 13:58:01 18625

原创 MySQL err[1005]错误的解决总结

﹙1﹚ 解释原因为表创建不成功1﹚ 错误:” [Msg] Failed - Error on TableInSiteRequest - 1005 - Can't create table 'ddpspace.insiterequest' (errno: 121)” ﹙2﹚ 经过网上查找可能原因并解决方法如下1﹚ 外键重复,删除该表外

2014-06-19 09:34:28 38430

原创 MySQL错误代码为err[1442]的解决总结

当触发器和存贮过程交互的调用某一个字段的时候会出现这个报错

2014-06-18 11:37:36 8358

原创主键自增的特点总结

1、不会出现主键为空的现象2、buhui

2014-06-17 13:52:48 815

python 实现ETL处理架构

python 实现ETL 处理架构 1.可以处理数据装载的过程 2.实现SQL执行的函数封装 3.实现数据加工的模板

2018-09-28

信用评分及其应用

信贷市场的快速增长促成了《信用评分及其应用》的出版。这是目前详细描述信用评分数学模型的惟一之作，信贷机构利用这些数学模型可以作出可靠的信用风险决策。　　贷款机构每天都要进行形形的风险决策。本书着重介绍了两类基本决策，并提供了帮助决策的有效的数学模型。贷款机构面临的类决策是是否批准一个新客户的借款申请，第二类决策是如何对现有的客户进行信贷管理或营销新产品。　　本书对信用评分和行为评分的目的、方法及操作等问题进行了全面介绍。作者对建立评分卡的统计学原理和运筹学方法及各种不同方法的优缺点进行分析比较，描述了在建立、使用和监测评分卡的过程遇到的操作问题，同时也研究了不同国家在破产、公平信用以及个人隐私保护方面法律等问题上的差异。　　本书还介绍了消费者个人使用信用工具的经济学理论基础。读者将会理解贷款机构使用信用评分技术要达到的目标及其变化。尽管信用评分技术广泛应用于信贷业务，但到目前为止还没有其他任何一本书对信用评分所使用的各种统计学和运筹学方法进行详细描述，这些方法包括判别分析、Logistic回归、线性规划、神经网络、遗传算法等。本书的其他特点包括讨论不评分卡监测方法及何时更新评分卡等问题，以及信用评分在其他方面的应用，如直销、利润评分、税收检查、囚犯的释放以及罚款的支付等

2018-06-20

面向对象设计思想的学习

该文档介绍了如何做面向对象的分析设计我们的编程

2014-03-09

c++语言基础

C++基础介绍，对如何使用C++编程等做了详细的描述

2014-03-09

空空如也

TA创建的收藏夹 TA关注的收藏夹