- 博客(30)
- 收藏
- 关注
RSS订阅原创 优化新知识
1.对空值排序 利用关键字 nulls first ，nulls last Select from ename, comm from emo order by 3 nulls first 2. 根据条件取不同列的值来排序–创建新的一列 4.
2021-11-10 09:34:55
269
原创 SQL基础语法主体知识2
19.更新数据的方法 数据更新的方法 20. 动态SQL 在PL/SQL程序开发中，可以使用DML语句和事务控制语句，但是还有很多语句（比如DDL语句如 create table , truncate insert into 这种）不能直接在PL/SQL中执行。这些语句可以使用动态SQL来实现。 PL/SQL块先编译然后再执行，动态SQL语句在编译时不能确定，只有在程序执行时把SQL语句作为字符串的形式由动态SQL命令来执行。在编译阶段SQL语句作为字符串存在，程序不会对字符串中的内容进行编译，在运行阶段再
2021-10-11 15:10:55
258
原创 项目二 电商
1.新建数据库 开始–找到这个绿色的，点它 然后一直点下去,其中 新建资源库的名称为BI， 所有口令用同一密码 口令123456， 不要启动维护。 完成 关闭。 2.kettle抽数 九个表格都抽完 3.建数据字典 4.找表关系 ...
2021-10-08 18:57:43
323
原创 更新数据的方式及日志与异常处理
更新数据的方法 更新的方式 离线（每几个小时更新一次，或者每天更新一次，日更居多，一般拿两天的数据，但是这样的话数据会重复（前天的）） 实时 全量更新 增量更新 一般增量删除再更新（目的是防止终端补录前天数据） 维度表：基本是全量更新，因为数据比较少 ，最多才几万条 事实表，一般是增量更新 方法一：现将目标表的记录在增量范围之内删除，然后在将增量插入 第一种方式：开头删除处设置时间段 在查询内设置时间段 方法二，使用marge into更新 CREATE OR REPLACE PROCEDURE SP_
2021-09-29 13:39:12
1344
原创 PLSQL
PLSQL 是一种块结构的语言，即模块化，一个PL/SQL程序包含了一个或多个逻辑块（模块） 基本操作包括：声明和赋值（变量与常量），条件空值，循环控制，游标 一.变量的使用 语法 BEGIN --开始 –逻辑部分 EXCEPTION --异常处理 END; --结束 变量的命名规范：V_变量名 1.认识函数： 输出（打印）函数 DBMS_OUTPUT.PUT_LINE(打印内容）； （类似python的print） 打印函数只能打印具体值或者变量里面的值，不能打印查询结果如JOB eg：打印HELLO
2021-09-28 19:14:31
654
原创 补充知识点，五种语言类型，约束，存在，序列
1. 五种语言 数据定义语言DDL 包括CREATE ,ALTER , DROP ,TRUNCATE 数据操纵语言 DML：包括 INSERT UPDATE,DELETE, 数据查询语言 DQL: 基本查询语句，ORDER BY ,GROUP BY 事务控制语言 TCL 包括COMMIT（提交） ROLLBACK（回滚） 数据空值语言 DCL 包括GRANT（授权）,REVOKE（撤销） 2.约束 按用途分类 1）PRIMARY KEY 主键约束（可以没有主键，但主键是非空且唯一）（查看–键） 创建主动约
2021-09-28 09:31:35
290
原创 深入浅出统计学
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 第一章：深入浅出统计学之信息图形化 ：第一印象 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、信息图形化：第一印象1.各类展示的图例及处理数据2.类别数据和数值型数据二、使用步骤1.引入库2.读入数据总结 前言 一、信息图形化：第一印象 1.各类展示的图例及处理数据 饼图 每一块代表一个组（类），扇形块越大，代表该
2021-09-23 20:09:16
809
原创 BI项目1 酒店相关
概览： 从来源抽取数据（用kettle），（ODS）存储到数据仓库， 对数据整合（先放在DW层），整合成两类表，事实表，维度表。 然后可能再整合到 DM层（数据集市）整合成宽表。 做成报表（报表工具：帆软，tableau） 数据仓库包括好几部分 ODS（性能，数据备份）,DW 命名叫做ODS ：贴源层（最贴近来源的层），具有数据同构性（来源内什么样抽过来基本就什么样） 为了不影响来源的完整性，抽取速度要越快越好，否则可能会丢失数据。 数据放到DW层内。 到DM 可视化 前置操作 创建普通用户，用户名命名为O
2021-09-23 20:06:17
350
原创 kettle（抽数工具 ，能够跨库抽取）安装流程
BI文档内，找到kettle 右键解压–剪切整个文档到桌面-- 打开后将windows批处理文件–文件格式的spoon文件–发送快捷方式到桌面 建资源库 ： 右上角 connect --other repository–get started --FILE repository – 创建账户名和路径，选择桌面新建的kettle–然后finish-- start now kettle的使用 1.建来源库（目标库） 工具栏–第三个 资源库—连接—[+号]—起连接名（source【随意起】） 数据库选Mysql–
2021-09-23 12:04:59
1543
1
原创 SQL 练习2021.9.22
–1.使用EMP表 –(1) 查询每种职业的平均工资 SELECT DISTINCT JOB,ROUND(AVG(SAL) OVER(PARTITION BY JOB ),2) AVG_SAL FROM EMP ORDER BY AVG_SAL ; –(2) 将第一步的查询结果展示为如下所示（5 种方法） /* 办事员 销售 总裁 经理 分析员 1037.5 1400 5000 2758.33 3000 */ –1.位移分析函数 lead SELECT AVG_SAL 办
2021-09-23 09:54:53
221
原创 三类分析函数（开窗函数）
功能强大的函数 三类 聚合分析函数 排序分析函数 位移分析函数 聚合分析函数 聚合函数使用条件： 使用聚合函数后，SELECT后面只能出现聚合函数或者分组字段 （聚合分析函数接触了第一个闲置） 聚合函数不能使用在WHERE后面 聚合分析函数的使用格式 SUM(目标字段) OVER() AVG(目标字段) OVER() MAX(目标字段)OVER() MIN(目标字段) OVER() COUNT(目标字段) OVER() eg：查询每个员工的信息以及所有员工的信息总和，平均工资，最高工资，最低工资，员工个数
2021-09-22 11:09:55
897
原创 子查询练习
例：查询工资高于平均工资的员工 SELECT E.* FROM (SELECT DEPTNO,AVG(SAL) AVG_SAL FROM EMP GROUP BY DEPTNO) A JOIN EMP E ON E.DEPTNO = A.DEPTNO WHERE E.SAL > A.AVG_SAL; 先查询平均工资， 将这整个结果作为一个 表， 然后和工资表EMP进行关联，然后再进行比较。 练习： 1.查询每个部门的最高工资对应的员工信息 SELECT * FROM(SELECT DEPTNO,
2021-09-18 10:02:03
430
原创 优快云如何快速升级-博客积分规则
优快云博客是依靠积分来提升等级的，博客积分是优快云对用户努力的认可和奖励，也是衡量博客水平的重要标准。博客等级也将由博客积分唯一决定。 想要快速提升等级，就需要按照优快云的积分规则来获取积分，积分规则具体如下： 1、每发布一篇原创或者翻译文章：可获得10分； 2、每发布一篇转载文章：可获得2分； 3、博主的文章每被评论一次：可获得1分； 4、每发表一次评论：可获得1分（自己给自己评论、博主回复评论不获得积分）； 5、博文阅读次数每超过100次：可获得1分，阅读加分最高加到100分，即文章点击上万次截止
2021-09-17 09:47:21
663
10
原创 安装FineReport流程
安装流程 右键finereport解压到finereport——右键kettle。。——解压到kettle———— 打开 ETL&报表————finereport——bin——designer 进入后打开服务器——定义数据链接——将ip改为LOCALHOST——主界面左侧【+】号，写入sql代码，导出数据表格。 表格的类型 共有三种表格： 普通表格 聚合表格 决策表格 三种表格的使用方法较为类似，均以拖拽的方式进行操作 简单流程为：写好sql代码——提取数据（左侧+号）——制作表格 各类参数的设置
2021-09-16 17:41:14
798
原创 SQL基础语法主体知识
SQL代码构成 SELECT + 字段名/算术表达式/函数 FROM + 表名/结果集 WHERE +筛选条件 GROUP BY + 分组字段 HAVING + 筛选条件 ORDER BY + 排序字段 #在结尾加分号，表示代码结束。 下列为具体介绍每个代码的使用方法 #eg：查询员工信息 SELECT EMPNO , ENAME #出现多个字段名，用逗号隔开 FROM EMP #查询字段（列）EMPNO的数据 *用来表示全部字段，即整张表的查询 3.筛选调节：字段名 关系 构成关系的数据。
2021-09-15 11:34:41
1318
原创 csv模块：csv.Dictwriter()
存储数据 从之前代码的运行结果可以看到，我们是将爬取到的数据都储存到了新建的 csv 文件中。 所以我们可以使用 csv 模块的 DictWriter() 类，接下来我们简单回顾一下这个知识点。 1）调用 csv 模块中类 DictWriter 的语法为：csv.DictWriter(f, fieldnames)。语法中的参数 f 是 open() 函数打开的文件对象；参数 fieldnames 用来设置文件的表头； 2）执行csv.DictWriter(f, fieldnames)后会得到一个 DictW
2021-09-14 22:57:29
7362
原创 scrapy项目：爬取豆瓣畅销书排行榜内容（仅爬取2020年1-3页：无保存）
目标如题 先进入cmd进入想要创建项目的文件夹， 例如cd C:\Users\MI\Desktop\python学习\python爬虫学习内容\13_scrapy1 然后在cmd输入 crapy startproject dangdang 这样就创建了一个scrapy的项目框架 如下图 进入douban 再进入douban文件夹（子） spider文件夹内部： 其中的bestseller.py ， main.py文件在创建scrapy框架时时没有的，后续会提到 创建框架部分说完了。接着是代码部分
2021-09-09 15:39:09
401
原创 scrapy框架使用流程
scrapy介绍 上面的这张图是Scrapy的整个结构。你可以把整个Scrapy框架看成是一家爬虫公司。最中心位置的Scrapy Engine(引擎）就是这家爬虫公司的大boss，负责统筹公司的4大部门，每个部门都只听从它的命令，并只向它汇报工作。 我会以爬虫流程的顺序来依次跟你介绍Scrapy爬虫公司的4大部门。 Scheduler(调度器)部门主要负责处理引擎发送过来的requests对象（即网页请求的相关信息集合，包括params，data，cookies，request headers…等），会把
2021-09-08 23:18:06
3016
2
原创 annaconda3 scrapy框架创建
前提：用管理员权限运行 Anaconda如何安装Scrapy框架： 1、进入anaconda prompt 2、键入：conda install scrapy 3、Proceed ([y]/n)? y 4、等待安装成功 5、键入：scrapy
2021-09-07 14:00:54
440
原创 python:爬虫selenium入门
注意事项： 如果打开网页自动关闭的话，是运行方式不对。操作如下 在程序框内右键，选择 在终端运行python文件。 或者界面右上角的三角形选择python运行
2021-09-04 10:37:39
207
原创 bug相关：os.system(‘clear‘)
如果在win系统中直接运行这部分内容，会产生以下bug 查了非常多资料，各种方法都试了，然而，其实是本身代码出了问题。 对于linux来说，这个代码没问题，但是对于win，os.system(‘clear’)的clear应该换成cls，即os.system(‘cls’)，这样代码就没问题了 以上。 ...
2021-08-26 23:31:02
998
原创 VScode装了库但无法使用的解决方法
明明安装了库但是却说not defind。 解决方法： 在vscode界面左下角选择解析器，然后弹出窗口选择解析器，每个都尝试一下，就可以解决了
2021-08-25 10:42:27
3899
2
原创 input()函数使用方法
对于input()函数来说，不管我们输入的回答是什么，不管你输入的是整数1234，还是字符串『隐形斗篷是我最想拥有的魔法』，input()函数的输入值（搜集到的回答），永远会被【强制性】地转换为【字符串】类型。（Python3固定规则） eg age = 59 choice = input('请你猜一下斯内普教授的年龄：') if choice == age: print('猜对惹～你好厉害！ ヽ✿゜▽゜)ノ～～～') elif choice < age: print('斯内.
2021-07-26 22:05:48
1823
原创 误差分析方法
花点时间找出开发集，测试集内的错误标记的例子，假阳性和假阴性，找出不同类型错误的错误数量（统计不同错误类型数量占总数的百分比），分析出哪个部分算法优化最有效。 如果标签Y是错误的，该如何处理和是时候值得花时间去处理 深度学习算法对随机误差（random errors）是非常robust的， 但是对系统性误差（systematic errors）就没那么robust了，需要修改标签 随机误差： 如果没用严重影响到你的正确率，就没必要修改或优化。 就需要修正错误标签了 而如果需要修正开集数据，则一些方针和原则需
2021-07-25 23:36:57
2865
1
原创 python小知识总结
type()函数 例子： who = '我的' action = '是' destination = '镜像世界' number = 153 code = '通行密码' print(type(who)) print(type(action)) print(type(destination)) print(type(number)) print(type(code)) ##结果 <class 'str'> <class 'str'> <class 'str'> <
2021-07-25 22:16:11
137
原创 Call back代码注释（用于达到目标就停止训练，加快训练速度）
代码如下： import tensorflow as tf ##下列代码为回调代码 class myCallback(tf.keras.callbacks.Callback): def on_epoch_end(self, epoch, logs={}): if(logs.get('accuracy')>0.6): print("\nReached 60% accuracy so cancelling training!") self.model.stop_trai
2021-07-24 23:57:48
256
转载 Python shuffle() 函数
Python shuffle() 函数 https://www.runoob.com/python/func-number-shuffle.html
2021-07-20 09:52:25
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人