- 博客(138)
- 收藏
- 关注
RSS订阅原创 hadoop的三大核心组件：hdfs+mapreduce+yarn
Tez比mapreduce快10倍，spark比mapreduce快100倍，但数据量小的时候没有优势。sqoop是ETL工具，所谓的ETL就是对数据进行清洗，转换，抽取这些工作。mapreduce读磁盘，spark读内存，所以spark更快。Oozie,azkaban是作业流调度系统（调度工具）mapreduce：负责计算（分布式并行编程模型）（把数据从mysql——业务数据库，拿到hdfs）yarn：负责资源的调度分配。hdfs：分布式存储系统。Flume是日志采集工具。
2024-07-14 14:46:25
209
原创 牛客网SQL160
2. 注意时间相关的函数，如果想当成数字取用要注意是不是带“-”的，小细节问题，如果带“-”，你和数字直接去比较肯定不一样。1. date_format中%Y和%y好像不一样；比较的时候一般用between and比较多。结果都是2021-09-25的格式。
2023-10-13 14:46:40
444
原创 牛客网SQL159
不然分析函数内部要排序，有自己的排序标准，你外面又要排序，多个排序标准，容易乱，一排序排错，就容易导致分析函数得到的结果也是错的。既涉及到分析函数（分组partition by,排序order by）最好把分析函数用完之后，得到要的东西之后，再单独order by一下。
2023-09-28 12:42:23
321
原创 牛客网SQL158
题目表达很有歧义，近30的这个概念没有描述清楚，看了题解里才知道是max(start_time) 前的30天，而且其实按照他给出的解释，10.31的前30天是10.2-10.31，实际上并不是30天，而是29天。
2023-09-20 11:05:43
155
原创 牛客网SQL157
select a.video_id 视频id,b.tag 类别标签,select 类别标签,sum(播放进度)/count(*) 平均播放进度。select 视频id,类别标签,播放时长/视频时长 播放进度。(format(平均播放进度*100,2),'%')b.duration 视频时长。order by 平均播放进度 desc。group by 类别标签。select 类别标签,
2023-09-19 11:02:39
323
原创 牛客网SQL156
要用left join，然后最后count时选择count的对象很重要，要count(c.video_id)方法二注意不能用where ，否则2002年完播率为0会直接被过滤掉，最后的结果都没有2002。
2023-09-18 17:24:15
303
原创 oracle中dml指令
这就是因为在两个窗口同时对同一张表进行操作，且update是dml可回滚指令，不像create,alter,truncate,drop这种ddl指令。比如对一个表的数据进行更新，查一下也确实更新了，没有保存，在另一个窗口查看会显示原来的数据，也不能对这个表进行更新。否则不能在另一个窗口同步数据或者进行其他操作。只要操作不管保不保存，都会立刻生效，不能撤回。在一个窗口对A进行dml操作，必须保存。
2023-08-21 16:34:35
77
原创 Oracle用命令导入表
3.输入授权命令 GRANT DBA TO scott;1.win+R 在cmd里面输入sqlplus。2.输入用户名system 密码 123456。5.再打开一个新的cmd窗口 输入命令。Oracle用命令导入表。4.关闭sqlplus。
2023-08-10 19:41:02
237
原创 SQL UNION 操作符
请注意，UNION 内部的每个 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每个 SELECT 语句中的列的顺序必须相同。UNION ALL 命令和 UNION 命令几乎是等效的，不过 UNION ALL 命令会列出所有的值。默认地，UNION 操作符选取不同的值。如果允许重复的值，请使用 UNION ALL。UNION 结果集中的列名总是等于 UNION 中第一个 SELECT 语句中的列名。UNION 操作符用于合并两个或多个 SELECT 语句的结果集。
2023-08-01 14:50:36
462
原创 union和union all
请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。是一个计算机函数，用于合并两个或多个 SELECT 语句的结果集。
2023-08-01 14:40:36
549
转载 MySQL中NULL和空字符串的区别
有点复杂，大致浏览即可，暂时不用深究。以后涉及到这个地方的时候要具有敏感性。MySQL中NULL和空字符串的区别。
2023-07-31 21:23:32
79
原创 除......之外，不等于
SQL语句中的not in用法是一种常见的条件查询方式，它可以用于在查询结果中排除某些特定的值。not in语句通常与in语句相对应，in语句用于查询某些特定的值，而not in语句则用于查询除了这些特定值以外的所有值。=（其实是<>不等于的另外一种写法）
2023-07-31 19:37:59
286
原创 date日期相关操作汇总
insert时date字段插入形式为：to_date('2021-10-01 10:00:00','yyyy-mm-dd hh24:mi:ss')语法：where year(date)='2021' and month(date)='08';语法：where date_format(date,'%Y-%m')='2021-08';二、要求插入数据的date字段形式为：2021-10-01 10:00:00，问如何插入。语法：where date like '2021-08%';
2023-07-31 15:42:02
117
原创 统计2021年10月每个退货率不大于0.5的商品各项指标
这两个代码唯一的区别就是mysql支持ifnull，oracle不支持ifnull，oracle可以用coalesce，这个mysql也支持。
2023-07-30 14:11:29
332
原创 minus（Oracle）集合减运算符
Oracle 中没有table2.column_name，所以哪怕是用join模拟minus，在Oracle中还是要做一些改动，我是用的把table2所有字段都列出来，且均为空（不能随便选一个字段判断其为空，因为不能保证原本是否有空值，即是否有：不是因为左连接而产生的空值，而是原本在某一处就存在空值，这样数据会被误判。但是mysql可以使用join来模拟minus。minus集合减运算符，即两个集合进行相减。mysql不支持minus运算符。举例：显示表格中第3-5行的内容。
2023-07-29 17:26:06
1529
原创 order by
也可以用这种写法：order by 1（按照第1列进行排序），order by 1,2（按照第1列，第二列进行排序）order by：用于对结果集按照一个列或者多个列进行排序。升序：asc，降序：desc，默认按照升序对记录进行排序。
2023-07-28 09:00:45
193
原创 limit（mysql），rownum（Oracle）
但Oracle可以通过rownum来限制返回的结果集的行数，rownum并不是用户添加的字段，而是oracle系统自动添加的。Oracle数据库不支持mysql中limit功能。
2023-07-27 19:41:27
602
原创 substr
题：求出'SDR#SGSJ#SHGSF%##' 里面第二个# 和第三个#之间的内容。我们计算的是两个#的位置以及两个#位置的差值，但要截取的是两个#之间的字符串。1.找到第二个#和第三个#所在的位置。特别要注意加1减1的细节！不然就会多打或者少打一个字符。所以就可能会涉及到加1减1。2.然后截取这两位置之间。第2步用substr函数。第1步用instr函数。
2023-07-26 21:04:11
201
原创 length，replace
思路：首先将字符串中的1replace成null，然后将2个字符串的length相减即可。题：求出10101100里面有几个1。
2023-07-26 20:30:08
93
原创 instr字符查找函数（oracle用instr来代替like）
此参数可选，如果省略默认为1. 字符串索引从1开始。如果此参数为正，从左到右开始检索，如果此参数为负，从右到左检索，返回要查找的字符串在源字符串中的开始索引。此参数可选，如果省略，默认为 1。如果String2在String1中没有找到，instr函数返回0。如果String1或String2为Null，则返回Null。string2：要在string1中查找的字符串。string1：源字符串，要在此字符串中查找。instr函数：字符查找函数。要截取的字符串在源字符串中的。一个字符串在另一个字符串中。
2023-07-26 19:56:42
845
原创 数据结构KMP算法中课本上的next数组和nextval数组求解方法
next数组的求解方法是：第一位的next值为0，第二位的next值为1，后面求解每一位的next值时，根据前一位进行比较。首先将前一位与其next值对应的内容进行比较，如果相等，则该位的next值就是前一位的next值加上1；如果不等，向前继续寻找next值对应的内容来与前一位进行比较，直到找到（某个位上内容的）(next值对应的内容)与前一位相等为止，则(这个位对应的值)加上1即为需求的nex...
2018-10-14 20:40:34
6299
1
原创 HPU-并查集
A - The Suspects https://vjudge.net/contest/247051#problem/ASevere acute respiratory syndrome (SARS), an atypical pneumonia of unknown aetiology, was recognized as a global threat in mid-March 200...
2018-08-15 17:44:57
252
HPU-并查集
D - 还是畅通工程 https://vjudge.net/contest/247051#problem/D某省调查乡村交通状况，得到的统计表中列出了任意两村庄间的距离。省政府“畅通工程”的目标是使全省任何两个村庄间都可以实现公路交通（但不一定有直接的公路相连，只要能间接通过公路可达即可），并要求铺设的公路总长度为最小。请计算最小的公路总长度。 Input测试输入包含若干测试用例。...
2018-08-15 10:36:16
202
原创 HPU-并查集
B - 畅通工程 https://vjudge.net/contest/247051#problem/B某省调查城镇交通状况，得到现有城镇道路统计表，表中列出了每条道路直接连通的城镇。省政府“畅通工程”的目标是使全省任何两个城镇间都可以实现交通（但不一定有直接的道路相连，只要互相间接通过道路可达即可）。问最少还需要建设多少条道路？ Input测试输入包含若干测试用例。每个测试用例的...
2018-08-15 10:02:01
214
原创 计算几何-17级暑期集训(判断三个数能不能构成三角形）
G - 三角形 https://cn.vjudge.net/contest/241309#problem/G给定三条边，请你判断一下能不能组成一个三角形。Input输入数据第一行包含一个数M，接下有M行，每行一个实例，包含三个正数A,B,C。其中A,B,C <1000;Output对于每个测试实例，如果三条边长A,B,C能组成三角形的话，输出YES，否则NO。Sa...
2018-08-14 16:34:00
827
原创 最短路代码归纳
djk: djk求单源最短路,邻接矩阵存图 时间复杂度o(n^2)#include <stdio.h>#include <queue>#include <string.h>using namespace std;// <2> djk求单源最短路,邻接矩阵存图 时间复杂度o(n^2)const int N = (int) 1000 ...
2018-08-14 16:33:53
466
原创 数塔
2018HPU暑期集训——动态规划入门C - 数塔https://vjudge.net/contest/244694#problem/C在讲述DP算法的时候，一个经典的例子就是数塔问题，它是这样描述的： 有如下所示的数塔，要求从顶层走到底层，若每一步只能走到相邻的结点，则经过的结点的数字之和最大是多少？ 已经告诉你了，这是个DP的题目，你能AC吗?Input输入数据首先包...
2018-08-14 16:33:42
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人