西瓜太郎

转自：Hive中rlike,like,not like，regexp区别与使用详解1 like的使用详解1.1 语法规则格式是A like B,其中A是字符串，B是表达式，表示能否用B去完全匹配A的内容，换句话说能否用B这个表达式去表示A的全部内容，注意这个和rlike是有区别的。返回的结果是True/False.B只能使用简单匹配符号 _和%，”_”表示任意单个字符，字符”%”表示任意数量的字符like的匹配是按字符逐一匹配的，使用B从A的第一个字符开始匹配，所以即使有一个字符不同都不行。.

1 问题发现from pyspark.sql.types import StructField, StructType, StringType# 定义 spark df 的表结构schema = StructType( [ StructField('ip', StringType(), True), StructField('city', StringType(), True) ])ip_city_path = job+'/abcdefg'ip_

大数据基本架构了解架构能更清晰地认识每个组件，数据处理流程，用作流程设计和技术选型数据传输层Flume 专业的日志收集工具，对象一般是 文件类型；Sqoop 是专门采集结构化数据的，对象一般是 数据库；Kafka 实际上是一个 MQ，当做缓存，常用于高并发；它既能传输，也能存储，只是存储空间有限，默认 1 G（可配置），且有存储期限，默认 7 天（可配置）；其实还有一些不太常用的工具，如 Logstash、DataX数据存储层MySQL 关系型数据库，存储结构化数据，还有很多其他关系型数

sql round(x,-3)[TEST@ORA1] SQL>select round(4321,-3) from dual;ROUND(4321,-3)--------------4000[TEST@ORA1] SQL>select round(20,-3) from dual;ROUND(20,-3)------------0[TEST@ORA1] SQL>select round(4500,-3) from dual;ROUND(4500,-3)--------

日期处理碰到了烦人日期需求，有：分区字段dt(str)时间戳ts(double) 形如 XXXXXXXXXX.XXXXX需要将时间戳转换成local_dt 进行计算，解决方式：因为只要日期（date），所以可以先把double的小数点后面砍掉，cast转成int；然后将数字int转成时间格式。from_unixtime(cast(ts as int),'yyyyMMdd') as log_date其他的常用函数获取当前日期now()select now()rst:2019-10-2

文章目录目录定位完整代码目录定位在hadoop的家目录下新建一个目录datas：su - hadoopmkdir datas通过xftp将数据源文件传到datas中“hadoop fs -mkdir /datas1”“hadoop fs -chmod g+w /datas1”“hadoop fs -put /home/hadoop/datas1/* /datas”启动hivestart-all.shcd /opt/module/apache.

打开虚拟机出现以下界面说明虚拟机正常启动：打开Xshell，如果出现问题，参考：Xshell 6 提示 “要继续使用此程序,您必须应用最新的更新或使用新版本”使用Xshell连接操作虚拟机出现以下界面，说明已经成功连接至虚拟机输出命令清空界面clear启动hadoop和hive，必须先正确切换用户，不是root来做的su - hadoop启动hadoopstart-all.sh等待程序运行完后，检查hadoop是否正常启..

主键是一个关系的唯一标识，比如学生关系表（学号，姓名，系别），将‘学号’定义为主键，因为一个学号只能对应一个学生，‘学号’就可以唯一标识这个关系表。外键是指一个属性在当前的关系表里不是主键，而这个属性却是另一个表的主键。而且通过外键可以将两个表联系起来。比如上面的学生关系表，‘系别’不是主键，而如果存在这样一个系关系表（系别，系主任），在这里‘系别’是主键，它能够唯一标识这个表，我们就可以称‘系别’是学生关系表的外键。而在数据库中如果要查询一个学生所在系的系主任的名字，就通过外键‘系别’将两个表之间建立关

文章目录源自：MySQL操作实战（二）：窗口函数

文章目录0 基础数据1 关键字：EXISTS & NOT EXISTS2 函数2.1 count()：计数2.2 group_concat()：分组聚合2.3 substring_index()：切分0 基础数据以下为本次应用的三张表，其结构和内容如下：-- 表1 : T_Score 分数表create table T_Score(stu_id int,lesson_id varchar(255),score int);-- 表2 : T_Stu_Profile 学生表c.

文章目录0 数据基础1 id2 select_type3 table4 type5 possible_keys6 Key7 key_len8 ref9 rows10 Extra11 总结在日常工作中，我们会有时会开慢查询去记录一些执行时间比较久的SQL语句。接着，我们常常用到explain这个命令来查看一个这些SQL语句的执行计划，查看该SQL语句有没有使用上了索引，有没有做全表扫描，这都可以通过explain命令来查看。所以我们深入了解MySQL的基于开销的优化器，还可以获得很多可能被优化器考虑到的.

MySQL 文档中对于dual表的解释：You are allowed to specify DUAL as a dummy table name in situationswhere no tables are referenced:你可以在没有表的情况下指定一个虚拟的表名mysql> SELECT 1 + 1 FROM DUAL;DUAL is purely for the convenience of people who require that all SELECT statem

文章目录0 数据基础1 堆表的情况2 有索引的情况2.1 force index()4 ignore index()5 总结6 附相关index命令0 数据基础数据大概200多w，用测试服务器进行测试。导出来的数据是一个堆表，没有主键，没有索引。有聚集索引的表叫聚集表。没有聚集索引的表叫堆表（heap table）。select CustName,count(1) c from WorkOrder where CreateDate>'2016-5-1' and CreateDate&.

文章目录1 SQL JOINS2 实例应用2.1.自建数据集2.2 left join2.3 right join2.4 inner join2.5 full join总结1 SQL JOINS2 实例应用2.1.自建数据集简化场景：假设武学道场中有一个天才班级，学生表（stu）有4名同学丁鹏，谢晓峰，姬无命和博主本人，还有1名新来的神秘绝世高手XX暂未登记进学生表，但这个高手也参加了本次考试，他们对应唯一学号（id）分别为1，2，3，4，5（神秘人）。成绩表（grade）记录了他们一次考试的.

文章目录0 前置知识二叉查找树平衡二叉树（AVL Tree）1 B树（二叉搜索树）特点搜索过程2 B-树特点搜索过程3 B+树特点搜索过程4 B*树特点搜索过程5 B树们の小结6 MyISAM和InnoDB索引的实现MyISAMInnoDB0 前置知识B+树索引是B+树在数据库中的一种实现，是最常见也是数据库中使用最为频繁的一种索引。B+树中的B代表平衡（balance），而不是二叉（binary），因为B+树是从最早的平衡二叉树演化而来的。在讲B+树之前必须先了解二叉查找树、平衡二叉树（AVLTr.

MySQL8with recursive t(n) as (select 1union allselect n+1 from t where n<5)select * from t;Oracleselect level nfrom dual connect by level<=5;n12345

文章目录1 Oracle & MySQL 日期时间数据类型1.1 Oracle 日期时间数据类型1.2 MySQL 日期时间数据类型2 Oracle 日期函数和转换函数3 MySQL 日期函数和转换函数1.引入库2.读入数据4 总结1 Oracle & MySQL 日期时间数据类型1.1 Oracle 日期时间数据类型数据类型字节数取值范围日期格式零值DATE7-4712-01-01~9999-12-31yyyyMMdd hh24:mi:ss000.

文章目录1 Oracle 连接2 Oracle（+）号用法2.1 使用（+）注意事项2.2 实例操作2.3 自建实例3 总结1 Oracle 连接Oracle中的连接分为内连接、外连接和笛卡尔连接。内连接又称为自然连接，外连接又分为左外连接（左连接）、右外连接（右连接）和全外连接（全连接）。对应SQL：LEFT/RIGHT/FULL OUTER JOIN。 通常省略OUTER关键字， 写成：LEFT/RIGHT/FULL JOIN。Oracle 内连接(INNER JOIN) --等同于.

文章目录一、pandas是什么？二、使用步骤1.引入库2.读入数据总结一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport warningswarnings.filterwarnings('ign.