- 博客(83)
- 资源 (3)
- 收藏
- 关注

原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
标题Spark Mavem项目在本地测试报错 : Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConfException in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf at...
2019-08-04 10:33:01
13258
6
原创 Hive常用函数
Hive常用函数开窗函数over()ran()日期函数1. date_add()加减day2. UNIX_TIMESTAMP()加减秒3. add_months()加减月4. current_date()当前时间5.获取年月日时分秒开窗函数over()ran()日期函数1. date_add()加减daydate_format(date_add(current_date,-10),‘yyyy-MM-dd HH:mm:ss’)2. UNIX_TIMESTAMP()加减秒from_unixtime
2020-12-24 22:32:05
923
原创 Idea配置类模板
Idea配置类模板...一、定义头部类注释模板二、定义方法注释模板三、效果图一、定义头部类注释模板/** * @ClassName ${NAME}.java/scala * @author ${user} * @Description TODO * @createTime ${YEAR}年${MONTH}月${DAY}日 ${HOUR}:${MINUTE}:00 */二、定义方法注释模板/** * @Desc * @Params $params$ * @Return $
2020-12-09 23:18:48
420
原创 Idea常用插件及配置等操作
Idea常用插件及配置等操作前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言欲善其功,必先利其器,不仅要知其然,更要知其所以然。一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsi
2020-12-09 22:29:27
340
原创 Idea配置JDK
Idea配置JDK一、下载JDK二、IDEA配置JDK一、下载JDK点击下载JDK…下载完后安装,配置环境变量,再javac 或者java -version测试是否安装完成…二、IDEA配置JDK
2020-12-09 22:28:23
358
原创 linux同步多个节点时间
linux同步多个节点时间yum install ntp -y 安装ntpntpdate ntp1.aliyun.com 同步时间chkconfig --level 12345 ntpdate on 配置开机自启测试 : date查看时间
2020-05-30 13:00:02
458
原创 基于CentOS安装linux JDK
基于CentOS安装linux JDK安装方式 : 1.yum自动安装 2.手动rpm安装 3. 手动解压安装yum自动安装查询要安装jdk的版本 命令 : yum -y list java*安装 yum install -y java-1.8.0-openjdk.x86_64配置环境变量 (默认安装路径在 :/usr/lib/jvm/) 如何配置参考"手动rpm安装"内容手动rpm安装去Oracle下载对应版本的rpm包 链接: 点我快速进入官网.上传至l
2020-05-30 12:48:16
169
原创 maven打包_依赖包一起打包
maven打包_依赖包一起打包 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</ar...
2020-03-13 14:46:20
384
原创 SQL -ORACLE分组后连接字符串
SQL -ORACLE分组后连接字符串方法一:wmsys.wm_concat(column)介绍:其函数在Oracle 10g推出,在10g版本中,返回字符串类型,在11g版本中返回clob类型。括号里面的参数是列,而且可以是多个列的集合,也就是说在括号里面可以自由地用‘||’合并字符串。如下面的例子:Select u_id, wmsys.wm_concat(goods || ‘(’ || ...
2020-01-17 18:09:22
2277
原创 SQL - ORACLE的正则匹配regexp_like
SQL - ORACLE的正则匹配select * from 表名 where regexp_like(匹配字段,'^+?[1-9][0-9]*$'); --匹配全为数字的数据select * from 表名 where not regexp_like(匹配字段,'^+?[1-9][0-9]*$'); --匹配非全为数字的数据参考 :...
2020-01-15 10:41:10
833
原创 kettle -循环 , 实现多个转换之间依赖的控制及失败重试
kettle -循环 , 实现多个转换之间依赖的控制及失败重试业务场景 : 转换之间相互依赖 ,不能放到一个job中 ,要实现共用 , 减少资源的消耗 , 但是转换之间有依赖关系 , 及 : 父转换没完成 , 子转换不能启动循环实现 :
@[TOC] 索引操作ORACLE创建索引create index 索引名称 on 表名(列名); --单一索引create index 索引名称 on 表名(列名1,列名2); --复合索引ORACLE查看索引select * from all_indexes where table_name = '表名称'; --查看表的索引select* from all_ind_col...
2020-01-01 18:09:52
324
原创 SQL - ORACLE创建临时表
SQL - ORACLE创建临时表GLOBAL TEMPORARY 临时表ON COMMIT DELETE ROWS ; – 默认选项,在commit的时候将数据删除ON COMMIT PRESERVE ROWS ; – 在commit的时候将数据保留,会话结束后自动删除。创建临时表两种方式 :直接创建,手动指定表名列名Create Global Temporary Table...
2019-12-27 15:42:36
2444
1
原创 SQL -查看一个表占用的空间大小
SQL -查看一个表占用的空间大小select sum(bytes)/(1024*1024) as "size(M)" from user_segments where segment_name=upper('表名');
2019-12-09 15:32:24
2619
原创 KETTLE - couldn't get row from result set unable to get timestamp from resultset at index 9
KETTLE - couldn’t get row from result set unable to get DATE from resultset at index 4KETTLE输入MYSQL数据时 , 出现以下错误MYSQL自身原因,解决如下 :zeroDateTimeBehavior=convertToNull...
2019-12-06 15:26:09
7589
原创 SQL - 生成日期维度表,生成日期配置表
SQL - 生成日期维度表,生成日期配置表建表CREATE TABLE DIM_DATETIME( calendar_id number NOT NULL, date_name varchar2(200), date_name_cn varchar2(200), calendar_date date, current_day number(10,0), mo...
2019-12-05 15:57:05
1954
原创 SQL -日期操作
SQL -日期操作注:建议使用时间维度表实现对日期的操作本季度所有月份上季度所有月份未完待补充注:建议使用时间维度表实现对日期的操作本季度所有月份 SELECT TO_CHAR(ADD_MONTHS(ADD_MONTHS(TRUNC(SYSDATE, 'YYYY'),A * 3),-ROWNUM),'YYYYMM') LAST_Q FROM (SELECT TO_CHAR(SYSD...
2019-12-05 15:19:58
210
原创 SQL-查看执行计划(PL/SQL)
SQL-查看执行计划(PL/SQL)https://jingyan.baidu.com/article/ed2a5d1f77138b09f7be1766.htmlSQL-查看执行计划(expain命令 )https://blog.youkuaiyun.com/weixin_43125677/article/details/103355341
2019-12-04 11:24:47
197
原创 SQL -行转列( PIVOT )
select cno, [09] AS 计划投料时间, [02] AS 开料时间, [81] AS 终检过数时间, [23] AS 包装过数时间, [24] AS 成品仓接数时间 from ( 需要操作的表, 查询写里面,写外面可能会报错 ) AS A PIVOT( MIN(时间) FOR [行转列字段] IN([对应的值,不用加''],[02],[81],...
2019-12-03 17:25:34
171
原创 SQL - REGEXP_SUBSTR函数(一行分多行)
SQL - REGEXP_SUBSTR函数(一行分多行)SELECT REGEXP_SUBSTR (表名.字段, '[^,]+', 1,rownum), A.*from 表名 connect by rownum<=LENGTH (表名.字段) - LENGTH (regexp_replace(表名.字段, ',', ''))+1按照正则匹配参照博客 : ...
2019-12-03 10:13:00
2150
原创 SQL -优化
SQL -优化1.尽量避免在where 子句使用 or 连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:2.in 和 not in 也要慎用,否则会导致全表扫描,如:3.应尽量避免在 where 子句中对字段进行表达式操作,这将导致全表扫描,如:4.很多时候用 exists 代替 in 是一个好的选择,如:5.模糊查询like6.能使用where就不要用having7.尽量用union a...
2019-12-02 19:28:04
173
转载 expain 查看SQL的执行计划
在日常工作中,我们会有时会开慢查询去记录一些执行时间比较久的SQL语句,找出这些SQL语句并不意味着完事了,些时我们常常用到explain这个命令来查看一个这些SQL语句的执行计划,查看该SQL语句有没有使用上了索引,有没有做全表扫描,这都可以通过explain命令来查看。所以我们深入了解MySQL的基于开销的优化器,还可以获得很多可能被优化器考虑到的访问策略的细节,以及当运行SQL语句...
2019-12-02 19:26:35
234
转载 图表系列的一些操作,闪烁动画等
原文链接:https://help.finereport.com/doc-view-1678.html 像柱形图中的每一个柱子、折线图中的每条折线等都表示一个系列,我们可以点击样式>系列来设置系列样式,如下图: 不同类型的...
2019-11-27 18:56:10
448
原创 KETTLE -优化
KETTLE -优化1. 最直接的办法: 加内存 spoon.bat2. 通过改变开始复制的数量3. 查询控件使用缓存,内存够大还可以直接加载全表数据4. 设置合理的流程方案(避免查询组件)5. 设置表输出时批量提交的条数6.1. 最直接的办法: 加内存 spoon.bat2. 通过改变开始复制的数量(针对查询控件或者耗时的控件,这种方式比较简单,需要多长尝试合理的复制数量)3. ...
2019-11-20 20:04:22
2328
原创 SQL - ORACLE MERGE INTO 对比两张表,A,B 表B数据表A有则更新表A 无则插入
SQL - ORACLE MERGE INTO 对比两张表,A,B 表B数据表A有则更新表A 无则插入表B数据 , 通过对比字段关联 , A表有就更新A表数据 , 没有就插入到A表–注 : ID在ORACLE是通过序列生成的MERGE INTO 要更新或者插入数据的表 A USING (SELECT * FROM 对比的表) B ON(B.对比字段 = A.对比字段)WH...
2019-11-19 09:46:39
737
原创 ORACLE - SQL 分组后取最新的数据
ORACLE - SQL 分组后取最新的数据select * from ( select tmp.*, row_number() over(PARTITION BY 分组字段 order by 排序字段 desc) as rn from 表名 tmp ) where rn = 1
2019-11-18 20:07:46
1722
原创 PDM -将comment值显示在name值上
PDM -将comment值显示在name值上https://www.cnblogs.com/fengyun1853/p/9298370.html
2019-11-14 09:35:33
525
原创 PLSQL从ORACLE中逆向将表转为PDM文件
PLSQL从ORACLE中逆向将表转为PDM文件https://blog.youkuaiyun.com/shehun11/article/details/45038501
2019-11-12 18:49:54
2865
原创 帆软 -sql参数动态拼接 - 例子: 动态表,动态条件
帆软 -sql参数动态拼接 - 例子: 动态表,动态条件帆软文档链接 : https://help.finereport.com/doc-view-165.htmSELECT * FROM ${if(table=‘订单’,‘订单’,‘销量’)}SELECT * FROM 销量 where 1=1 ${if(len(name)==0||len(value)==0,"",“and “+n...
2019-10-31 16:54:45
9795
原创 帆软 - 首单元格设置列表展示
首单元格设置列表展示需求 : 如图 , 16所在单元格合并了 , 希望按行展示解决 : 父单元格的问题 , 自定义父单元格即可
2019-10-31 10:11:33
1126
原创 帆软 - 小实现
文章目录单元格为空 显示新值 (0或则其他)根据其他单元格的值 , 控制时候显示某些行 (行高设置为0)单元格为空 显示新值 (0或则其他)选择对应单元格 , 添加条件属性 len($$$) 表示当前单元格内容长度根据其他单元格的值 , 控制时候显示某些行 (行高设置为0)...
2019-10-30 18:54:15
1060
T_REAL_PRODUCTION_CHECKDETAIL.kjb
2020-01-15
kettle - JOB循环 , 用于kettle失败后重试 !
2020-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人