寒夜二十五

原创 hive sql 的一些优化点

转载一位博主的文章，内容很详细也很全面，学到了之前没有注意到的细节问题。

原创 hivesql怎么排查是哪里出现了数据倾斜

转载下这位博主的文章，写的非常好，步骤非常清晰，学习一下。

原创 [Fatal Error] total number of created files now is 100576, which exceeds 100000. Killing the job.

hive在把一张表的数据插入到另一张分区表时，经常会报这个创建文件数超出限制的错误。

原创 org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811

hive sql在跑的时候可能会出现下面的问题：return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1649726530586_123811 (state=08S01,code=1)会报一个job名字长度超出限制的问题：解决方法： set hive.jobname.length=10;这里引用以为博主的例子，原文可以去这里查看hiv..

原创 hivesql的几种优化的方法

目前项目中由于数据量巨大，导致一个sql要跑一个多小时，所以找了些可以优化的点，记录下来，以后方便使用。1.map的优化，job在map task的过程时间较长set mapreduce.map.memory.mb=8240;set mapreduce.reduce.memory.mb=8240;set hive.merge.mapfiles=false;set mapreduce.input.fileinputformat.split.maxsize=50000000;set hive.e

原创 kylin使用过程中遇到的问题

一个小细节，需要注意下

原创 git配置

git config --global user.name "ll"git config --global user.email "ll@qq.com"ssh-keygen -t rsa -C "ll@qq.com"

原创 hive的sql优化方法[持续更新]

①列的裁剪，查询时只写我们需要的字段，提高效率②两张表关联时，可以把数据量小的表写在前面，大表写在后面，这样在加载时会把小表加载到内存中，减少资源占用。③

原创 Linux查找常用命令

cat -n app.log | grep "error" --color：查询日志中含有某个关键字error的信息，显示行号，带颜色的

原创 unix_timestamp（）和 from_unixtime（）的用法

hive中的unix_timestamp（）和 from_unixtime（）用法：unix_timestamp() 得到当前时间戳

原创 oracle A用户给B用户赋权限

当oracle用户A创建一张表,想给用户B赋权的命令：grant select,insert,update,delete on ownerA.tableA to owner

原创 查看oracle的表的字段类型

查看oracle中的表的字段类型的sql:select COLUMN_NAME,DATE_TYPE,DATA_LENGTH,DATA_PRECISION from all_tab_columns

原创 sqoop抽取或者推送数据常见问题 [持续更新]

当报表找不到的错误时（table is not exist...）解决方法：

原创 guass白名单的配置命令

source /opt/huawei/Bigdate/mppdb/.mppdbgs_profile;gs_guc set -Z coordinator -N all -h "host a"

原创 sqoop数据迁移脚本（导入，导出 mysql,oracle等）

1.oracle导入到hive脚本/home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop import--username admin--password '123456'--connect jdbc:oracle:thin:@192.168.127.1:1521/数据库名--fields-terminated-by '\001'--null-non-string '\\N'--null-string '\\N'--dele.

原创 hive建表语句

hive建表：内部表：#创建内部表create table LL_test (id int,name string,age int)row format delimited fields terminated by '\001'stored as textfile;外部表：#创建外部表create external table LL_test (id int,name string,age int)row format delimite

转载 hive清空外部表的三种方式

本文为转载，原文链接：https://blog.youkuaiyun.com/lixiaoksi/article/details/106919895https://blog.youkuaiyun.com/elizabethxxy/article/details/108912884本文总结hive中清空外部表的三种方式hive版本：2.1.1环境准备新建一张外部表：create external table test_external(name String,age int,sex String) s..

原创 Cisco Vpn的安装过程

1.自定义文件夹 2.解压出现这个错误时，需要修改为开发者模式点击后如出现28000错误，再点击安装完成后，启动客户端

转载 Java反射机制的使用

参考博客:https://www.cnblogs.com/lzfsuifeng/p/9590705.html博主写的很详细,这里截取部分经常用到的记录下:什么是Java反射机制？ JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法；这种动态获取的以及动态调用对象的方法的功能称为Java的反射机制。反射机制提供了哪些功能？在运行时判定任意一个对象所属的类在运行时构造任意一个类的对象；在运行时判定.

原创 Java压缩一个文件夹或者文件的方法

之前看过一位博主的文章,下面是主要的内容,不过原文地址不记得是什么了,侵删import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.util.zip.ZipEntry;import java.util.zip.ZipO.

转载 Java压缩一个文件夹的方法

import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.util.zip.ZipEntry;import java.util.zip.ZipOutputStream;/*** @ClassName: Compress.

转载 Springboot发送邮件

可以查看该博主的文章介绍的很详细,包含了发邮件的多种情况:https://www.iteye.com/blog/412887952-qq-com-2305992

原创 mysql读取数据库的结果ResultSet反射生成对象的方法

1.读取数据库 public List<T_Einteractive_Question> getEinteractiveQuestions(Connection conn){ ResultSet rs = null; List<T_Einteractive> result = new ArrayList<T_Einteractive>(); try { String sql = "select * from T_Einteractive";

转载 关于group by的用法 原理

查看详情:https://blog.youkuaiyun.com/u014717572/article/details/80687042

原创 hive的UDF函数实现

hive的UDF函数的实现步骤:1.自定义一个实现类继承UDF,重写evaluate方法(自己想要实现的功能)2.把上面的类打成jar包上传到服务器以及hdfs中3.在使用hive语句时可以直接调用我们的方法即可参考博客:https://blog.youkuaiyun.com/zmywei_20160707/article/details/81698542...

原创 Enum 枚举类的写法

先定义一个枚举类(EnumDemo)public enum EnumDemo { /** * @Description 枚举状态码 * @Date 15:16 2020/7/16 **/ firstError("200","状态正常"), secondError("404","访问路径不正确"), thirdError("500","资源不存在"); private String key; private String value; EnumDemo(String k.

原创 vue elementUI 覆盖el-tree的样式,修改鼠标点击时的颜色以及节点失去焦点时的背景色(亲测有效)

首先来看下效果图:当然颜色可以自定义,下面放下代码:<style> .el-tree-node:focus > .el-tree-node__content { background-color: #66b1ff87 !important; } .el-tree-node__content:hover { background-color: #66b1ff87; } .el-tree--highlight-current .el-tree-.

原创 [ES7版本系列(四)] Java连接ElasticSearch向索引中(bulk)批量更新数据

1.引入依赖,这里使用的是es的7以上的版本,使用elasticsearch-rest-high-level-client 来创建高级别的客户端 <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --> <dependency> <groupId>org.elasticsearch</groupId> <artifact.

原创 [ES7版本系列(三)] Java连接ElasticSearch向索引中更新数据

1.引入依赖,这里使用的是es的7以上的版本,使用elasticsearch-rest-high-level-client 来创建高级别的客户端 <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --> <dependency> <groupId>org.elasticsearch</groupId> <artifac..

原创 [ES7版本系列(二)] Java连接ElasticSearch向索引中插入新的数据

1.引入依赖,这里使用的是es的7以上的版本,使用elasticsearch-rest-high-level-client 来创建高级别的客户端 <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --> <dependency> <groupId>org.elasticsearch</groupId> <artifac..

原创 [ES7版本系列(一)] Java连接ElasticSearch创建新的索引

1.引入依赖,这里使用的是es的7以上的版本,使用elasticsearch-rest-high-level-client 来创建高级别的客户端 <!-- https://mvnrepository.com/artifact/org.elasticsearch/elasticsearch --> <dependency> <groupId>org.elasticsearch</groupId> <artifa.

原创 Vue打包后放到Springboot的静态资源下打War包的流程

1.我们先把Vue通过运行 npm run build 进行打包,之后会出现dist的文件夹(包含了static文件夹和index.html),复制这两个内容2.在springboot的respurces下面的static文件夹下面,粘贴进来3.打war包4.上面点击确定后,继续然后在工程的out文件夹里面找到我们打的war包就行了如果是想要打包时去除tomcat的依赖的打包需要注意的地方可以百度下...

原创 Springboot的war包部署到tomcat出现的问题汇总

1.出现这个问题是因为我在引入依赖时导致了冲突,解决方法如下2020-06-17 13:32:59.332 [localhost-startStop-3] ERROR org.springframework.boot.SpringApplication - Application run failedorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'JettyServlet.

原创 Maven根据不同环境打测试和生产的包

先看配置和结构的截图,创建filter的不同的环境配置文件,这里有测试和生产的两种环境pom文件中添加的配置信息 <build> ...(这里是build中其他的信息,添加下面的resources的配置) <resources> <resource> <directory>src/main/filter/${env}</directory> .

原创 Sql语句查询的Resultset的结果集,遍历后赋值给对象的超简单的方法

先来介绍下commons-dbutils依赖中的工具类,DBUtils是Apache组织提供的一个开源JDBC工具类库，它是对JDBC的简单封装，学习成本极低，并且使用dbutils能极大简化JDBC编码的工作量，同时也不会影响程序的性能。一.引入依赖:<dependency> <groupId>commons-dbutils</groupId> <artifactId>commons-dbutils</artifactId> &

原创 Springboot的logback.xml的配置文件

<?xml version="1.0" encoding="UTF-8"?><configuration> <!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径 --> <property name="LOG_HOME" value="/log/BigScreenData"/> <!-- 控制台输出 --> <appender name="STDOUT" class="ch.qos..

原创 Map和JSONObject对象相互转化的实现方法[fastjson]

引入fastJson的依赖 <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson --> <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>.

原创 Vue的el-pagination组件，current-page 绑定的数据变了，但是页面当前页码并没有变的问题[已解决]

今天用Vue写页面的分页时发现了一个问题,在这里记录下,也希望可以帮助其他人.问题如下,我在一个页面比如点击第三页(数字3)时,显示第三页绑定的数据正常,但是当我点击一个其他的页面,这个新的页面绑定的数据在分页后也会直接显示第三页的数据,不是从第一页开始的.解决方法:1.使用:current-page.sync<el-pagination class="tc m...

原创 Vue 并排放置两个div的写法

<div> <el-form :model="formItem" ref="formItem"> <el-row> <el-col :span="6"> <el-form-item label="请选择数据源 : "> ...

原创 Solr的UI界面直接删除全部索引的操作