- 博客(105)
- 问答 (13)
- 收藏
- 关注
RSS订阅原创 Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'
我在windows下面用idea运行spark-sql程序的时候，报了上面的那个错误，我尝试了很多方法，都没有啥效果，后来我往下继续阅读错误，发现了这个实质性错误Exception in thread "main"java.lang.UnsatisfiedLinkError。如果是报Error while instantiating 'org.apache.spark.sql.hive.Hiv...
2019-08-10 13:26:07
9893
3
原创 linux shell 获取当前正在执行脚本的绝对路径
basepath=$(cd `dirname $0`; pwd)在此解释下basepath:dirname $0，取得当前执行的脚本文件的父目录cd `dirname $0`，进入这个目录(切换当前工作目录)pwd，显示当前工作目录(cd执行后的)...
2019-03-07 10:14:52
3003
转载 mysql数据库名和表名大小写问题记录
MYSQL ERROR 1049 (42000): Unknown databasemysql-uroot-ppasswdshow databases; -- 显示mysql中所有数据库的名称。su报MYSQL ERROR 1049 (42000): Unknown database原因数据库库名大小写问题遇到这种情况就比较麻烦了...
2019-03-01 11:33:14
944
原创 MariaDB-10.3.13集群版（多主模式）安装全过程
1. 首先从官网上面下载我们需要的rpm包。https://downloads.mariadb.org/mariadb/10.3.13/2. 然后将下载好的安装包上传到服务器上面。3. 由于我使用的是yum，所以先将安装包放到yum源的/var/www/html/目录下面，然后进行解压（由于我当时是从镜像站逐个包下载，然后压缩的，所以名字不一样，大家按照第一步下载即可）。4. ...
2019-02-25 15:22:05
2038
原创 工作中遇到的impala的小问题
我从一个中间表vl_stat_tmp，需要将几个字段保留2位小数，数据类型是double类型的，查询的时候，结果是保留了2位小数。但是插入到最终表volte_nei190130的时候，发现有一个值变成了小数点后不止有2位小数。下面这张截图是从中间表查询:然后是插入到最终表后，查询的结果:这两个字段的数据类型都是double类型。sql语句如下:insert into ...
2019-01-31 14:12:21
1076
转载 intellij idea 找不到import进来的类
解决方法: File -> Invalidate Caches/Restart 清理缓存
2019-01-16 16:26:11
5447
8
原创 mysql常用命令总结
1.导出一个库的表结构（不导出数据）mysqldump -uroot -pxxxxx -d database > dump.sql2.导出表数据、存储过程和函数mysqldump -uroot -pxxxx -R --databases database1 database2 database3 > dump.sql3.导出单个数据表结构和数据mysqldump ...
2018-12-18 10:18:00
258
原创 spark遇到的一些坑
1.spark的cluster模式参数问题spark-submit \--master yarn \--deploy-mode cluster \--class com.zctt.bigdata.Education \--name cluster_test3 \--executor-memory 5g \--driver-memory 5g \--executor-cores 4...
2018-11-26 10:28:44
530
原创 mysql问题总结
1.ERROR 1305 (42000) at line 9468 in file: '/tmp/tables/tables.sql': FUNCTION dchstatnew.RECOVERY does not exist问题描述：这个问题是我从一个服务器将数据同步到另外一个数据库的时候遇到的。我当时使用的导出语句是：mysqldump -uroot -pxxxx --databases...
2018-11-23 16:54:09
751
转载 maven 引入外部jar包的几种方式
一.dependency 本地jar包<dependency> <groupId>com.im</groupId> <!--自定义--> <artifactId>sdk</artifactId> <!--自定义--> <version&am
2018-11-20 18:40:53
492
转载 Windows下更改MySQL数据库的存储位置
在mysql安装完成后，要修改数据库存储的位置，比如从安装目录下的C:\Program Files\MySQL\MySQL Server 5.0\Data文件夹转移到D:\mySQLData文件夹。1、在D:\下新建mySQLData文件夹2、停止MySQL服务，将C:\Program Files\MySQL\MySQL Server 5.0\Data下的文件夹和文件一起拷贝到D:\myS...
2018-11-04 17:21:14
5177
3
转载 my-small.ini、my-medium.ini、my-large.ini、my-huge.ini文件的作用
安装完mysql之后或者是下载的免安装版解压之后，默认是没有my.ini文件的.但是，有几个类似的文件，如[code]my-small.ini、my-medium.ini、my-large.ini、my-huge.ini，[/code]下面我说一下这几个文件是干嘛的。这几个文件是mysql针对不同的应用推荐的不同的配置信息；但这些配置只有放到my.ini中才会被应用。其中：1、my-sma...
2018-11-04 17:17:23
327
转载 Windows mysql默认字符集修改
一、通过MySQL命令行修改: set character_set_client=utf8; set character_set_connection=utf8; set character_set_database=utf8; set character_set_results=utf8; set character_set_server=utf8; 对于字符集的支持细化到四...
2018-11-04 17:16:37
1390
转载 MySQL——修改root密码的4种方法(以windows为例)
方法1： 用SET PASSWORD命令 首先登录MySQL。 格式：mysql> set password for 用户名@localhost = password('新密码'); 例子：mysql> set password for root@localhost = password('123'); 方法2：用mysqladmin 格式：mysqladmin -u用户名 -...
2018-11-04 17:10:18
578
转载 mysql装完计算机管理里面没mysql服务怎么解决
解决方案：1、打开cmd，切换到mysql的bin目录下 记住一定要以管理员身份运行，否则会报错：Install/Remove of the Service Denied!2、运行命令 C:\Program Files\MySQL\MySQL Server 5.5\bin>mysqld.exe -install 回车出现Service successfully inst...
2018-11-04 16:06:40
2843
转载 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)
一般这个错误是由密码错误引起，解决的办法自然就是重置密码。假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：#vim /etc/my.cnf(注：windows下修改的是my.ini)在文档内搜索mysqld定位到[mysqld]文本段：/mysqld(在vim编辑状态下直接输入该命令可搜索文本内容)在[mysqld]后面任意一行添...
2018-10-29 13:38:02
1750
原创 java爬虫程序卡死的问题
我开发了一个爬虫程序使用的是httpclient4.3.5+jsoup1.7.2，发现在爬取数据的时候有的时候会卡住，发现每次都是执行到response = httpClient.execute(httpGet);这句话的时候，我百度之后，发了一句话说的很好：我们知道Socket在读数据的时候是阻塞式的，如果没有读到数据程序会一直阻塞在那里。在同步请求的时候我们肯定是不能允许这样的情...
2018-10-19 14:40:25
1473
原创 常用的正则表达式
一、正则表达式匹配空行根据文档格式(windows, mac, linux行尾符)不同 将其中的\r\n替换成不同行尾符windows: ^(\s*)\r\nlinux: ^(\s*)\nmac: ^(\s*)\n (mac 也是一种类linux系统)方法二: 模式修饰符/.*/s 其中的 /s修改点号的匹配范围, 使之可以匹配换行符二、正则表达式匹配不包含某些字符...
2018-10-15 14:26:04
389
转载 FileOutputStream中三种写入换行符的方法
FileOutputStream中有三种方法写入一个换行符号第一种：Windows环境下使用显示换号符号“\r\n”第二种：Unix环境下使用显示换号符号“\n”第三种：使用Java自定义的换行符号，这种方法具有良好的跨平台性，推荐使用。String newLine = System.getProperty("line.separator");ou...
2018-10-05 18:07:56
13798
转载 Java通过BufferedWriter追加内容到文件末尾的几种常用方法
java代码import java.io.BufferedWriter; import java.io.FileOutputStream; import java.io.File...
2018-10-05 17:56:02
3155
转载 两分钟解决IntelliJ IDEA中文乱码问题
1.首先是编辑器的乱码，这个很好解决，file->settings->appearence里面有个Name设置成支持中文的字 体(这个很重要)同样还要再settings中的Eidtor->File Encodings里面设置字体编码格式，一般都是UTF-8，GBK什么的也行。2.找到idea安装目录bin目录下如下图所示两个文件，用编辑器打开，在文件末尾添加 -D...
2018-09-23 20:36:48
5305
1
原创 idea设置main()方法快捷键
main方法的快捷键是：psvm标准输出的快捷键是："helloworld".sout但是也可以自己进行设置，其中以设置标准错误输出为例，设置方法如下所示：1.首先在Settings配置界面找到Live Templates：2.建立Template Group模板分组：然后输入分组名称，我输入的是Java：3.设置模板Live Template进行输入，...
2018-09-22 23:35:34
20194
原创 IntelliJ IDEA-2018.2版本设置代码提示忽略大小写
idea出了新版本之后，代码提示的的设置也有所更改，旧版本的设置如下：https://blog.youkuaiyun.com/shijiebei2009/article/details/38541141https://blog.youkuaiyun.com/u012934325/article/details/70755539/以下是新版本的设置方式：...
2018-09-22 15:07:40
2102
2
转载 用echo命令修改用户密码
概述：在IT运维中，因为管理的服务器数量众多，出于安全的需要，需定期修改ROOT账号的密码。思路：大批量修改ROOT密码，手工输入密码显然不合适，必须通过一行命令直接完成。脚本：echo password | passwd --stdin root例：修改ROOT账号的密码为password[root@localhost ~]# echo password | passwd --std...
2018-09-20 11:05:39
7680
原创 Yarn application has already ended! It might have been killed or unable to launch application master
简单说明：这个错误是我搭建carbondata集群模式之后启动spark-shell的时候报的一个错误。（hdp2.6整合carbondata）我通过查看yarn的resourcemanager的日志找到了错误信息如下：后来经过我的查找我发现了一个解决办法，如下图：解决方法原地址：https://community.hortonworks.com/questions/744...
2018-09-13 14:22:54
1443
原创 Error: Could not find or load main class
简单说明：这个错误是我部署carbondata的时候报的一个错误，在启动spark-shell的时候报错。错误原因：${SPARK_HOME}/conf目录下面的spark-defaults.conf这个文件里面的格式书写错误，正确格式如下： ...
2018-09-13 14:03:50
1215
5
转载 maven多profile 打包下 -P参和-D参数
P代表（Profiles配置文件）在<profiles>指定的<id>中，可以通过-P进行传递或者赋值。假如pom.xml如下：<profiles><profile><id>prod</id>...</profile><profile><i
2018-09-11 17:44:16
3093
转载 Hive日期函数
存储，学习，共享转自大神 http://www.oratea.net/?p=944 UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数...
2018-08-29 13:48:51
261
转载 Impala数据类型
数据类型及说明 BIGINT 此数据类型存储数值，此数据类型的范围为-9223372036854775808至9223372036854775807.此数据类型在create table和alter table语句中使用。 BOOLEAN 此数据类型只存储true或false值，它用于create table语句的列定义。 CHAR 此数据类型是固定长度的存储，它用空格填充，可以存储最...
2018-08-29 13:47:35
2313
转载 nohup和&后台运行，进程查看及终止
1.nohup用途：不挂断地运行命令。语法：nohup Command [ Arg … ] [ & ] 无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。 如果没有文件能创建或打开以用于追加，那么 Comman...
2018-08-22 17:34:32
25609
转载 shell实现ftp命令示例
一、shell脚本示例： cd /PATH_YOU_WANT_TO_UPLOAD(DOWNLOAD) ftp -niv <<- EOF open IP_ADDRESS user USERNAME PASSWORD ascii(or bin) put *(or get) bye EOF ...
2018-08-21 14:55:42
6098
转载 linux下并行运行脚本与让程序可靠运行
1 使程序可靠运行linux下远程进行命令执行时 可能由于网络问题，使得终端窗口被断开，导致终端内子命令执行失败。 为什么ssh断开后你运行的进程会退出呢？因为所有进程都得有个父进程。当你ssh到一个服务器上时，打开的shell就是你所有执行命令的父进程。当你断开ssh连接时，你的命令的父进程就没了。如果处理不当，这些进程就会收到SIGTERM信号，全被干掉了。然后说解决方案：...
2018-08-14 11:06:23
970
原创 linux简单实现先并行执行命令执行执行完毕后在执行后面的命令
例如：有三个脚本:a.sh b.sh c.sh 需求：并行执行完这三个脚本之后,输出helloworld。并行执行命令,通过&后台运行来实现，之后是等待并行执行完毕，输出helloworld。sh a.sh &sh b.sh & sh c.sh &wait echo "helloworld" ...
2018-08-14 11:05:11
13513
1
转载 /usr/libexec/mysqld: Can't change dir to '/xxx' (Errcode: 13) 解决
当看到错误日志里面如下记录： mysqld started [Warning] Can't create test file xxx.lower-test[Warning] Can't create test file xxx.lower-test/usr/libexec/mysqld: Can't change dir to '/xxx' (Errcode: 13) ...
2018-08-10 16:53:21
9696
转载 mysql5.6更改datadir数据存储目录
环境需求： 有些数据存储场景可能需要将数据放到指定的挂载路径或目录，mysql默认存放数据路径在：/var/lib/mysql下。 测试环境： 操作步骤： 1. 查看当前存储目录 [root@mysql ~]# mysql -uroot -p //输入密码，登录mysql mysql> select @@datadir; ...
2018-08-10 16:45:59
2339
转载 Can’t connect to local MySQL server through socket的解决方法
mysql，mysqldump，php连接mysql服务常会提示下面错误： 1 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) 产生此问题的原因一般有两个：1、mysql服务未...
2018-08-10 16:41:57
3910
转载 亲测有效，解决Can 't connect to local MySQL server through socket '/tmp/mysql.sock '(2) ";
最近租了一个阿里云云翼服务器，趁着自己还是一个学生，享受一下优惠。我租的是阿里云Ubuntu16.04版本的服务器，在搭建mysql的时候，一开始是可以运行的，由于某次手抽，把mysql的套接字文件不小心删除了，然后无论怎么卸载重装，都出现了这个问题： root@iZufkfljcZ:~# mysql -uroot -p Enter password: ...
2018-08-10 16:41:07
796
转载 intellij idea 打可运行scala jar 包的两种方式
今天折腾了一天 研究 idea 打可运行scala 代码的 jar 包。有些心得记录下来，供大家参考，希望能帮助到一些同事。此前在网络上有一些关于打jar 包的资料，大都是一些转载，或者介绍的不是很详细。此篇是详细介绍打包过程以及思考推导方式，供大家参考。此文章分为 1 IDEA 打可执行jar 包 2 idea maven 打可执行jar 包 两个部分介绍...
2018-07-02 00:39:30
2707
转载 JAVA获取当前时间的前一天或者前几天时间
SimpleDateFormat sdf=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date date=new Date(); Calendar calendar = Calendar.getInstance(); calendar.setTime(date); ca...
2018-07-02 00:28:17
9921
空空如也
spark的一个疑问，请大神解答。
2020-04-10
oozie配置任务，任务可以执行成功，但是workflow显示的是kill
2019-08-08
oracle客户端安装的时候，到create inventory的时候卡住了。
2019-08-08
正则表达式如何匹配非法字符问题
2019-02-20
通过正则表达式替换正则表达式问题190220
2019-02-20
ERROR 1046 (3D000): No database selected
2018-12-20
hbase中的hbase:acl表丢失该如何找回?或者自动生成
2018-04-21
Server not yet listening on http port 8080
2018-01-22
impalad服务启动不了，如何解决？
2018-01-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人