- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqoop导入报错 Error: java.io.IOException: SQLException in nextKeyValue
原因：导入日期数据为0000-00-00 00:00:00时造成的Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapT
2021-08-05 16:36:12
1485
原创 Ubuntu18 主分区扩容
查看当前磁盘情况可以看到只有一个500g的磁盘，但是实际分配了2T的硬盘root@cdh4:/etc/apt# df -hFilesystem Size Used Avail Use% Mounted on.../dev/sda1 477G 7.3G 445G 2% /...查看物理磁盘情况可以看到实际磁盘有2T，主分区只用了500Groot@cdh4:~# fdisk -l...Disk /dev/sda: 2 TiB, 2199023255552
2021-08-05 13:29:53
914
原创 rsync同步脚本示例，带有exclude参数说明
同步数据脚本#!/bin/bashrsync -vae "ssh -o StrictHostKeyChecking=no" --exclude "*.gz" root@xxx.xxx.xx.xx:/root/log/access.log-* /root/cmooc_log/说明将IP=xxx.xxx.xx.xx的主机上的/root/log/access.log-*文件同步到本机的/root/cmooc_log/路径下但是去除.gz后缀的文件，代码如下：--exclude "*.gz"
2021-07-30 10:45:43
317
原创 使用shell脚本重启java服务
1 脚本内容#!/bin/bash ids=`ps -ef | grep "xxx-1.0-SNAPSHOT.jar" | grep -v "grep" | awk '{print $2}'`echo "当前服务id:" $idsfor id in $idsdo kill -9 $id echo "killed $id" donesleep 5scd /xxx/xxxecho "开始启动新进程..."nohup java -jar -Xms8192m -X
2021-03-25 16:02:14
1141
原创 centos7，sftp创建账号，配置权限和目录
目录1 创建用户组sftp2 创建用户3 设置密码4 创建并修改sftp根目录owner为root5 设置sshd_config6 在ChrootDirectory 下创建owner为sftpuser的子目录（重点！！！）7 重启sshd服务8 测试sftp服务9 搞定！有问题请留言！1 创建用户组sftp(base) [root@localhost ~]# groupadd sftp2 创建用户useradd参数说明-g 加入到sftp组-s 禁止登录-d 指定sftp用户的登入目录(b
2021-02-23 13:58:08
2275
5
原创 CDH配置sqoop
添加sqoop服务打开cluster添加服务选择sqoop2，然后一路继续即可4. 安装完成后查看服务配置mysql驱动下载mysql驱动到cdh的jars路径下mysql驱动下载地址root@cdh1:/opt/cloudera/parcels/CDH/jars# ll mysql-connector-java-5.1.49-bin.jar -rw-r--r-- 1 root root 1006906 1月 21 09:17 mysql-connector-java-
2021-01-21 13:38:48
1129
原创 CDH配置hive.exec.dynamic.partition.mode
cdh配置hive.exec.dynamic.partition.mode看图说话，我是用的server2，所以根据自己情况配置
2021-01-04 11:24:46
985
原创 CDH配置lzo压缩实践
下载安装文件1 下载文件点击 cdh安装包地址下载与你的系统以及cdh版本相匹配的包，例如我的cdh版本是5.14.2，系统是ubuntu，我下载三个文件如图所示：2 上传文件将文件上传到parcel-repo路径下，如图3 配置cloudera manager检查新Parcel->分配->激活查看lzo的jar包位置/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/修改yarn的mapreduce.application
2020-12-17 10:52:13
511
原创 centos环境下nginx配置https
原因网站被攻击灌入广告1 nginx配置https先从/etc/nginx/nginx.conf文件中查找.conf的存放路径。然后查看server的具体配置文件/etc/nginx/conf.d/xxx.conf提前准备好证书文件.crt和.key，然后在xxx.conf中添加443端口的相关配置server{ listen 80; server_name xxx.xxx.xxx.cn; return 301 https://$host$request_uri
2020-12-11 13:54:57
551
原创 CDH-5.14.2 flume采用TAILDIR SOURCE实践
报错java.io.FileNotFoundException: /opt/flume-position/log_position.json (Permission denied)解决提前创建目录root@cdh7:/opt# mkdir flume-posoiton创建json文件root@cdh7:/opt/flume-position# touch log_position.json赋权限root@cdh7:/opt/flume-position# chmod 777 log
2020-12-09 15:10:36
106
原创 备份mysql数据库shell脚本
目录导出数据库设置定时导出同步数据文件导出数据库创建shell脚本root@cdh4:~/dataBak# vi backupdata.sh脚本内容如下backupdir=/root/dataBak/mydb# 时间time=_` date +%Y_%m_%d_%H_%M_%S `# 需要备份的数据库名称db_name=mydb# 导出数据库，数据文件后缀为当前日期/usr/bin/mysqldump $db_name | gzip > $backupdir/$db_nam
2020-12-04 10:52:21
187
原创 使用PhpSpreadsheet生成excel
目录phpspreadsheet资料安装phpspreadsheet导出excel工程结构数据格式表头变量调用方法phpspreadsheet资料PhpSpreadsheet’s documentation: link.安装phpspreadsheet在项目根目录下安装运行// An highlighted blockcomposer require phpoffice/phpspreadsheet安装完成后生成vendor目录，如下图所示：导出excel工程结构数据格式$lis
2020-12-02 11:27:37
405
原创 kafka manager监测不到consumer
第一步，首先勾选poll第二步，在创建consumer时必须设置group_id，否则manager监测不到def consume(topic): # 必须设置group_id，否则kafka manager监测不到 consumer = KafkaConsumer(topic, bootstrap_servers=s...
2019-09-11 15:03:48
7725
8
hadoop-lzo-0.4.21-SNAPSHOT.jar
2020-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人