- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMet
在hive服务器运行以下命令。
2024-03-14 14:19:57
448
原创 kingbase 创建用户报错
1）CREATE ROLE/USER: 系统管理员用户在创建普通用户时不可指定密码等选项。最近一直在根据等保要求对kingbase做安全配置，刚接触kingbase，搞得头大。2）ALTER ROLE/USER: 只有sso和普通用户本身可以更改普通用户的密码。3）ALTER ROLE/USER: 系统管理员只能修改超级用户，或超级用户权限选项。百度无解，后发现测试服务器的可以正常加，然后就对比一下两台服务器的配置。发现sso_update_user这个插件比较可疑，去除配置就正常。
2022-12-01 11:53:34
682
转载 银河麒麟V10——安装VNC实现远程桌面
安装图像界面yum grouplistyum groupintall -y "Server wiht UKUI GUI"systemctl get-defaultsystemctl set-default graphical.targetreboot卸载yum groupremove "Server with UKUI GUI"安装vncyum install tigervnc-server -yrpm -qa|grep tigervnc-ser..
2022-04-19 15:11:27
6346
原创 centos7 lvm 重新调整根分区大小
通过lvm的方式调整磁盘大小2.查看分区情况3.卸载删除/home4.对根目录扩容lvextend -L +800G /dev/mapper/centos-root，然后扩展/root文件系统 ：xfs_growfs /dev/mapper/centos-root5.重新创建数据目录lvcreate -L 1000G -n data centos,mkfs.xfs /dev/centos/data6.挂载数据...
2021-08-27 15:49:05
2477
原创 spark 日志带来的空间问题
环境：ambari +hdp2.6.4最近发现hdfs的空间越来越少，少到影响数据分析处理了。使用名称查看一下到底是谁占了空间：hadoop fs -du -h /发现有两个文件夹站的空间是最大的：一个是/app-logs一个是/spark2-history删除文件夹下内容设置定时清理：## spark2-history日志spark.history.fs...
2019-02-28 11:43:53
595
2
原创 Yarn application has already ended! It might have been killed or unable to launch application master
环境：ambari+hdp 2.7.3出现背景：nodename服务器出现异常，发生重启。出现问题：以前能跑的pyspark脚本，运行的时候Yarn application has already ended! It might have been killed or unable to launch application master的错误。解决方法：1.在ambari中重启y...
2019-01-25 14:40:02
2851
原创 pypark处理文件异常处理。
环境：python：3.6spark：2.0datanode：3台，内存8g当使用通过spark加yarn的方式对一个4.6G的HDFS文件进行分析的时候，出现以下错误提示：org.apache.spark.shuffle.MetadataFetchFailedException:Missing an output location for shuffle 5 原因：分...
2018-09-05 09:18:36
311
原创 spark 导入文件到hive出现多小文件的问题
环境：ambari:2.6.1spark 2.1python 3.6oracle 11.2sqoop 1.4将sqoop采集到HDFS中的文件导入到HIVE数据库，导入成功后，发现hive数据库中出现多个小文件的问题，严重影响后期数据分析的加载速度。解决方法：SJTable = spark.sql("select * from " + t...
2018-09-04 17:38:57
2938
2
原创 数据清洗分析导出遇到的一些问题
本文简单记录一个学习过程，无技术含量，勿喷。环境：ambari:2.6.1spark 2.1python 3.6oracle 11.2sqoop 1.4最近一直在测试数据采集、清洗、分析、导出、展示的一系列的工作，主要数据流程如下：oracle 数据库-》hdfs-》hive-》oracle总的设计：通过任务调度的方式执行各个阶段的任务，其中各个任务通过脚本的方式实现，扩展的时候只需要增加对应的脚...
2018-06-28 10:36:56
2766
转载 Python源码安装cx_Oracle
最近需要将HIVE中的数据导入到oracle，采用了通过pyspark读取hive数据，然后通过python连接数据库，将数据插入到ORACLE的方案。所以涉及到了cx_orcacle的安装部署。以下是通过转载内容：https://www.cnblogs.com/sheng-247/p/7529289.html，其中比较纠结的是oracle_client的下载（屌丝没有oracle账号）。一、涉及...
2018-06-28 09:37:46
726
原创 通过spark sql创建HIVE的分区表
今天需要通过导入文本中的数据到HIVE数据库，而且因为预设该表的数据会比较大，所以采用分区表的设计方案。将表按地区和日期分区。在这个过程出现过一些BUG，记录以便后期查看。 spark.sql("use oracledb") spark.sql("CREATE TABLE IF NOT EXISTS " + tablename + " (OBUID STRING, BUS_ID STRING,R...
2018-06-11 14:00:50
14330
原创 通过py文件将文件中的数据导入到hive遇见的问题
因需要通过任务的方式执行将文本的数据导入到HIVE数据库中。所以考虑每次的任务通过命令执行py文件的方式来实现定时导入文件到HIVE数据库中。所以先做了一个测试，但是出行一些问题，现记录下来，供以后查看。测试脚本如下：# -*- coding: utf-8 -*- from __future__ import print_functionfrom pyspark.sql import Spark...
2018-06-06 17:41:48
1436
原创 安装docker hue 并导入到内部服务器
环境：Centos 7.2Hue因管理需求，内部服务器不能上外网，离线安装Hue又是很苦逼的活，于是考虑在外网环境安装docker 版的hue，然后导出镜像，再导入到内部服务器。前提准备安装docker外部服务器和内部服务器都需要安装docker，内部服务器需要离线安装docker，安装步骤参考：https://mp.youkuaiyun.com/postedit/80269209外部服务器安装Docker ...
2018-05-10 17:36:08
2465
2
原创 安装docker
一、 安装 Docker1. 在线安装Docker 软件包和依赖包已经包含在默认的 CentOS-Extras 软件源里，安装命令如下：yum -y install docker-io或者执行Yum install docker2. 离线安装下载 docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpmhttps://download....
2018-05-10 15:57:36
291
原创 centos 7安装 mysql
环境：centos7.2mysql 5.71. 下载mysql安装源包wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm2. 安装mysql 源yum localinstall mysql57-community-release-el7-8.noarch.rpm可以修改vim /etc/yum.repos...
2018-05-10 11:46:06
158
原创 flume采集ftp上传文件到hadoop
flume服务器环境centos 7.2jdk 1.8flume 1.8hadoop平台环境centos7.2ambari 2.6.1hdp 2.6.4jdk 1.8一、 ftp安装与配置参考：https://blog.youkuaiyun.com/qq_39160721/article/details/80250975二、flume安装与配置参考 ：https://blog.youkuaiyun.com/qq_3916...
2018-05-09 16:48:49
8470
原创 flume 1.8 安装部署
环境centos：7.2JDK:1.8Flume:1.8一、Flume 安装1) 下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2) 解压tar –zxvf apache-flume-1.8.0-bin.tar.gzmv apache-...
2018-05-09 16:12:29
13851
1
原创 spark读Hadoop文本文件到hive
环境centos：7.2python2：2.7.5python3：3.6.5spart：2.2.0ambari:2.6.1hdp：2.6.4一、指定pyspark的python 通过python3运行 1.软连接python3到/usr/bin/目录下 ln -s /usr/local/python3/bin/python3 /usr/bin/ 2.修改/usr/bin/pyspark文件 在...
2018-05-09 11:21:53
1112
原创 vsftp安装与配置
环境：centos：7.2一、安装1.查看是否安装 rpm -qa |grep vsftpd2.安装 yum install -y vsftpd2.防火墙： 查看防火墙服务状态 systemctl status firewall 查看防火墙的状态 firewall-cmd --state 查看防火墙规则 firewall-cmd --list-all 关闭防火墙 service firewa...
2018-05-09 11:19:01
915
原创 ambari 下hadoop平台各类管理地址
环境：centos：7.2oozie:2.4ambari:2.6.1hdp：2.6.4python2：2.7.5python3：3.6.5spart：2.2.0Ambari 页面：http://localhost:8080hadoop管理界面：http://localhost:8088NameNode界面：http://localhost:50070HDFS NameNode界面：http://l...
2018-05-08 16:45:51
1561
原创 安装oozie
安装oozie环境：centos：7.2oozie:2.4ambari:2.6.1hdp：2.6.41.安装通过ambari的ui安装oozie组件安装完成后，访问UI:http://10.250.11.60:11000/oozie/出现：Oozie web console is disabled.解决方法：下载http://archive.cloudera.com/gplextras/misc/...
2018-05-08 16:15:34
1082
1
原创 sqoop导orale 数据到HDFS 问题汇总
环境：数据源：oracle 11.2Ghadoop：ambari 2.6.1 hdp2.6.4sqoop :1.4.6出现的问题:问题1：ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDrive...
2018-05-07 11:12:52
684
python cx_oracle及oracle client的依赖包
2006-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人