执行hive -f 脚本时 com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

weixin_50831726 — Thu, 11 Mar 2021 22:46:01 +0800

cd $HIVE_HOME/bin vi hive-site.xml 报错原因是hive-site.xml中配置不完整或配置项错误导致 hive.metastore.warehouse.dir /opt/software/hadoop/hive110/warehouse

hive中metastore启动异常 cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar:

weixin_50831726 — Thu, 11 Mar 2021 22:33:52 +0800

输入hive --service metastore命令时会自动断开 jps查看进程发现RunJar自动消失解决方案： cd $HIVE_HOME/bin vi hive 将其中sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar` 修改为 sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar` ...

Flume 报错指南

weixin_50831726 — Thu, 11 Mar 2021 00:12:10 +0800

在启动命令flume后：flume-ng agent -n a1 --conf /opt/software/flume160/conf/ -f /opt/flumeconf/file_hdfs.conf -Dflume.root.logger=INFO,console -n 表示重命名 –conf flume的conf目录读取配置文件 -f 读取本次flume执行操作的配置文件（sources、channels、sinks的具体配置） -Dflume.root.logger=INFO,console

Starting namenodes on [single] single: ssh: connect to host single port 22: Connection refused

weixin_50831726 — Wed, 10 Mar 2021 22:33:43 +0800

出现这个问题多半是配置信息中的IP地址错误导致的，正确的IP以/etc/sysconfig/network-scripts/ifcfg-ens33中配置的IPADDR（能ping通外网）为准 ①检查hosts vi /etc/hosts 这里以我自己的配置为例，查看 hosts中的映射配置，确保192.168.56.130 single中的IP地址正确 ②检查hadoop配置项中的core-site.xml 进入hadoop/etc/hadoop目录中，查看core-site.xml,确保配置中的IP地

hive数据倾斜

weixin_50831726 — Mon, 01 Mar 2021 23:47:21 +0800

数据倾斜的定义：数据分布的不均匀，造成大量的数据集中在一个点主要表现情况：任务进度长时间卡在99%，查看任务监控页面，发现有少量reduce子任务没完成，原因是其处理的数据量远超其他的reduce处理的数据量。容易数据倾斜的情况 ①group by不和聚合函数一起使用时，当某值的数量过多，会导致处理某值的reduce耗时长 ②count(distinct)时某特殊值过多，会导致处理此特殊值的reduce耗时长 ③Join 其中一个表较小，但是key集中，会导致分发到某一个或几个Reduce上的数据远

IDEA运行报错 Error:Failed to load project configuration: cannot parse file

weixin_50831726 — Mon, 25 Jan 2021 23:30:32 +0800

运行时报错原因出现类似的情况（主要是第一行的报错）： Error:Failed to load project configuration: cannot parse file C:\Users\Saber\.IntelliJIdea2018.2\system\external_build_system\homework3.5f881feb\project\compiler.xml: Error on line 1: 前言中不允许有内容。可能引起的原因是上次IDEA在运行过程中被异常关闭，导致了当前

虚拟机在windows端做映射

weixin_50831726 — Wed, 20 Jan 2021 23:18:57 +0800

在虚拟机上做完映射后，在IDEA上写连接程序时，无法用主机名来进行连接，需要在windows上也做一次映射此时会看到在cmd命令面板上无法用主机名ping 到c盘的Windows ——》System32——》drivers——》etc目录下，找到hosts文件这里是无法对其直接修改的，复制hosts到桌面，右击打开方式，我这里使用的Notepad++软件可以直接打开这个文本，也可以重命名为hosts.txt来直接打开在任意的空白处，写上虚拟机的ip地址和主机名去除后缀.txt，将其贴回原来路

spark-toHive、tomysql、tohbase

weixin_50831726 — Sun, 10 Jan 2021 20:09:22 +0800

一、Spark to Hive 1、打开虚拟机，将Hive的配置文件（conf下的hive-site.xml)拷贝到Spark的配置文件目录下(conf)，软拷贝硬拷贝皆可以 ln -s /opt/software/hadoop/hive110/conf/hive-site.xml /opt/software/hadoop/spark//conf/hive-site.xml 2、拷贝jar包（mysql-connector-java-5.1.32.jar 拷贝到Spark的jars目录下 cp /op

JDBC-连接hbase

weixin_50831726 — Sun, 10 Jan 2021 18:45:02 +0800

代码： public class HBASEClientDemo { @Test public void createTable() throws IOException { //1.获取hbase连接，配置 //hbase.zookeeper.property.clientPort Configuration conf = HBaseConfiguration.create(); //ATTENTION PL

JDBC-连接mysql

weixin_50831726 — Sun, 10 Jan 2021 18:42:22 +0800

一、创建Maven ①创建时选择Maven类型 ②在poom中，导入依赖 junit junit 4.11 test

JDBC-连接Hive

weixin_50831726 — Sun, 10 Jan 2021 18:26:12 +0800

一、创建Maven ①创建时选择Maven类型 ②在poom中，导入依赖 junit junit 4.11 test &l

常用工具类

weixin_50831726 — Wed, 18 Nov 2020 19:48:06 +0800

//常用工具类 //基本类型对应的包装类 //包装类型优势 //提供了一系列针对该类型的函数 //包装类型的默认初值都为null //比如：Boolean = null (Boolean = false/true) //自动装拆箱例子： Integer c = 5; Integer c = new Integer(value:5);//装箱两者表示的意思一样 System.out.println(c);//拆箱 char Character String String byte Byte

流、线程

weixin_50831726 — Wed, 18 Nov 2020 19:45:20 +0800

//流 //了解： //传输协议 //QQ [IP] UDP（用户数据包协议）/[TCP] SMTP/FTP/HTTP[S] //流：不同进程间数据传输的机制 //本质：（硬件）二进制/（Java）字节数组 //分类：方向：输出/输入内容：字符/字节功能：节点流（直接面向数据源）/处理流 //文件：File(文件/目录) File file =new File(String path); //相对路径:根目录为当前工程根目录 //绝对路径：从分区盘符开始到目标的完整路径 //路径的表示方式：c:\d

java高级特性-集合-正则-泛型

weixin_50831726 — Wed, 18 Nov 2020 19:39:14 +0800

//Java高级特性 //集合：集中后合在一起 //理解：存放不定数量的不定类型的内容可变的容器，且可以根据需要自由提取元素 //集合行为：创建、添加元素、删除元素、修改元素、查看元素、数量统计、排序… //只能存储引用类型，如果是基本类型的话，则需要包装 Iterable:可迭代 Collection（相当于单一元素对象数组）特点：不唯一（可以存放重复的），无序的子接口： List 特点：不唯一，有序（先进先出first in，first out）类：【ArrayList】：与vector功能一致

Java高级特性

weixin_50831726 — Sun, 15 Nov 2020 23:09:39 +0800

//Java高级特性 //集合：集中后合在一起 //理解：存放不定数量的不定类型的内容可变的容器,且可以根据需要自由提取元素 //集合行为：创建、添加元素、删除元素、修改元素、查看元素、数量统计、排序 //只能存储引用类型，如果基本类型，则使用包装类 Iterator:可迭代 Collection:不唯一，无序 List：不唯一，有序（first in,first out）【ArrayList】：线程不安全 Vector：线程安全【LinkedList】：线程不安全

JAVA-OOP

weixin_50831726 — Sun, 15 Nov 2020 22:59:12 +0800

//基本类型和引用类型 int a = 5; int b =a;将变量a的值，拷贝一个副本给变量b，变量a和b是互相独立的。 int[] a ={1}; int[] b = a; 将数组a引用的地址，拷贝一个副本给数组b，数组a和b指向同一个数组。 Student a = new Student(); Student b =a; 同数组 //oop:object oriented programming //抽象: 模具（类） //类：class //访问修饰符 [abstract/static/fina

Java排序算法封装

weixin_50831726 — Wed, 07 Oct 2020 23:33:44 +0800

冒泡（1） int[] a = {3,6,2,13,24,15,7}; for(int i=0,t;ia[j+1]){ t=a[j]; a[j]=a[j+1]; a[j+1]=t;

JAVA基础题练习

weixin_50831726 — Wed, 07 Oct 2020 23:17:37 +0800

顺序插入：插入有序 Scanner input = new Scanner(System.in); char[] arr2 = {'b','d','f','i','k','m','x',(char)0}; char t2 = input.next().charAt(0); //输入字符 int i = arr2.length-2; for(; i>=0; i--){ //for循环功能是：以第一次循环为例，for循环做判断，若输入的字符值大于arr2

JAVA基础(分支、循环、一维数组）

weixin_50831726 — Mon, 28 Sep 2020 00:26:31 +0800

//分支结构 //单分支 if(条件){代码} //双分支 if（条件）{代码} else{代码} //多分枝 if（条件1）{代码1} else if（条件2）{代码2}…else{代码N} //if做区间条件 switch(算术表达式) {case 常量1：代码1；break;…default:代码N；} //switch做等值条件（贯穿现象，只支持long以下的整数(char,枚举)，JDK1.8之后开始支持String） //嵌套分支 if(){ if(){} switch(){} } /

JAVA基础（类的命名规则、数据类型、变量的定义、控制台输入与输出、运算符）

weixin_50831726 — Mon, 28 Sep 2020 00:14:16 +0800

JAVA Java是一个平台 //JVM java virtual machine JAVA虚拟机（用软件模拟硬件） //JRE java runtime environment JAVA运行时环境 //JDK java development toolkit JAVA开发工具包 //目录：bin //jar.exe 打jar包 //java.exe 编译java源程序 -> 生成字节码程序 //javac.exe 执行java字节码程序-> 启动虚拟机 //java

weixin_50831726的博客