WCL0520的博客

Pycharm下连接hive的两种方式！！解决各种姿势报错

WCL0520 — Thu, 24 Dec 2020 12:28:33 +0800

window pycharm下用spark连接hive操作数据一、在/opt/soft/spark234/conf下导入hive-site.xml 二、把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars 三、 sbin下 ./start-all.sh 启动spark服务 bin下 ./pyspark 开启软件四、执行命令 df = spark.sql(“select * from dws_ev

Sqoop从mysql导数据到hdfs+从mysql导数据到hive

WCL0520 — Wed, 11 Nov 2020 19:53:18 +0800

#mysql-hdfs #where sqoop import \ --connect jdbc:mysql://192.168.133.195:3306/mmm \ --driver com.mysql.jdbc.Driver \ --table userinfos \ --where 'userid<3' \ --username root \ --password root \ --delete-target-dir \ --target-dir /mytmp/datas \

Git安装教程（多用户共同开发）

WCL0520 — Wed, 21 Oct 2020 19:36:20 +0800

1.下载并安装git：https://git-scm.com/downloads 2.安装成功后打开Git Bash，输入下列命令，设置git全局用户名和邮箱 3.在IDEA中全局模式下设置settings–>Version Control–>Git(test时显示正确版本则配置正确) 4.创建本地仓库，VCS–>Import into Version Control–>Create Git Repository… 在弹框中选中项目所在的位置，点击OK，此时项目文件全部变成红色

spark(Dataset+DataFrame)详细介绍

WCL0520 — Wed, 14 Oct 2020 10:26:31 +0800

一、广播变量（broadcast）广播变量存放在Executor上，所有Executor上的所有task公用广播变量，普通变量存放在每个Executor上的每个task上二、累加器（不常用）例：val accum = sc.accumulator(0,“test_name”) sc.parallelize(Array(1,2,3,4)).foreach(x=>accum+=x) accum.value //调用三、RDD分区设计（1）分区大小限制2GB （2）分区太少不利于并发更容易受

Java高频知识合集（1）

WCL0520 — Thu, 08 Oct 2020 10:39:56 +0800

1、数组操作（1）增 int[] array = {2,5,13,27,55,57,76,82,99};//建有序数组 Scanner input = new Scanner(System.in); System.out.println("请输入需要插入的值："); int t = input.nextInt();//读取控制台输入的值 int i = array.length-2;//数组插入末尾默认补个0，所以array.length-2就是99的位置 for

SQL+HIVE 题目：查询下周过生日的学生

WCL0520 — Wed, 23 Sep 2020 19:18:16 +0800

就这短短一个小问，本人汗颜，花了近两个小时才搞明白，具体步骤如下，望指正！ 1、表内容首先考虑什么是下周：现在可以得到的是现在的时间，current_data()，在通过dayofweek可以知道现在是周几。确定星期几之后，就要弄清楚从今天到下周一差了几天，经过测试可以发现用9减去星期数在加上当前日期就可以得到下周一的日期，然后在用date_add()，就可以计算出下周日的日期最后就是排查学生生日的月份和天数在这两个日期之间的人，本人就是一直在这里卡壳了，首先我直接想取出月份

Spark项目打包+日志输出格式

WCL0520 — Tue, 22 Sep 2020 16:32:11 +0800

一、项目打包方式 Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码： org.scala-tools

scala 正则超详细总结！！！

WCL0520 — Thu, 17 Sep 2020 16:06:34 +0800

一、scala正则表达式-1 Scala支持多种正则表达式解析方式（1）String.matches()方法例： var a = "!123".matches("[a-zA-Z0-9]{4}") println(a) 结果：false （2）正则表达式模式匹配 var source = Source.fromFile("D:\\wcl.txt","UTF-8") var lines = source.getLines.toArray val reg = """([A-Z]+) ([0-9]{4}-[0

scala 中缀表达式和中置操作符

WCL0520 — Tue, 15 Sep 2020 20:14:14 +0800

一、中缀表达式（：：）中缀表达式的关键字就是：：，下方代码通过match+：：进行模式匹配，只有当第一个case条件中的size-1个（即one，two，three，four全部匹配成功）匹配成功，才会执行第一个case语句，并执行println代码，输出第一、第四以及rest处的数据，不然走第二条case语句，输出nihao List(1,2,3,4,5) match { case one :: two :: three :: four :: rest => println(one,four,

scala 方法大全（你必须掌握的百种方法！！！）

WCL0520 — Thu, 10 Sep 2020 16:40:15 +0800

–scala函数整合 – ++ 合并集合，并返回一个新的数组 var k = Array(1,2,3,"a") var e = Array("a","b","c") k++e 结果：Array(1,2,3,a,a,b,c)(新数组) – ++：并数组，结果由冒号右边类型决定 var d = List(1,2,3,4) var f = Array("a","b","c") d++:f 结果：Array(1, 2, 3, 4, a, b, c) f++:d 结果：List(a, b, c, 1, 2, 3,

Thread（多线程并发+线程池），超详细回顾！！！

WCL0520 — Mon, 07 Sep 2020 21:55:58 +0800

一、不使用线程池通过：Thread[] ths = new Thread[10];实现多线程并发 1.run方法编写run方法，即计算方法，让10个线程同时调用run方法实现并发操作例如：计算1~100的和（方法一）：0 ->1~10 ; 1 -> 11~20 ; …9 -> 91~100 static void call(int ix){//分段方式一(1~10) int sum = 0; for (int i = ix*10+1; i <=

HiveServer2报错Permission denied:user=anonymous,access=EXECUTE,inode=“/tmp“:root:supergroup:drwxrwx---

WCL0520 — Thu, 03 Sep 2020 17:59:32 +0800

Error: Failed to open new session: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx— 提示：/tmp没有权限，对其授权即可！关闭之

idea Dmaven.multiModuleProjectDirectory=$M2_HOME报错！！！

WCL0520 — Mon, 31 Aug 2020 14:55:24 +0800

idea Dmaven.multiModuleProjectDirectory=$M2_HOME!!! 在启动maven工程的quickstart时，报了这个错误，用了一个多月的idea突然错处，看的我一脸萌币啊，在网上各种查找，基本上能用的方法都试了一遍，简直心力憔悴了！最让人生气的是过程中的确找到的貌似正确的方法，但是因为操作不当，一直与正确答案擦肩而过，下面我把这次修改过程详细的叙述一遍，希望能解决你的问题。大致可以分为两步一、首先在环境变量里添加maven的环境变量，如下图：该步骤旨在方便

史上最全HIve函数集锦，有配套案例，让你轻松学习不在迷茫！！！

WCL0520 — Sat, 29 Aug 2020 10:40:16 +0800

图一图二

hadoop高可用集群搭建——完整步骤整合版

WCL0520 — Wed, 26 Aug 2020 11:37:30 +0800

一、进去hadoop安装目录 [root@vwmaster hadoop]# pwd /opt/bigdata/hadoop/hadoop260/etc/hadoop 二、继上步，编辑hadoop-env.sh [root@vwmaster hadoop]# vi hadoop-env.sh export JAVA_HOME=/opt/bigdata/java/jdk180 export HADOOP_PID_DIR=/opt/bigdata/hadoop/hadoop260/data/pids 三、编

UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z！！

WCL0520 — Thu, 20 Aug 2020 19:45:22 +0800

错误： java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 如果在执行hadoop项目时出现此处问题，主要有三个方法：方法一：在hadoop的安装目录下：E:\hadoop\hadoop260\bin，增加两个文件winutils.exe和hadoop.dll，然后重新执行即可。方法二：方法一如果解决不了问题，那也有可能是你hadoo

Window下启动Hadoop出错，Failed to locate the winutils binary in the hadoop binary path!!!

WCL0520 — Tue, 18 Aug 2020 17:38:10 +0800

在编写Hadoop项目时，已经完成了在map中分词操作，以及reduce中的计算统计。就在即将成功的时候，一道晴天霹雳从天而降，痛不欲生！！ Failed to locate the winutils binary in the hadoop binary path!!! 言归正传，出现上述问题可采取以下步骤 1、在window下安装hadoop（版本随意，尽量选取版本较新且使用量多的） 2、安装完成后，导入winutils.exe和hadoop.dll到安装路径的bin目录下（两个文件需要自己去网上当）

Elasticsearch+HeadMaster+NodeJs环境搭建，操作命令合集！！！

WCL0520 — Mon, 17 Aug 2020 17:22:31 +0800

一、Elasticsearch基础概要 1、非关系型数据库（1）元素库：索引 index 一个index中只能有一个type 表：类型 type （2）特点：倒排索引 ① we are family ② we will lost the only chansce ③ are you happy ④ lost meybe not mean lost we 1-1 2-1 are 1-2 3-1 family 1-3 will 2-2 lost 2-3 4-1 4-5

错误！！！This is probably not a problem with npm. There is likelyadditional logging output above.

WCL0520 — Wed, 12 Aug 2020 16:47:13 +0800

Linux下装headmaster时，在输入npm install命令时出现了如图所示的错误，查错误，找资料，在网上搜索了半天，都是各种不着边际的解决方案，步骤复杂不说，还解决不了问题。其实，在出现类似于此类的错误时，不需要着急去网上搜索，仔细检查错误，你会发现大部分的错误都是有提示的，比如此处： Failed at the phantomjs-prebuilt@2.1.16 install script. 提示我们在安装script时failed，在网上查一下后，其实在安装headmaster时scr.

Shell编程，基础知识总结！

WCL0520 — Mon, 10 Aug 2020 09:43:57 +0800

一、shell 1、创建文件设置权限 ① touch kb0802.sh ② chmod u+x kb0802.sh 1）#！/bin/bash 2）echo 'hello world' 3）:x ③ ./kb0802.sh 2、变量类型及创建变量 ① 系统变量 set方法显示所有系统变量常用系统变量如下： $PATH $PWD $USER $UID $HOME $HOSTNAME ②自定义变量 1）数据类型： a. 弱类型（通常为字符串、数值） b. 数组（【val1,…,