WCL0520的博客

window pycharm下用spark连接hive操作数据一、在/opt/soft/spark234/conf下导入hive-site.xml二、把mysql的驱动包mysql-connector-java-5.1.38.jar拖入/opt/soft/spark234/jars三、sbin下 ./start-all.sh 启动spark服务bin下 ./pyspark 开启软件四、执行命令 df = spark.sql(“select * from dws_ev

#mysql-hdfs#wheresqoop import \ --connect jdbc:mysql://192.168.133.195:3306/mmm \ --driver com.mysql.jdbc.Driver \ --table userinfos \ --where 'userid<3' \ --username root \ --password root \ --delete-target-dir \ --target-dir /mytmp/datas \

1.下载并安装git：https://git-scm.com/downloads2.安装成功后打开Git Bash，输入下列命令，设置git全局用户名和邮箱3.在IDEA中全局模式下设置settings–>Version Control–>Git(test时显示正确版本则配置正确)4.创建本地仓库，VCS–>Import into Version Control–>Create Git Repository…在弹框中选中项目所在的位置，点击OK，此时项目文件全部变成红色

一、广播变量（broadcast）广播变量存放在Executor上，所有Executor上的所有task公用广播变量，普通变量存放在每个Executor上的每个task上二、累加器（不常用）例：val accum = sc.accumulator(0,“test_name”)sc.parallelize(Array(1,2,3,4)).foreach(x=>accum+=x)accum.value //调用三、RDD分区设计（1）分区大小限制2GB（2）分区太少不利于并发更容易受

1、数组操作（1）增 int[] array = {2,5,13,27,55,57,76,82,99};//建有序数组 Scanner input = new Scanner(System.in); System.out.println("请输入需要插入的值："); int t = input.nextInt();//读取控制台输入的值 int i = array.length-2;//数组插入末尾默认补个0，所以array.length-2就是99的位置 for

就这短短一个小问，本人汗颜，花了近两个小时才搞明白，具体步骤如下，望指正！1、表内容    首先考虑什么是下周：现在可以得到的是现在的时间，current_data()，在通过dayofweek可以知道现在是周几。    确定星期几之后，就要弄清楚从今天到下周一差了几天，经过测试可以发现用9减去星期数在加上当前日期就可以得到下周一的日期，然后在用date_add()，就可以计算出下周日的日期    最后就是排查学生生日的月份和天数在这两个日期之间的人，本人就是一直在这里卡壳了，首先我直接想取出月份

一、项目打包方式Spark项目打包有胖包和瘦包之分。胖包是指：除了自己写的运行代码外，还需要包代码中用到的所有依赖包一同打包，这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指：只将自己写的运行代码打包，不包含依赖，这种包只能在与本机器环境配置完全相同的情况下被调用。注：idea中默认不编译scala代码，需要在pom.xml的plugins下添加如下代码：<plugin> <groupId>org.scala-tools</groupId>

一、scala正则表达式-1Scala支持多种正则表达式解析方式（1）String.matches()方法例：var a = "!123".matches("[a-zA-Z0-9]{4}")println(a)结果：false（2）正则表达式模式匹配var source = Source.fromFile("D:\\wcl.txt","UTF-8")var lines = source.getLines.toArrayval reg = """([A-Z]+) ([0-9]{4}-[0

一、中缀表达式（：：）中缀表达式的关键字就是：：，下方代码通过match+：：进行模式匹配，只有当第一个case条件中的size-1个（即one，two，three，four全部匹配成功）匹配成功，才会执行第一个case语句，并执行println代码，输出第一、第四以及rest处的数据，不然走第二条case语句，输出nihaoList(1,2,3,4,5) match { case one :: two :: three :: four :: rest => println(one,four,

–scala函数整合– ++ 合并集合，并返回一个新的数组var k = Array(1,2,3,"a")var e = Array("a","b","c")k++e结果：Array(1,2,3,a,a,b,c)(新数组)– ++：并数组，结果由冒号右边类型决定var d = List(1,2,3,4)var f = Array("a","b","c")d++:f结果：Array(1, 2, 3, 4, a, b, c)f++:d结果：List(a, b, c, 1, 2, 3,

一、不使用线程池通过：Thread[] ths = new Thread[10];实现多线程并发1.run方法编写run方法，即计算方法，让10个线程同时调用run方法实现并发操作例如：计算1~100的和（方法一）：0 ->1~10 ; 1 -> 11~20 ; …9 -> 91~100static void call(int ix){//分段方式一(1~10) int sum = 0; for (int i = ix*10+1; i <=

图一图二

一、Elasticsearch基础概要1、非关系型数据库（1）元素库：索引 index 一个index中只能有一个type表：类型 type（2）特点：倒排索引 ① we are family ② we will lost the only chansce ③ are you happy ④ lost meybe not mean lost we 1-1 2-1 are 1-2 3-1 family 1-3 will 2-2 lost 2-3 4-1 4-5

Linux下装headmaster时，在输入npm install命令时出现了如图所示的错误，查错误，找资料，在网上搜索了半天，都是各种不着边际的解决方案，步骤复杂不说，还解决不了问题。其实，在出现类似于此类的错误时，不需要着急去网上搜索，仔细检查错误，你会发现大部分的错误都是有提示的，比如此处：Failed at the phantomjs-prebuilt@2.1.16 install script.提示我们在安装script时failed，在网上查一下后，其实在安装headmaster时scr.

一、shell1、创建文件设置权限① touch kb0802.sh② chmod u+x kb0802.sh1）#！/bin/bash2）echo 'hello world'3）:x③ ./kb0802.sh2、变量类型及创建变量① 系统变量 set方法显示所有系统变量常用系统变量如下：$PATH $PWD $USER $UID $HOME $HOSTNAME②自定义变量  1）数据类型：     a. 弱类型（通常为字符串、数值）     b. 数组（【val1,…,

(1) clear 清屏 (2) pwd 显示当前目录 (3) cd name/ /name / ../ 切换目录(4) ls [-la] 查看当前目录[详情]

一、Mybatis 1、半自动化ORM框架（1）编写SQL语句 手写（2）参数动态映射 自动2、Mybatis配置（1）依赖jar包① mysql driver<!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</

概况如图：一、java基础1.JDK 和 JRE 有什么区别？JDK：Java Development Kit 的简称，java 开发工具包，提供了 java 的开发环境和运行环境。JRE：Java Runtime Environment 的简称，java 运行环境，为 java 的运行提供了所需环境。2.== 和 equals 的区别是什么？==:对于基本类型和引用类型 == 的作用效果是不同的，如下所示：基本类型：比较的是值是否相同；引用类型：比较的是引用是否相同；equal

JSP基础知识简介  一、JSP：Java Server Page：HTML+JAVA ------以.isp结尾  二、java.web    1.MVC    （1）model：数据持久化 base(jdbc)(面向所有表) + dao(jdbcseal)（面向单张表） + biz(business)    （2）control：控制层 servlet/control （数据+页面）    （3）view：视图层 xxx.jsp    三者控制关系入下图所示：  三、servlet 

一、数据库定义1.数据库 database2.自定义：库>表>（表结构+表数据+索引（数据结构：查）+自定义函数+存储过程）二、数据的完整性和条件约束1、实体完整性：（行的唯一性）唯一性约束（1列）unique key 主键约束（1~N列） primary key自增列（1个数值类型列） auto_increment2、域完整性：为列选择恰当的数据类型非空约束 not null默认值约束 default3、引用完整性外键约束 for

一、虚拟机配置完整步骤 1.根据用户名、密码登陆虚拟机 2. 配置ip文件 vi /etc/sysconfig/network-scripts/ifcfg-enp0s3(vi 可编辑) cat /etc/sysconfig/network-scripts/ifcfg-enp0s3(cat仅可查看) （如果是双网卡，查询时会出现enp0s3以及enp0s8,均按照enp0s3配置） 3.更改相关参数 进入后首先点击 i 进入编辑模式，然后按以下三步逐一更改 BOOT

实用技术总结！1.考虑到html在设计时的后续扩展问题，通常情况下需提前确定好body的基础参数 举例如下： body,body *{//此处有空格 margin:0; padding:0; box-sizing:border-box; font:14px/1.2 arial,"MicrosoftYahei"; }2.确保字体在盒子里垂直水平居中 width：20px; height:20px; text-align:center;//水平居中 line-height:20px;/

一、 获取 html 标签对象1、js获取 html 标签对象 1）根据选择器获取 （1）根据id选择器获取唯一对象 var e = document.getElementByld(idStr); （2）根据class选择器获取对象数组 var arr = document.getElementsByClassName(classStr); （3）根据标签选择器获取对象数组 var arr = document.getElementsByTagName(tagName); （4）根据

目录：一、JS基础概念二、数组对象的创建和操作三、日期对象的创建和操作四、普通对象创建五、函数创建（function）一、JS基础概念1… js：java script    js：基于对象，解释执行    java：面向对象，编译执行2. html引入js的方式  （1）内部 js：body的最后一行 <script> ... </script>  （2）外部：js <script src="path"></script>//当今主流

一、基础概念（1）概念：Cacading Style Sheet 层叠样式表     在HTML中实现:        1)动静分离（独立的JS文件）        2)内容和表现分离（独立的CSS文件）二、HTML中嵌入CSS的三种样式（1）行内样式 <tag style="..."></tag> 不推荐使用（2）内部样式 <head> ... <style> ... </style>

HTML（超文本标记语言）注：html为解释执行（边解释边执行），此处要和java区分开1.项目模型C/S     Client/Server    TCP/UDP    数据    有状态协议B/C    Browser/Server    HTTP(S)    超文本    无状态协议2.标签类型自闭合：<… /> /

反射1、概念在程序运行时动态的解析类的内部信息（注解，属性，方法）的行为称之为反射。2、反射的功能（1）反射是java提供的一个重要功能，可以在运行时检查类、接口、方法和变量等信息，并且无需知道类的名字，方法名等。（2）反射可以在运行时实例化新对象，调用方法以及设置和获取变量值。（3）反射在框架设计中被广泛使用，例如当今流行的spring、mybatis框架等等，（4）JDBC利用反射将数据库的表字段映射到java对象的getter/setter方法。Jackson, GSON, Boon等类

一、线程1、概念：CPU进行调度的最小单位注：一个进程中至少有一条线程，该线程有JVM发起，称之为主线程2、线程的生命周期 ① 创建线程对象： 新生    new born ② 用start方法后： 就绪     ready ③ CPU调度后：  运行    running            阻塞   blocked  ④ run方法结束：  死亡   dead 3、如何开启一个线程① 匿名内部类创建线程 Thread thread = new Thread(){

常用工具类1.格式化字符串2.日期工具及日期格式化3.常用数学函数4.随机数工具5.字符串类型转换6.包装类1.格式化字符串（1） import java.text.MessageFormat;（2） String format= MessageFormat.format(“{0}xxx{n}”,xxx,xxx);//输出格式例如： String info = MessageFormat.format("姓名：{0}\n性别：{1}" + "\n年龄：{2

1、继承（extends）（1）子类继承父类：在每个子类对象中都有一个独有的父类对象（2）继承是一种高级封装（3）子类无法继承的内容   1）私有的 private   2）构造方法 constuctor   3）非同包父类受保护类型Protected（4）访问权限控制     类内  同包  不同包子类   其他Private    √Default   √     √Protected  √    √     √Public    √    √      √  

Javaoop：面向对象编程的知识小点@【】一、类定义：将某一类具有* 相同属性* 和* 行为 *的事物抽象描述出来叫做类（1）属性：静态特性，成员变量，全局变量（2）行为：动态特性，方法，函数（3）基本结构：Public class 类名{ //属性：变量 private static/final/transient(暂时的)/volatile（不稳定的） 数据类型 属性名； **…** //行为 //行为出

输出对应年份的年历（show time！！！）第一步：输入年份tips：记得导包哟import java.util.Scanner; Scanner input = new Scanner(System.in); System.out.println("请输入年份："); int year = input.nextInt();第二步：计算输入年份的上一年最后一天为星期几 long total = 0,days; for (int i = 1900; i &l

二重循环绘制基本图形@【### 1.等腰三角形的绘制】@【### 2.实心菱形的绘制】@【### 3.实心沙漏】@【### 4.空心等腰三角形】@【### 5.空心菱形】@【### 6.空心沙漏】Tips:外层循环走一遍，内层循环走一圈1.等腰三角形的绘制 for (int i = 1;i<=5;i++){ //输出空格 for (int j = 1;j<=5-i;j++){ System.out.pri

标题:令人头疼的Java小问题来了！1.运算符（1）二目运算符的短路操作 例如：&&和|| int a = 3; int b = 5; if(a>1 || b<4)( System.out.print("你好！"); ) //**此处只需要判定到a > 1 成立即可，至于b是否成立则不需再看，即b被短路，语句顺利输出；** 有如： int a = 3; int b = 5; if(a>5 && b<4)

学习java不可忽视知识小点，错过了将是一辈子的过失！！！文章目录1.java的基本概念2.java执行过程及基础命令解析3.数据类型分类4.变量与常量的区分5.类型转换方式6.长串信息输出的两种基本方式java的基本概念1. java是什么？（1） 是一个编程语言（2） 平台JDK: java开发工具包JRE: java运行时环境JVM: java虚拟机 （jvm.dll dynamic link library动态链接库） ，通过JVM可以实现跨平台（3） java