- 博客(40)
- 收藏
- 关注
RSS订阅原创 spark 累加器实现
因为spark的map的操作是闭包的，所以想对外部变量操作像java一样设置一个外部flag是行不通的，因此可以采用累加器来实现 val sd = spark.sparkContext.longAccumulator val res = df.map{ item =>{ val arr: Array[String] = item.split("...
2019-08-16 15:01:37
515
原创 spark基础调优
本文仅涉及基础代码等设置调优，更深入的还请大家指出~~1.RDD调配 对象 优化手段 RDD、DF、DS 对于同一数据源只创建一次，尽量多次使用 错误示范：val newRDD1 = spark.read.csc("/helloworld")val newRDD2 = spark.read.csc...
2019-08-09 16:12:22
235
原创 linux下ssh免密钥登录
在linux集群下配置ssh免密钥登录，以及scp分发命令的使用样例环境： linux: node1 node21、在node1创建rsa密钥ssh-keygen -t rsa一路回车就好 2、使用node1给node2发密钥ssh-copy-id node2_ip3、在node2上测试是否可以登录node1ssh node1_ip4、在no...
2019-02-02 16:01:16
230
原创 mapreduce的数据清洗具体过程？？？
对于这个问题一般来说我们在使用mapreduce进行数据清洗的时候，只是用map端，因为数据的清洗一般不会涉及到聚合的问题，所以我们经常是设置reduce的个数为0我想这个问题，问的应该是mapreduce的运行过程吧（个人理解）mapreduce运行过程如下： mapreduce主要分为5个过程 input>>map>...
2018-11-16 17:20:48
3247
1
原创 spark运行模式
简单简述一下spark有一个主节点master和从节点worker而spark在运行在集群的时候，由driver来负责job的调度，Exexutor来运行task因此，spark的部署模式通俗的讲便是driver的运行位置主要由两个1、client（本地）2、cluster（集群）而由于spark可以交由自带的standalone集群资源管理框架管理，也可以交由ya...
2018-11-14 23:19:00
195
原创 Hbase架构
1、regions Hbase表按照 rowkey来水平划分region块。每一个region块包括start rowkey和end rowkey，region是由regionserver管理，regionserver把region块分配到集群的各个节点中，对数据提供读和写的功能。当一个region变的太大的时候，它会分裂成两个子Region。ps：一个regionserve...
2018-11-10 20:24:14
176
原创 mapreduce自定义分组、自定义分区、二次排序
mapreduce中二次排序的思想中，我们常常需要对数据的分区分组进行自定义，以下就介绍一下自定义分区分组的简单实现1、自定义分区：public class demoPartitioner<K, V> extends Partitioner<K, V>{ @Override //注意有几个分区reduce任务就有几个 public int g...
2018-10-19 20:59:17
420
原创 DNS是什么
DNS（omain Name System）域名系统 平时上网的时候，我们访问的实际上是IP地址（192.168.1.1），但是像这样的ip地址一旦多了我们是很难记忆的，所以通过更改本地的hosts文件，使得ip映射为域名，这样我们就可以使用域名来访问网址了。 但是，hosts文件我们总不能包含世界上所有的域名，因此，这个时候就需要DNS域名系统来解析域名来得到ip...
2018-10-13 08:44:27
881
原创 线程的创建方式
一、继承Thread1、创建类继承Thread2、重写类的run方法3、调用时创建实例对象然后调用start方法举例：class MyThread extends Thread{ @Override public void run() { for(int i=0;i<10;i++){ System.out.prin...
2018-10-05 09:43:35
183
原创 NOSQL与RDBMS，非关系与关系型数据库的区别是什么
一：关系型数据库1、关系型数据库：RDBMS(Relational Databa指se Management System) 指采用了关系模型来组织数据的数据库，简单来说是一张二维表，而表中的数据之间有关系其中的代表有：mysql、sql server 、oracle特点： 》：事务的一致性（ACID）原子性、一致性、隔离性、持久性 》：...
2018-10-04 22:05:15
1421
原创 jvm虚拟机内存详解
基础数据类型：boolean、char、byte、double、float、int、long、short引用类型：类、接口、数组早都应该写了！！！我们平时口头上说的就是 堆、栈、方法区，下面先解释一下这三个：1、栈：这个栈就是我们平时说的栈，全名是：虚拟机栈 》1、栈中只保存基础数据类型数据的对象和自定义对象的引用（地址），而实例对象都存储在堆中。 》2、一条线程包...
2018-10-02 17:25:50
180
原创 java8新特性的简单记录
1、Lambda语法格式：parameters -> expression即：参数 -> 执行例如 x -> 2*x ----这个表达式就是把x作为参数传给 2*x 然后返回结果注：参数的类型可以不用传2、对于方法的调用语法格式：双冒号构造器、静态方法、特定类的任意对象方法：这三种调用的时候都是Class :: 方法名即-----类名 ：： 方法...
2018-09-28 22:59:11
190
原创 谈谈对jvm的理解
jvm：java虚拟机，java的核心与基础，用来运行java的程序1、java程序的运行过程 1）java源文件被编译器编译成.class文件 2）.class文件被类加载器加载至内存//--------类加载器：将.class文件加载至内存并且生成相应的class对象 3）执行2、jvm程序执行的顺序 加载.class文件>>>&...
2018-09-16 20:32:40
1883
原创 jdk的安装目录下的jre与独立的jre有什么区别
jdk的全称是：java development kit ---即java开发工具jre的全称是：java runtime environment----即java运行环境jdk安装目录下的jre可以看做是一个私有的jre环境，而外部独立的jre文件可以看做是一个共有的jre环境，这两者的本质实际上是相同的。...
2018-09-16 20:01:17
4962
原创 crontab设置开机启动的的shell脚本
1、打开crontab任务 crontab -e2、设置脚本的启动时间@reboot ( sleep 60 ; sh \path\demo.sh )设置脚本在启动后的60s启动\path\demo.sh 就是脚本的存放地址
2018-09-16 17:12:26
9857
原创 httpclient基本get用法
public class HttpClientDemo { public void doGet() throws URISyntaxException, IOException { String url = "http://192....."; //创建client CloseableHttpClient client = HttpClients.crea...
2018-09-16 15:05:28
1146
原创 java反射机制怎么使用
什么是反射？ java的反射机制是在运行状态中，对于任意一个类，都能知道它的属性和方法，对于任意一个对象，都能调用它的方法和属性。常用的反射使用： class： Class classDm = class.forName("类的完整类名")--------获取一个类对象 ClassDm.newInstance();-------获取类的实例对象这...
2018-09-08 14:26:24
204
原创 Hadoop常用端口号有哪些？
这里包含使用的组件：HDFS、YARN、HBase、Hive、Zookeeper：组件 节点 默认端口 配置 用途说明 HDFS DateNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DateNode 50075 dfs.datanode.http.ad...
2018-09-07 08:50:24
7480
原创 No 'Access-Control-Allow-Origin' maven管理的项目跨域问题怎么解决
pom.xml添加依赖<!-- 跨域支持--> <dependency> <groupId>com.thetransactioncompany</groupId> <artifactId>cors-filter</artifactId> ...
2018-09-03 14:20:15
704
原创 linux自带上传下载--lrzsz
linux系统自带文件的上传与下载功能使用yum安装:yum install -y lrzsz安装完成rz：上传 sz：下载上传会直接上传至当前目录以上~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~·...
2018-09-03 10:22:05
283
原创 hibernate配置文件详解
一、映射文件<!DOCTYPE hibernate-mapping PUBLIC "-//Hibernate/Hibernate Mapping DTD 3.0//EN" "http://www.hibernate.org/dtd/hibernate-mapping-3.0.dtd"><!--package：相当于import以下的类名可以...
2018-08-31 17:14:04
109
原创 linux下mysql添加数据库乱码
在终端，mysql -u root -p 登录； 查看当前数据库的相关编码集。show variables like 'character%'; 然后查看 /etc/my.cnf添加以下[mysql] default-character-set=utf8[mysqld] character-set-server=utf8然后保存，重启mysql这时再 查看 sh...
2018-08-30 22:05:15
169
原创 web项目部署到linux下总是提示404
在我们打包项目之前，一定要把所有的localhost换为IP，并且你的项目指向后台的所有url路径需要在端口号之后加上包名
2018-08-30 21:58:13
5853
原创 web项目部署到linux下
1、使用maven管理web项目，然后使用命令mvn package 打包成war包2、在linux下安装tomcat，然后把war包上传到tomcat的webapps目录下3、在tomcat的bin目录下运行start.sh文件[root@********/]# ./start.sh然后查看webapps目录可以发现上传的war包已经被自动解压了4、然后此时就可以访问我们的...
2018-08-30 21:55:52
456
原创 git的基本使用
从svn转移到git来 遇到了一些小问题 随笔一下在windows上使用。所以这里使用sourcetree来管理官网下载链接：https://www.sourcetreeapp.com/sourcetree在安装的时候会需要登录，跳过的方法：https://blog.youkuaiyun.com/qq_40757296/article/details/81976669使用：1、点击这个克隆...
2018-08-23 10:59:57
111
原创 sourcetree安装-跳过登录
1、打开安装文件之后，关掉窗口，打开我的电脑在地址栏输入下面地址%LocalAppData%\Atlassian\SourceTree\2、在此 目录下创建一个accounts.json的文件，然后把 下面代码粘贴复制进去[ { "$id": "1", "$type": "SourceTree.Api.Host.Identity.Model.Identity...
2018-08-23 10:51:41
663
原创 sql常用语句
1、增加insert into tableName values(val1,val2,val3) //必须与数据库对应insert into tableName（columnName1，columnName2） values（val1，val） 2、删除delete from tableName where columnName=valuedelete from tableNa...
2018-08-13 11:04:58
146
原创 ssh框架整合之配置文件
1、约束、这个就不用多说了<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:con...
2018-08-12 22:07:35
192
原创 linux下jdk安装（懒人脚本）
1、把你下载好的jdk传到linux系统下2、创建一个文件touch filename3、编写此脚本#!/bin/bashtar -xvf /usr/jdk/jdk-8u91-linux-x64.tar.gzcd /usr/jdkint/jdk1*home=`pwd`echo $homeecho "JAVA_HOME=${home}" >>/etc/pr...
2018-08-12 21:29:57
1414
原创 linux_centos下使用yum安装mySql
直接上操作1、系统会自带mysql、删掉删掉 查看有没有rpm -qa | grep mysql 如果有使用命令删除 rpm -e --nodeps 查出的mysql 2、下载 可以先查询一下子mysql的版本号yum list | grep mysql 3、执行命令下载yum install -y mysq...
2018-08-12 21:17:02
120
原创 final、finally和finalize的区别
1、final被final修饰的类不能更改、不能被继承、不能被重载、只能被引用2、finallyfinally是在异常处理的时候提供的代码块，在异常处理中，无论是否发生异常，finally块中的代码都会执行，在有什么代码是必须执行的时候就可以把代码放在finally块中3、finalizefinalize是方法，在jvm垃圾回收机制将要回收对象之前，会对此对象执行final...
2018-08-09 21:49:55
126
原创 hashcode与equals的关系
equals与hashcode的联系便是两个对象在equals相等的情况下，hashcode有可能相等也有可能不相等，而两个对象在hashcode不相等的情况下，equals也必定不相等理解equals的应用：它是用于用户在进行对比的时候，这个时候对比的是内容是否相等理解hashcode的应用：例如set集合，它的不可重复，进行对比的便是hashcode是否相等，因此set集合...
2018-08-09 21:02:15
384
原创 java四大引用类型 强、软、弱、虚 引用
java中提供了4个级别的引用类型 strong（强引用）、soft（软引用）、weak（弱引用）、phantom（虚引用）以下对四中类型简单介绍1、strong（强引用） 例如 Object object = new Object()此时的object对象就是一个强引用对象强引用的对象特点是：永远不会被jvm垃圾回收机制回收，就算是抛出异常此对象也会存在，并...
2018-08-09 20:32:20
188
原创 Struts2中stream流的应用
文件的上传的上传和下载在hibernate中可以使用stream流的方式来返回具体如下配置struts.xml的配置文件<!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache.or...
2018-07-30 11:25:40
807
原创 异常捕获后再次抛出java
捕获了异常之后，希望再次向上抛出如下：public void demo() throws Exception{ try{ System.out.println(1/0); }catch(Exception e){ throw e; }}此时 向上抛出的异常还是原异常...
2018-07-29 11:41:03
4450
1
原创 struts2 http status 404 result 'null' not found----ssh框架
出现这个错误的时候基本就是struts.xml的配置问题了其一：<result name="success">/index.jsp</result> <result name="error">/error.jsp</result>其二：！！错误的地方来了：package name 虽然没有其他的package，但是此处的名字...
2018-07-28 17:01:37
1420
1
原创 IDEA-web项目的部署
一、创建新项目 二、创建web模块--module 》》勾选Web application 》》next；填写web项目名地址》》在WEB-INF文件下创建classes文件与lib文件classes文件：存放编译后的class文件；lib文件：导入的包》》配置class与lib文件点击file下的 Project Structur...
2018-06-13 10:55:06
1532
原创 equals方法与“==”的不同详解
在进行字符串的比较时，都知道不能用“==”来比较，要使用equals的方法例如：String a ="asd";a.equals("asd");这样才是进行了字符串的比较。而这就形成了误区，使得一部分初学者认为equals比较的就是内容，而“==”比较的是地址。这样的是不太正确的。如下：这是Object类中的equals方法，可以看到，此时比较的是地址，而不是内容。...
2018-05-18 10:10:58
156
原创 包装类的封箱拆箱
java是面向对象的编程语言，而八种基础类型不包含属性，因此使用的时候有诸多不便，这时基础类型的包装类就出现了。int---Integer；char---Character;short---Short;long---Long;double---Double;float---Float;boolean---Boolean;byte---Byte;除了int、cha...
2018-05-17 11:22:21
220
原创 编程基础：java--常见的格式化（printf）输出
转 换 符 类型 示 例 %s 字符串类型（String） "你好" %c 字符类型（char） 's' %b 布尔类型（boolean） ...
2018-05-03 23:08:13
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人