- 博客(23)
- 收藏
- 关注
RSS订阅原创 基于SSM带网页的oracle数据接口暴露展示
工程创建选择webapp，其他设置一样jar包导入<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.
2021-05-02 14:59:50
216
原创 java连接oracle
1.在oracle安装包里找到ojdbc的jar包，拷贝到window下[root@oracle lib]# pwd/data/oracle/product/11.2.0/db_1/jdbc/lib[root@oracle lib]# lsojdbc5dms_g.jar ojdbc5_g.jar ojdbc6dms_g.jar ojdbc6_g.jar simplefan.jarojdbc5dms.jar ojdbc5.jar ojdbc6dms.jar ojdbc6.j
2021-04-29 18:58:21
718
原创 hive数据倾斜
产生数据倾斜的原因key 分布不均匀业务数据本身的特性建表时考虑不周 (如应建立分区表未建立或分区不合理)某些 SQL 语句本身就有（如select count(distinct id) from student)各种场景及解决方案1.key值分布极为不均匀，group时造成数据倾斜如上表，要统计不同性别学生的平均月生活费，需按性别分组。但男性为女性6倍，会出现下述情况所有数据在map端结束后只会进入到reduce的两个节点，即使reduce的节点有多个，也不起作用。而且计算男性的节点
2021-03-02 13:32:46
1041
原创 RDD优化
一、RDD重用和存储级别选择缓存：cache persist val conf= new SparkConf() .setAppName(this.getClass.getName) .setMaster("local[1]") val sc = new SparkContext(conf) //当遇到action算子，cache才会生效 //cache实际就是调用persist，默认使用StorageLevel.MEMORY_ONLY，使用pers
2021-01-10 17:53:28
244
原创 可执行jar包打包方法
最好生成胖包，瘦包需要手动选择各种资源，容易遗漏选定主类分割设置MTETA-INF文件存储的文件夹，一般在src下面将生成的压缩胖包用解压缩软件打开，进入META-INF文件夹删除.DSA和.SF文件完成...
2021-01-10 16:30:19
236
原创 Spark核心：RDD
一、RDD是什么，有哪些特点弹性分布式数据集（Resilient Distributed Datasets），Spark中最基本的数据处理模型，抽象类，代表一个弹性的、不可变、可分区、里边的元素可并行计算的集合弹性存储的弹性：内存与磁盘的自动切换容错的弹性：数据丢失可以自动切换计算的弹性：计算出错重试机制分片的弹性：可根据需要重新分片分布式RDD是只读的、分区记录的集合，每个分区分布在集群的不同节点上数据集封装计算逻辑，并不保存数据数据抽象抽象类，需要子类具体实现不可变封装的计算
2021-01-10 15:55:35
157
原创 spark入门之路
一、对比MapReduce与Spark的主要区别 (1)易用性：Spark编程简洁方便 效率：Map中间结果写入磁盘，效率低下，不适合迭代运算。Spark Job中间输出结果可以保存在内存，不再需要读写HDFS任务启动开销：MapReduce采用的是多进程模型，Spark采用了多线程模型二、Spark技术栈Spark Core：核心组件，分布式计算引擎Spark SQL：高性能的基于Hadoop的SQL解决方案Spark Streaming：可以实现高吞吐量、具备容错机制的准实时流处理系统
2021-01-10 14:32:23
206
1
原创 spark连接Mysql,Hive,Hbase
创建mavev工程，不点击maven-archetype-quickstartPom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache
2021-01-09 18:17:40
147
原创 jdbc之java连接mysql，hive，hbase全解
创建maven工程Maven–》勾选Create from archetype–》maven-archetype-quickstart–》NEXT点击Enable Auto Import自动导包在pom文件的properties里修改版本为1.8改为修改Project Structure将language level改为8File-Settings修改字节编码版本为1.8在src-》main下新建文件夹名resources，将其配置为资源文件夹，此后所有的配置文
2021-01-09 15:58:31
921
原创 scala题目练习
题目：求月销售额和总销售额1、数据说明（1）数据格式a,01,150a,01,200b,01,1000b,01,800c,01,250c,01,220b,01,6000a,02,2000a,02,3000b,02,1000b,02,1500c,02,350c,02,280a,03,350a,03,250（2）字段含义 店铺，月份，金额3、需求 求出每个店铺的当月销售额和累计到当月的总销售额scala代码实现使用dos窗口，观感效果更好1.创建变量来接数据scal
2020-12-30 12:12:50
546
1
原创 scala集合算子大全
一.集合元素操作+：定义：def +:(elem: A): Array[A]描述：在数组前面添加一个元素，并返回新的数组对象 scala> var a1=Array.range(1,10) a1: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9) scala> a1:+10 res0: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10):+定义：def :+(elem: A): Ar
2020-12-24 01:00:58
1482
原创 一小时教你熟练运用sqoop完成数据在不同数据库之间的迁移
sqoop实现数据的互导全量导出(首次部分列所有行)增量导出 allowinsert只导出新增的更新(不能导出新增数据,只能导入原有更新后的数据)updateonlimport与exportsqoop export：将数据从hadoop（先将数据从hive，hbase导入hdfs） 导入到关系型数据库（mysql,Oracle）sqoop import:将数据从关系型数据库（mysql,Oracle）导入到hadoop文件格式orcfile/rcfile/parquetfile/textfi
2020-12-06 22:14:39
488
原创 hadoop生态圈详解
1.hadoop架构及作用（1）Commonhadoop核心组件，基本jar包依赖，公共工具程序（2）HDFS（Hadoop Distributed File System）分布式文件系统，解决分布式存储（3）MapReduce分布式计算框架（4）Yarn分布式资源管理系统2.HDFS架构及功能（1）client 客户端linux window/sheel COMMAND-LINEjava/scala/python PROJECT向namenode发送请求，和datanode
2020-12-05 17:48:53
1229
原创 sheel中sed及awk命令详细全解
sed命令主要用于增删改1.行前新增(1)根据行号sed ‘i #####’ test.log 所有行前新增一行，内容为#####sed -i ‘i #####’ test.log sed ‘1 i #####’ test.log 第一行前新增一行，内容为#####sed ‘2,5 i #####’ test.log 2-5行每行新增一行，内容为#####sed ‘5,$ i #####’ test.log 5到最后一行新增一行，内容为#####sed ‘$ i #####’ test.
2020-11-29 11:41:13
383
原创 sheel脚本入门
前言在linux操作系统下，各种命令只能单行执行，否则会引起冲突，这给我们平时的使用中带来了极大的不便。为了解决这个问题，sheel脚本应运而生，它将多个linux命令写在同一个文件里，当执行文件时，就相当于执行了多条命令，给我们的操作带来了极大的方便。sheel脚本的创建sheel脚本本质还是一个写满了命令的文件，创建时先按照普通文件创建方式创建[root@master ~]# mkdir shell[root@master ~]# cd shell[root@master shell]# v
2020-11-23 19:17:35
7515
1
原创 hive常用函数用法及案例分析
数学函数log( ) pow( )log(double base,double a)#底数为base的a的对数doublepow(double base,double p)#幂运算，底数为base的p的幂值conv( )conv(bigint/string v,int from_base,int to_base)#进制之间的转换pmod( )pmod(int/double a,int/double b)#取余运算sin() asin() cos() acos()tan() atan(
2020-11-22 23:04:14
672
原创 HashMap方法介绍及使用
先建一个Student类public class Student { private String name; private int age; public Student(String name, int age) { this.name = name; this.age = age; } public int getAge() { return age; } @Override p
2020-10-29 21:36:50
1007
原创 ArrayList常用方法演示
一.ArrayList简介使用ArrayList集合可以减少对象数组的使用，不用考虑下标的问题，同时具备增删改查等各种功能，极大加强了代码的稳定性与复用性二.ArrayList的对象创建1.先创建Student类package Data;public class Student { private String name; private int age; private String stuNo; public Student(String name
2020-10-25 13:20:50
399
1
原创 JAVA循环结构经典题目分析
1.猜数字小游戏：随机生成一个1~10000以内的随机数，控制台输入数值一直到输入数值为该随机数为止。 每次猜完后要给出提示大了还是小了，猜中后输出猜的次数。int a=rand.nextInt(10000)+1; int guess=0,b; do{ b=input.nextInt(); System.out.print(b>a?"大了":b<a?"小了":"猜中了"+"\t"); gu
2020-10-05 13:15:47
584
2
原创 浅谈JAVA流程控制———选择结构与循环结构
一.选择结构1.if控制语句（1）if单分支 if(表达式){ 语句1； 语句2； }（2）if-else双分支 if(表达式){ 语句1； 语句2； }else{ 语句3； 语句4 }（3）if-else if-else多分支 if(表达式){ 语句1； }else if{ 语句2； }else{ 语句3； }（4）嵌套if语句if(表达式1){ if(表达式2){ 语句1； }else{ 语句2；
2020-10-05 11:44:41
187
原创 浅谈java语言规范
一.数据类型1.基本数据类型 整数类型： byte 1字节8位有符号整数 -128~+127 short 2字节16位有符号整数 -32768~+32767 int 4字节32位有符号整数 ±2亿（不精确）默认整数类型 long 8字节64位有符号整数 浮点类型 float
2020-10-05 10:28:44
127
原创 CSS入门
前言web前端虽然有HTML作为基本内容的编程语言，但是一个好的界面想要在众多前端中脱颖而出，对内容的布局如字体，颜色，排版等必须精美才能显示出其优势。因此，CSS语言就起到了它的作用。一.CSS简单介绍CSS本质上是样式表文件，用于控制web前端内容的表现形式。当前比较常见的HTML页面引入CSS的方式是内容与表现相分离，即把CSS 独立出来，这样比较清晰明了，修改时也很方便。二.CSS选择器HTML页面引入CSS只能通过选择器的调用来进行，有以下四种选择器的类别：ID选择器 （ID指向的选
2020-09-21 00:54:02
451
原创 HTML入门
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、HTML是什么？二、HTML语言规范1.html语言的基本结构2.html常用标签介绍总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式`在这里插入代码片`插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML
2020-09-20 22:02:48
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人