- 博客(46)
- 收藏
- 关注
RSS订阅原创 cad里 from tt tk 区别
from：与tt，tk不同的是，tt和tk只能在水平上和垂直上进行追踪，而from可以在不同方向进行追踪，from可以按照角度来追踪，输入指定的角度就行。tk：可以连续追踪。可以无止境的追踪下去，如果不想追踪就按空格健结束。tt：只能临时追踪，只能追踪两次。
2023-12-25 16:44:17
2572
转载 springboot（服务端接口）获取URL请求参数的几种方法
可以参考下面文章:https://www.cnblogs.com/zhanglijun/p/9403483.html
2020-12-18 08:36:34
296
1
原创 spark的UDF和UDAF用法
UDF(user defined function)UDF: 输入一行, 返回一个结果. 一对一关系 放入函数一个值, 就返回一个值, 而不会返回多个值. 如下面的例子就可以看出: (x: String) => "Name=" + x 这个函数, 入参为一个, 返回也是一个, 而不会返回多个值.来个demo:In路径下的user.txt文件内容如下:{...
2020-03-14 10:19:20
1721
转载 Spark实现自定义排序
需求:对于有复杂排序条件的需求，可以利用自定义排序来实现，同时可以使用多种方案实现自定义排序需求。对指定的数据（字段分别为：名称 年龄 颜值，数据以空格分割），按照指定的要求排序，排序要求为：根据颜值降序，如果颜值相同，再按照年龄升序排序先看下面代码:object DefinitionSort { def main(args: Array[String]): Unit = {...
2020-03-09 19:04:57
410
转载 【java】JAVA中int和String相互转换
1.String.valueOf(i)2.Integer.toString(i)3.i+"i+""也就是一个int型的常量。+上个空的字符串，这里牵涉到了string的一些基础知识，string类型的+int在java中他会去这样理解是string类型的字符串跟上个int类型的i代表的字符串（先把i转换为string），int+string型就是先将int型的i转为string然后跟上后...
2020-02-27 11:54:24
290
原创 spark实现WordCount(多种实现方式)
第一种方式:文件内容:object WordCount { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount") /// 创建Spark上下文对象 val sc = new ...
2020-02-21 18:04:48
2177
原创 Spark基础知识梳理
用户提交的应用程序代码在spark中运行起来就是一个driver，用户提交的程序运行起来就是一个driver，他是一个一段特殊的excutor进程，这个进程除了一般excutor都具有的运行环境外，这个进程里面运行着DAGscheduler Tasksheduler Schedulerbackedn等组件。官方例子中计算π值的程序代码在spark上运行起来就是一个driver，可以看到这段程...
2020-02-21 15:48:13
334
原创 基于yarn执行spark程序(client模式)报错如下:Yarn application has already ended! It might have been killed or unabl
在yarn上执行spark程序, 是client模式, 然后冒出了以下错误:20/02/12 16:08:04 ERROR spark.SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: Yarn application has already ended! It might have ...
2020-02-12 16:34:59
867
转载 Scala中apply方法与unapply方法的使用
apply方法在一个类的伴生对象中定义apply方法, 在生成这个类的对象时, 就省去了new关键字unapply方法可以认为unapply方法是apply方法的反向操作，apply方法接受构造参数变成对象，而unapply方法接受一个对象，从中提取值unapply方法一般用于模式匹配, 也就是用于Scala提取器中.object Scala_apply_unapply { ...
2020-02-10 16:15:33
932
原创 后期复习Java所需的文档-On java 8
文档链接如下:https://lingcoder.gitee.io/onjava8/#/sidebar
2020-02-10 12:53:19
221
原创 Scala中集合里的化简reduce()方法和折叠fold()方法使用
reduce方法:数据减少, 不是结果变少, 将集合的数据经过逻辑处理后只保留一个结果, 具体的结果需要参考逻辑来实现object Demo{ def main(args: Array[String]): Unit = { val list = List(1,2,3,4) // reduce方法 val i = list.reduce((...
2020-02-08 17:42:14
1111
原创 Scala中List集合与Map集合的相互转换
List集合转换成Map集合object Demo{ def main(args: Array[String]): Unit = { // 创建一个List集合对象 val list: List[String] = List("dog", "tiger", "lion", "cat", "panther", "eagle") // 映射(转...
2020-02-07 18:01:30
6832
转载 Centos7中yum安装时出现错误[Errno 14] curl#6 - "Could not resolve host: mirrors.aliyuncs.com; Unknown e解决办法
我在yum源来下载httpd出现了以下的错误:[root@master ~]# yum install httpd -y已加载插件：fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.aliyun.com * extras: mirrors.aliyun.com * updates: mirr...
2020-02-05 10:30:13
13937
3
原创 Java和Scala的动态绑定机制
本文用java来概述动态绑定机制, Scala与java的动态绑定机制是相同的.先看下面的小例子:package zhang.shao;public class Demo1 { public static void main(String[] args) { Fu fu = new Zi(); System.out.println(fu....
2020-02-01 16:34:13
487
转载 如何彻底删除快压广告
可以看下面的教程https://jingyan.baidu.com/article/64d05a020569b0de54f73b53.html
2020-01-08 09:33:15
5472
1
原创 Intellj IDEA 推送项目到远程Github仓库
目录: 本地库push到远程仓库 远程仓库项目clone到本地库 本地库push到远程仓库1.将idea和本地的Git进行了整合, 也就是关联了一下!!此时idea和Git来整合了一下。接下来就可以推送项目了！2. 让项目进行初始化, 相当于用命令行的方式,输入git init来初始化, 使当前项目可以被Git来管理!选中当前项目, 然后...
2020-01-01 19:29:00
1222
原创 Git之本地仓库与远程仓库冲突问题
B向Github中push会报以下错误:如何解决这个报错?1.首先在计算机B中 git pull 下来.在计算机B中已经产生了冲突了!, 然后接下来到该文件中来解决冲突!2.然后修改了文件的内容, 就可以来git add .3.然后对暂存区进行commit提交4.此时已经解决了冲突.然后就可以git push到远程仓库中, 此时远程仓库中就是解决冲突后的内容...
2020-01-01 17:50:03
2213
原创 Scala中的特质(trait)篇
一个类具有某种特质(特征)，就意味着这个类满足了这个特质(特征)的所有要素，所以在使用时，也采用了extends关键字，如果有多个特质存在父类，那么需要采用with关键字连接➢没有父类class 类名 extends 特质1 with 特质2 with 特质3…➢有父类class 类名 extends 父类 with 特质1 with 特质2 with 特质3...
2019-12-31 11:43:12
260
转载 学习Scala:伴生对象和伴生类之间的关系(二)
孤立对象是只有一个object关键字修饰的对象,该对象会编译成两个class文件,一个是以孤立对象的名字命名的class, 一个是以孤立对象的名字后面加上一个$ 字符命名的class, 这个class又叫做虚构类, 源码中的孤立对象中的字段和方法,都被编译成以孤立对象的名字命名的class中静态方法, 这些静态方法都会访问单例的虚构类对象。虚构类市传统意义上的单例模式, 并且在类初始化的时候, 就...
2019-12-29 15:05:54
934
转载 学习Scala:伴生对象和伴生类之间的关系(一)
伴生类和伴生对象的区别和联系1.伴生类中主要编写非静态代码,伴生对象中主要编写静态代码,静态代码包括属性和方法.Scala中取消了static关键字,因此静态代码只能写到伴生对象中,伴生对象也是单例对象,多次修改其中的内容,后面的访问者获取到的则是最后一次修改之后的内容, 而不是初始化内容.2.伴生类中的属性和方法只能通过创建对象的方式来进行访问, 伴生对象中的属性和方法只能通过类名.的方式来...
2019-12-29 11:39:45
1846
原创 Java中访问权限和Scala访问权限的区别
目录: 问题记录 正文 问题记录问题概述:1.所有类都继承Object类,User类也是继承了Obect类. clone方法是Object类中的方法, 按理说User是可以用Object中的clone方法。为什么就报错了?正文何为访问权限?所谓的访问权限其实就是方法(属性)的提供者和方法(属性)的调用者之间的关系. 在进行方法和属性的访问权限...
2019-12-27 11:53:16
524
原创 Scala语言之匿名函数以及简化写法来改善代码
代码一:def f1(f : ()=>Unit) : Unit = { f()}f1(()=>{println("hello scala")})输出结果为: hello scala代码二:当匿名函数中有参数时:def f1(f : (Int)=>Int) : Int = { f(10)}println(f1((x: Int) =>{...
2019-12-26 12:59:15
578
1
原创 Centos7下安装MySQL5.7.28(rpm安装)
我的是centos7.6，MySQL的版本是5.7.28. mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar 。 里面是一些mysql的rpm安装集合包。1. 安装：我们已经将从官网上下载的rpm安装集合包到本地window上， 将这些安装集合包上传到我们的centos系统上，上传到/opt/software目录下。1.1: 建立一个目录，用于存储ta...
2019-12-22 11:00:45
2214
原创 从git的问题模型理解git(三)
目录: 问题记录 正文 问题记录:问题概述:1. 图中有两个分支,master,dev分支, 如果master分支和dev分支合并, 会不会产生冲突? 如何才能避免冲突呢？ 避免冲突的规则是什么呢??2. 图中master分支有4个commit值, dev分支有2个commit值. 正文本文的知识点涉及到以下两篇文章的内容:https://b...
2019-12-18 21:41:27
105
原创 Git分支之merge问题模型
目录: 问题记录 正文 问题记录问题概述:1. 中间的commit的值有哪些呢?? 中间的commit有master分支的commit也有dev分支的commit值.2. 而中间的commit值的先后顺序又是怎么样的？ 肯定有人用git log --pretty=oneline来查看日志信息. 得到以下内容.有人认为master分支上commit值...
2019-12-18 13:15:53
470
原创 从git的问题模型理解git(二)
紧跟上一篇文章:https://blog.youkuaiyun.com/qq_44160357/article/details/1035481281.通过上一篇知道: 两个commit.add到同一个gap. 那么不同的操作顺序最终结果不同. 这两个commit是conflict(冲突). 两个commit.当删除第n行或者在第n行末尾添加新内容或者把第n行替换成新内容或者在第n行上把该...
2019-12-17 15:37:11
139
转载 从git的问题模型理解git(一)
文章目录: 问题记录 正文 1.什么是commit? 2.合并 3.什么是冲突? 4. 那么什么样commit产生冲突呢? 5.例子 6.解决merge conflict 7.原文链接 问题记录问题概述:1. 图中所示, 在master分支里aa.txt内容为: 111 222 3332. dev分支里aa...
2019-12-15 20:26:07
157
转载 关于git rm命令的解析
目录: 1.Git本地数据管理区 2. rm命令使用 3. git rm --cached 命令使用 4. git rm 命令使用git rm 命令, 该命令如下有几个类型:1. rm <file> 只删除工作区的文件2. git rm --cached <file> 只删除暂存区的文件3. git rm <file>...
2019-12-12 19:41:59
632
原创 Git基础学习
Git: 版本控制软件分布式版本控制软件svn的简单图:svn的一些缺点:当C没有网络时, C是无法访问中央仓库. 而Git很好的解决这些问题.Git的简单图Git没有类似于svn的中央仓库的概念。只有本地仓库.Git:在本地就有一个版本库. 把本地代码推送到本地版本库的细节放大:分成以下步骤:Git命令:命令: git add : 将本地文件增加到暂存区 ...
2019-12-04 09:17:54
155
原创 MapReduce之wordcount放到hadoop集群上运行出现报错:the Java Runtime only recognizes class file versions up to 52.0
MapReduce之wordcount程序放到hadoop集群上运行出现报错:Exception in thread "main" java.lang.UnsupportedClassVersionError: zhang/shao/wordcount/MyWc has been compiled by a more recent version of the Java Runtime (cl...
2019-12-01 15:49:50
3269
转载 maven打包java11出现 Fatal error compiling: 错误: 无效的目标发行版：11.0 -> [Help 1]解决办法
写mapreduce用maven打成jar包出现Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project mapreduce: Fatal error compiling: 错误: 无效的目标发行版：11.0 -> [Help 1...
2019-12-01 12:41:33
4472
3
原创 大数据之MapReduce
MapReduceMapReduce框架分两个阶段:map阶段: 程序MapTaskreduce阶段: 程序ReduceTaskMap阶段:对maptask读到的一行数据如何处理Reduce阶段:对reducetask拿到的一组相同key的kv数据如何处理从宏观角度可以看出:split(切片)MapReduce原语:"相同"的key为一组,调用一次reduce方...
2019-11-29 18:50:40
163
原创 输入HDFS命令报错: Couldn't create proxy provider null
**无论输入什么指令都会报错Couldn’t create proxy provider null, ****解决方法: **在hdfs-site.xml中添加以下代码:<property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>...
2019-11-23 21:30:00
7251
原创 Echarts之饼状图学习记录
option = { title: { text: '各省份酒店综合情况', subtext: '副标题', textStyle: { //主标题颜色 color: 'red', // 主标题为加粗 fontWeight: 'bold', ...
2019-11-18 21:25:25
389
原创 shell编程入门
为什么要学习shell编程？Shell是什么？Shell编程快速入门脚本格式要求:1. 脚本以#!/bin/bash开头2. 脚本需要有可执行权限编写第一个shell脚本来输出hello world！...
2019-11-07 11:21:24
249
原创 Kafka分布式搭建
hostnamezookeeperBrokerProducerConsumecentosone~~centostwo~~centosthree~~centosfour~~kafka中的角色: Producer, Broker, Consume, zookeeper.节点规划如上图所示在centosone中进行...
2019-10-23 10:29:25
248
原创 Spark-2.3.4之HA模式搭建
首先搭建HA模式必须要有zookeeper集群。 同时zookeeper正常安装并启动。主机规划图(Spark-HA模式)：主机规划路线1. 在搭建的时候，要把先启动zookeeper进程。2. 进入spark的conf文件夹修改spark-env.sh文件:可以使用Notepad++来连接Linux系统，通过Notepad++来修改配置文件。//通过Notepad++来修改spa...
2019-10-23 10:27:34
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人