- 博客(10)
- 收藏
- 关注
RSS订阅原创 Java基础
JDK、JRE、JVMJDK：包括JREJava开发工具包，提供了就Java的开发环境和运行环境。包含编写就Java程序所必须的编译、运行等开发工具以及JRE。开发工具：用于编写就Java程序的javac命令用于启动JVM运行Java程序的Java命令用于生成文档的javadoc命令用于打包的jar命令等JRE：包括JVMJava运行环境，提供了运行Java应用程序所必须的软件...
2020-06-15 20:20:51
199
原创 在微服务练习过程中遇到的问题
微服务架构的基础构建首先构建微服务的时候，我们先新建了一个Microservices的Maven工程，在其下新建了我们所使用的工程。当我们建立新的工程时发现子工程和父工程的位置是乱的，所以，为了避免自己混淆以及便于使用，首先将父工程的src资源文件夹删除。再看pom文件，当我们在父工程下建立新的工程时，我们会发现双方的pom文件就回发生变化：Microservices的pom文件： &...
2019-12-27 11:57:53
259
原创 关于微服务的实例练习3
简单的微服务实例搭建(三)添加高可用Eureka注册中心在上一个案例中，我们是一个EurekaServer，下面搭建EurekaServer集群，形成高可用的Eureka中心。1、yml文件：在原先eureka项目中添加10086server: port: 10086eureka: client: service-url: defaultZ...
2019-12-26 19:45:08
271
原创 关于微服务的实例练习2
简单的微服务实例搭建(二)添加Eureka注册中心1、在Microservices下新建maven工程：eureka：关于服务介绍： 服务注册中心，Eureka的服务端应用，提供服务注册和发现功能2、关于yml和pom文件：eureka：Eureka服务端server: port: 10086eureka: client: service-url: ...
2019-12-26 15:58:32
341
原创 关于微服务的实例练习1
简单的微服务实例搭建(一)只有service和consumer的微服务搭建过程：1、 新建一个maven工程：Microservices，再在其下新建module，同样的依旧是maven工程：service、consumer、common（大体结构如图）：关于服务的介绍：common：用于存放一些公共的代码，在该实例中用于编写model实体类service：为consumer提供服务...
2019-12-26 12:39:04
362
原创 Sparksql模块(执行Spark查询)
Spark sql介绍是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。（在Spark中使用sql查询）DataFrame可处理结构化数据，所以Spark sql中先将数据集转化为RDD再将RDD转化为DataFrames对象，之后使用sql查询数据。Spark sql应用一、 在Spark-shell中：Spark...
2019-11-29 11:29:12
259
原创 Spark的缓存Cache
使用原因Spark RDD是惰性求值的，当对于RDD使用简单的调用操作时，Spark会每次都重算RDD及其依赖，增大损耗。为了减轻损耗避免RDD的重算且复用RDD的目的，就需要使用Spark的缓存Cache。在spark交互中：同样的处理数据比较缓存和不缓存的区别启动hdfs,zookeeper,spark在Spark下的bin中启动spark-shell交互指令快速生成：在bin目录...
2019-11-28 17:41:28
210
转载 对于Spark RDD的小结（学习阶段）
参考自https://blog.youkuaiyun.com/dsdaasaaa/article/details/94181269和https://blog.youkuaiyun.com/lucasmaluping/article/details/103047901的小结RDD：弹性分布式数据集，是Spark中最基本的数据抽象。理解：本质上是一个只读的分区记录集合，每个RDD是有多个分区，每个分区就是一个数据集片段...
2019-11-28 17:12:20
351
原创 WorldCount程序打jar包在Spark集群上运行
参照WorldCount在Spark shell中的运行（对比学习）写WorldCount程序（IDEA）前期准备：新建maven工程，在pom中加入相关配置：(注意相对应的版本)<properties> <maven.compiler.source>1.8</maven.compiler.source> <mav...
2019-11-28 16:51:09
274
原创 Linux上搭建Spark集群及spark shell交互式命令窗口
Spark集群搭建基础知识：Spark是用于大规模数据处理的统一分析的计算引擎；是一个快速，通用，可扩展的大数据分析引擎；基于内存计算（速度快），基于mapreduce通常将数据中间存储在磁盘上。HA机制：高可用机制，当主节点挂掉后启用备用主节点（前提是备用节点得打开及先处于待机状态）集群搭建：因为Spark是依赖于Hadoop的，所以在下载安装包时需要找到自己Hadoop的版本对应的...
2019-11-28 16:01:52
583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人