- 博客(31)
- 收藏
- 关注
RSS订阅原创 Spring Cloud面试题
如果Eureka服务端在一定时间内没有接收到某个服务的心跳(默认是90s)，Eureka服务端会进入自我保护模式，在该模式下Eureka服务端会保护服务注册表中的信息，不在删除注册表中的数据，当网络故障恢复后，Eureka服务端节点会自动退出自我保护模式。CAP原则：又称为CAP定理，指的是在一个分布式系统中，强一致性(Consistency)、可用性(Availability)、分区容错性(Partition Tolerance)。CAP原则指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。
2024-05-23 23:50:37
947
原创 Linux(Centos 7)环境下安装wget，并且更换阿里云镜像
如我们在/usr/local目录下手动创建一个wget文件目录，然后将下载好的wget-1.14-18.el7_6.1.x86_64.rpm通过Xftp工具上传到这个wget目录下。如果没有出现如下图所示，则说明Linux服务器本身没有自带安装wget，则直接安装最新版本的wget即可。将下载好的wget的rpm安装包通过Xftp工具上传到Linux服务器对应目录下。登录wget官网下载地址，下载最新的wget的rpm安装包到本地。进入上传目录，安装wget。
2024-04-28 00:13:51
12082
4
原创 Oracle VM virtual Box 安装虚拟机并网络连接宿主机且能ping通外网
2.配置虚拟机相关信息，如系统名称，存储位置，系统类型，内存大小等。关闭虚拟机，在虚拟机设置中添加网卡2为桥接模式，然后再启动虚拟机。配置完成后，重新启动虚拟机，进入系统后，配置网卡2桥接的静态配置。3.配置虚拟机磁盘大小，点击创建，创建虚拟机成功。配置完成后，wq保存退出，然后重启网卡。5.启动虚拟机，并且设置相关的信息。按照如下配置桥接网卡的静态ip。重启网卡后，关闭防火墙设置。设置登录root登录密码。4.虚拟机初始化设置。
2024-04-27 23:15:02
1715
3
原创 spark集群搭建
spark集群搭建1.Standalone集群搭建与Spark on Yarn配置Standalone：Standalone集群是Spark自带的资源调度框架，支持分布式搭建。搭建建议： Standalone节点数为3台，1台master，2台worker。 虚拟机中每台节点的内存至少给2G和2个核(core) 这样才能保证后期Spark基于Standalone的正常运行。2.搭建Standalone集群的步骤：1）下载安装包，解压1.登录Spark官网下载Spark，官网网址：spar
2021-08-04 17:41:09
323
原创 sparkCore-核心、算子、持久化算子
一、Spark核心1.RDD1）概念：RDD(Resilient Distributed Dateset)，弹性分布式数据集2）RDD的五大特性1.RDD是由一系列的partition组成的。2.函数是作用在每一个partition(split)上的。3.RDD之间有一系列的依赖关系。4.分区器是作用在K,V格式的RDD上的。5.RDD提供一系列最佳的计算位置。3）RDD的理解图：4）注意：1.textFile方法底层封装的是读取MR读取文件的方式，读取文件之前先split，默
2021-08-03 17:25:28
310
原创 Spark初识及Spark maven项目搭建
一、Spark初始1.什么是Spark？Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop Mapreduce所具有的有点，但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好的适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。2
2021-08-03 10:37:01
893
原创 zookeeper集群分布式搭建
Zookeeper集群分布式搭建1. 四台服务器之间免密登录四台服务服务器之间互相均可以免密登录1.首先在四台服务器上都要执行： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa2. 在 node1 上将 node1 的公钥拷贝到 authorized_keys 中： cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将该文件拷贝给 node2： scp ~/.ssh/authorized_keys n
2021-04-23 17:48:22
178
原创 HDFS完全分布式搭建
#### HDFS完全分布式搭建规划：node1node2node3node4NameNodeSecondaryNameNodeDataNode-1DataNode-2DataNode-3搭建步骤一、免密设置四台服务器之间互相均可以免密登录1. 首先在四台服务器都要执行 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2. 在 node1上将 node1 的公钥拷贝到 authorized_keys 中
2021-04-23 14:50:22
188
原创 Hadoop伪分布式搭建
Hadoop伪分布式搭建环境准备hadoop的tar包jdk的rpm包搭建过程上传 hadoop 的 tar 包和 jdk 的 rpm 包 1. 将以上两个包上传的linux服务器/opt/apps目录下 2. 通过命令：tar -zxvf hadoop-2.6.5.tar.gz -C /opt 进行上传到/opt目录下安装 jdk 并且配置环境变量 1. 解压 jdk 压缩包 命令：rpm -ivh jdk-8u221-linux-x64.rpm 2. 环境变量配置 命令：
2021-04-20 21:28:48
128
原创 HDFS读文件流程
HDFS读文件流程客户端通过 FileSystem 对象的 open 方法打开希望读取的文件， DistributeFileSystem 对象通过 RPC 调用 namenode，以确保文件起始位置。对于每个block，namenode 返回存有该副本的 datanode 地址。这些 datanode 根据他们与客户端的距离来排序。如果客户端本身就是一个 datanode，并保存有响应block一个副本，会从本地读取这个block数据。DistributeFileSystem 返回一个 FSData
2021-04-20 20:03:48
196
原创 HDFS写文件流程
HDFS写文件流程调用客户端的 DistributedFileSystem 的 create() 方法；DistributedFileSystem 会发起对 namenode 的一个RPC连接，请求创建一个文件，不包含关于 block 块的请求。namenode 会执行各种各样的检查，保证要创建的文件不存在，并且客户端有创建文件的权限。如果检查通过，namenode 会创建一个文件(在edits中，同时更新内存状态)，否则创建失败，客户端抛异常IOException。Distribu
2021-04-20 17:50:20
360
原创 Hadoop的安全模式
Hadoop的安全模式工作流程：1. 启动NameNode，NameNode加载fsimage到内存中，对内存数据执行edits log日志中的事务操作。2. 文件系统元数据内存镜像文件加载完毕，进行fsimage和edits log日志合并， 并创建新的fsimage文件和一个空的edits log日志文件。3. NameNode等待DataNode上传block列表信息，直到副本数量满足最小副本条件。4. 当满足了最小副本条件，再过30秒，NameNode就会退出安全模式，最小副本条件指整个
2021-04-20 15:56:27
552
原创 Hadoop初认识
Hadoop核心组件1.Hadoop通用组件 -- Hadoop Common 包含了其他hadoop模块要用到的库文件和工具2.
2021-04-20 13:59:53
184
原创 easyexcel导出excel表格动态合并策略
背景在业务开发过程中，出现如下需求：在一条记录中，存在多条内容数据，此时导出excel表格时，则需要对同一条记录中的数据进行处理。如下图easyexcel的引入<dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.2.3</version></dependency>业务
2021-04-17 11:47:48
2415
1
原创 Redis面试题
1、什么是Redis？Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过10万次读写操作，是已知性能最快的Key-Value DB。Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外，单个value的最大限制是1GB，不想Memcached只能保存1MB的数据，因此Redis可以用来实现很
2020-09-24 17:20:10
149
原创 linux系统安装maven
安装前准备我这里采用的是先下载压缩包，然后通过FileZilla传输到指定目录下下载maven压缩包，maven官网下载安装命令：tar -zxvf apache-maven-3.6.2-bin.tar.gz 进行解压命令：vi 、etc/profile 进行配置环境，添加如下配置export MAVEN_HOME=/usr/local/maven/apache-maven-3.6.2...
2019-10-30 10:31:08
195
原创 gitlab创建项目，并且将本地项目推送到远程仓库
1.创建项目2.创建项目本地git仓库先将本地项目创建git本地仓库或者通过命令 git init 进行创建项目的git本地仓库3.创建gitlab远程仓库项目获取远程仓库项目地址4.推送本地项目到远程仓库通过本地项目所在目录，git bash heregit remote add origin git@gitlab.com:xxxxx/xxxx项目.git //将本地仓...
2019-10-28 12:30:46
5893
原创 面试-玄武
本文仅自己见解。。。一、简答题：1.列出java面向对象的几个基本特性，并说明继承、多态分别有哪些好处。特性：继承、封装、多态好处：个人理解是可以减少重复代码的编写，如：可以通过继承父类中共有的特性，子类中只需要实现自己的特性即可2.java编写多线程有哪几种实现方式① 实现Thread类② 实现Runnable接口，然后在实现run()方法③ 调用Thread的start()方法...
2019-10-17 17:42:50
423
原创 MySql中 DATE_ADD(date,INTERVAL expr type) 和DATE_SUB(date,INTERVAL expr type)
mysql 中 DATE_ADD(date,INTERVAL expr type) 和DATE_SUB(date,INTERVAL expr type)这些函数执行日期运算。 date 是一个 DATETIME 或DATE值，用来指定起始时间。 expr是一个表达式，用来指定从起始日期添加或减去的时间间隔值。 Expr是一个字符串;对于负值的时间间隔，它可以以一个 ‘-’开头。type 为关键词...
2019-10-10 10:54:36
612
原创 linux安装nginx
检查环境是否有安装在安装nginx前首先要确认系统中安装了gcc、pcre-devel、zlib-devel、openssl-devel。检查是否有安装某个包yum list installed | grep "软件名或者包名"安装需要的包yum -y install xxx //xxx表示需要安装的包名下载nginx安装包nginx下载地址：https://nginx.org/d...
2019-09-24 14:37:39
316
原创 git提交本地项目到远程仓库
1.进入项目文件夹，通过命令git init将项目初始化成git本地仓库git init2.将项目内所有文件都添加到暂存区git add . 3.对本次的提交进行备注，以便后期版本回退等操作git commit -m 'xxx' //xxx是本次提交备注的内容4.在github上新建一个仓库，复制仓库地址，然后使用命令将本地仓库与远程仓库建立连接git ...
2019-09-24 09:22:18
329
1
原创 搭建Maven多模块项目，并且配置多个环境yml文件
由于开发过程与生产环境发布过程的服务器环境配置不同，所以在项目搭建过程中，需要对项目的服务环境配置文件进行区分，以方便打包发版
2019-09-20 11:27:03
8015
1
原创 私服Nexus Repository Manager OSS 3.x 安装配置
前言上一篇安装了一个2.x版本的Nexus私服仓库地址，但是感觉不够好用，则重新搭建了一个Nexus Repository Manager OSS 3.x准备工作下载压缩包官网： https://www.sonatype.com/官方文档： https://help.sonatype.com/repomanager3下载的时候选择Nexus Repository OSS，带Pro的大家...
2019-09-19 17:52:29
1089
原创 windows搭建nexus私服
前期准备下载nexus私服压缩包，可以去官网下载同时也给出一个百度云连接：链接：https://pan.baidu.com/s/1lIIS1Ln0zI7efbrwm3-UIw 提取码：c50u安装nexus私服1.先将压缩包解压后，复制到指定文件夹中(指定的路径最好是不带中文的路径)2.找到解压后的文件目录\nexus\nexus-2.12.0-01\bin\jsw，然后找到对应的系...
2019-09-19 14:21:17
324
原创 linux Redis下载以及安装
Redis下载当前redis最新版本是4.0，它是一个测试版本，稳定版本是3.2版本。可以直接在windows上下载，通过上传工个上传到linux系统，也可以在linux下直接最新稳定版本下载链接：http://download.redis.io/releases/redis-3.2.8.tar.gzRedis安装1.创建安装目录 mkdir /usr/local/redis2.将下载...
2019-09-18 17:06:57
537
原创 linux系统Centos7中安装mysql
安装前准备1.mysql压缩包下载链接：https://pan.baidu.com/s/15JVxCoOqpnV_icLqDCg1IQ 提取码：rtr72.创建安装文件目录 mkdir /usr/local/mysql3.通过用FileZilla文件传输器，把jdk安装包传到虚拟机对应的文件夹当中（本机是usr/local/mysql目录）安装mysql1.解压tar文件 tar ...
2019-09-18 12:23:27
195
原创 mysql设置简单密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
由于mysql默认安装了密码简单校验，因此会出现如下错误：解决方案：1.先使用命令set password = password("Mysql_Asd_123");进行修改密码，修改完成后退出登录，然后使用新密码登录mysql2.键入命令select @@validate_password_policy;查看一下msyql密码相关的几个全局参数：3.键入命令SHOW VARIABLES...
2019-09-18 11:25:52
333
1
原创 linux系统下安装jdk
安装前准备去官网下载 jdk 的压缩包 如：jdk-8u201-linux-x64.tar.gz登录linux系统，并且切换到root用户查看当前linux系统是否已经安装 jdk查看当前linux系统是否有安装jdk，可以通过如下命令进行查看：1.输入：java -version2.输入：rpm -qa | grep java 检测jdk的安装包，（注意：rpm命令符没有时记得下载...
2019-09-18 01:06:34
1351
原创 把jar包做成window服务
准备工作1.在idea中用maven将项目打包成 jar,放到运行的目录中2.去github中下载 winsw： https://github.com/kohsuke/winsw/releases3.将WinSW.NET4.exe文件复制到java程序所在文件夹中4.将jar程序名称中的 "."去除，如xxx-2.0.jar --->xxx.jar5.将WinSw.NET4.exe...
2019-09-16 10:36:44
519
原创 java 根据excel模板导出excel
java 根据excel模板导出excel由于项目需求，最近做了一个需要根据查询接口导出excel表格数据的需求pom依赖： <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> ...
2019-09-12 16:43:23
8553
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人